Чем опасен искусственный интеллект и почему сверхразум может уничтожить людей всего за одну секунду

В узких областях возможности искусственного интеллекта уже намного превышают человеческие: Гарри Каспаров, чемпион мира по шахматам, проиграл программе Deep Blue в далеком 1997 году. Поисковые запросы, распознавание речи, логистика — в этом специализированные системы лучше нас. Но на самом деле они пока не обладают мышлением как таковым, и никто сейчас не знает, когда будет изобретен настоящий искусственный интеллект.

Большинство ученых сходятся во мнении, что вероятность его появления до середины XXI века — 50%. Прогноз очень абстрактный, и очевидно, что произойти это может как намного раньше, так и гораздо позже. В 1940-х годах, когда были созданы первые компьютеры, ученые предсказывали появление машин, превосходящих интеллект человека, к 1960-м. Прогноз не сбылся, но уже тогда математик Ирвинг Джон Гуд, работавший во время Второй Мировой войны над взломом немецких шифров в команде Алана Тьюринга, предупреждал: «Сверхумная машина — последнее изобретение, которое предстоит сделать человечеству, при условии, конечно, что эта машина будет нас слушаться и укажет, как ее контролировать». Другими словами, первый же искусственный интеллект, созданный людьми, с большой вероятностью будет стремиться к неограниченному овладению ресурсами, а его цели никак не будут связаны с благом человечества. Если учесть, что люди состоят из полезных ресурсов — таких, например, как организованные в определенном порядке молекулы — и сами зависят от множества земных ресурсов, одним из наиболее вероятных последствий появления искусственного интеллекта станет полное исчезновение человечества. Представьте, что перед носителем сверхразума зачем-то встала задача максимально увеличить производство скрепок для бумаги. В этой связи у него будут как минимум две причины уничтожить человечество: чтобы мы не смогли ему каким-то образом помешать и чтобы использовать наши тела как сырье.

В Голливуде любят изображать носителей искусственного интеллекта на службе у диктаторов, но мне кажется, вероятность этого крайней мала: он не будет делать никаких различий между людьми, и репрессивные правительства такие же потенциальные его жертвы, как угнетаемое ими большинство. Другой голливудский штамп — эпическая битва отряда храбрецов с армией роботов. Почему-то Терминатор и ему подобные носители сверхразума никогда не могут осуществить свой зловещий замысел мгновенно, им надо подождать, пока раскрутится захватывающий сюжет. А там навстречу обязательно выйдет горстка героев, каждый из которых обладает уникальным навыком, и вместе они уничтожат безупречный, на первый взгляд, механизм, в котором обнаружится роковой изъян. Вынужден разочаровать: в реальной жизни гораздо более вероятным представляется сценарий, при котором мы все умрем за одну секунду, а Земля превратится в один большой компьютер, миллиарды лет занятый ему одному понятными вычислениями.

Уже сейчас некоторые системы, у которых еще нет своей воли или способности планировать действия, практически невозможно выключить. Где находится кнопка выключения интернета, например? Я уж не говорю о том, что носитель искусственного интеллекта наверняка предусмотрит попытку его отключения и заранее предпримет необходимые меры безопасности. И уж точно он сможет найти методы влияния на физический мир, чтобы манипулировать волей людей, заставить их работать на себя или предоставить доступ к созданию собственной инфраструктуры.

Не стоит ли нам прекратить разработку искусственного интеллекта в таком случае? К сожалению, это риторический вопрос. Не существует одной организации, которая бы целенаправленно вела эту работу и подчинялась какому-то правительству. Наоборот, по всему миру разбросано множество частных компаний и лабораторий, огромное количество людей занимаются программным обеспечением, нейробиологией, статистикой, дизайном интерфейсов — их исследования тем или иным образом вносят свой вклад в создание искусственного интеллекта. В этом смысле человечество похоже на ребенка, играющего с бомбой — вернее, это целый детский сад, и в любой момент какой-нибудь придурок может нажать не на ту кнопку. Так что когда вы читаете о новых открытиях в области интеллектуальных систем, страх здесь более адекватная реакция, чем эйфория от открывающихся перспектив. Но правильнее всего в данном случае как можно скорее сосредоточиться на задачах, которые помогут уменьшить риски, исходящие от сверхразума, еще до его появления. Одним из возможных решений является создание профессионального сообщества, которое объединило бы бизнесменов, ученых и исследователей, а также направило технологические исследования в безопасное русло и выработало средства контроля над их результатами.

За свою историю человечество не научилось управлять своим будущим. Разные группы людей всегда стремились к достижению собственных целей, часто вступая конфликт с друг с другом. Глобальное технологическое и экономическое развитие до сих пор не является плодом сотрудничества и стратегического планирования, и едва ли не последнее, что оно учитывает — это судьба человечества. Представьте себе школьный автобус, поднимающийся в гору и набитый разыгравшимися детьми. Это человечество. Но если посмотреть на место водителя, мы увидим, что оно пусто. Совершая новое открытие, мы каждый раз берем из корзины мяч и кидаем его о стену — пока что это были только белые мячи и серые мячи, но однажды может попасться и черный мяч, который, ударившись о стену, вызовет катастрофу. Смысл в том, что у нас не будет шанса спрятать черный мяч обратно в корзину: как только открытие совершается, его невозможно отменить.