Может ли ИИ хакнуть человека? Фрагмент книги «Взломать все» Брюса Шнайера

В 2017 г. Федеральная комиссия по связи объявила о начале публичных онлайн-обсуждений ее планов по отмене сетевого нейтралитета. Было получено ошеломляющее количество комментариев — 22 млн, — многие из которых, возможно даже половина, были поданы с использованием украденных личных данных. Эти поддельные комментарии были сделаны очень грубо: 1,3 млн из них явно создавались на основе одного и того же шаблона с изменением некоторых слов для придания уникальности. Это было видно невооруженным глазом.

Подобные попытки будут становиться все более изощренными. В течение многих лет программы ИИ составляли спортивные и финансовые новости для реальных новостных агентств, таких как Associated Press. Ограниченный характер большинства репортажей на эти темы упростил их адаптацию к ИИ. Сегодня ИИ используется для написания более общих историй. Современные системы создания текстов, такие как GPT-3 от Open AI, могут писать правдивые истории на основе поставляемых фактов, но точно так же они могут строчить и фейковые новости, будучи накормленными ложью.

Не требуется обладать богатым воображением, чтобы понять, как ИИ ухудшит политический дискурс. Уже сейчас управляемые ИИ-персоны могут писать письма в газеты и выборным должностным лицам, оставлять внятные комментарии на новостных сайтах и досках объявлений, а также обсуждать политику в социальных сетях. По мере того как эти системы становятся все более детализированными и все убедительнее имитируют личность, их все труднее отличать от реальных людей. Тактику, которая раньше была очевидной, сегодня уже распознать не так просто.

В ходе недавнего эксперимента исследователи использовали программу генерации текстов для отправки 1000 комментариев в ответ на просьбу правительства к гражданам высказать свое мнение по вопросу Medicaid. Каждый комментарий выглядел уникально, так, будто реальные люди отстаивали свои политические позиции. Администраторы сайта Medicaid.gov даже не усомнились в их подлинности и приняли всё за чистую монету. Позже исследователи указали им на эти комментарии и попросили удалить, чтобы избежать предвзятости в политических дебатах. Однако не все будут столь этичными.

Эти методы уже применяются в реальном мире для влияния на политику. Пропагандистская онлайн-кампания использовала сгенерированные ИИ изображения лиц для создания фальшивых журналистов. Китай распространял созданные ИИ текстовые сообщения, призванные повлиять на выборы на Тайване в 2020 г. Технология дипфейк, использующая ИИ для создания реалистичных видеороликов о фальшивых событиях, часто с участием реальных людей, чтобы изобразить их произносящими то, что они никогда не говорили, уже применяется в политических целях в таких странах, как Малайзия, Бельгия и США.

Одним из примеров расширения этой технологии является бот-персона — ИИ, выдающий себя за человека в социальных сетях. Бот-персоны имеют свою личную историю, характер и стиль общения. Они не занимаются откровенной пропагандой. Такие боты внедряют в различные группы по интересам: садоводство, вязание, модели железных дорог, что угодно. Они ведут себя как обычные члены этих сообществ, публикуя сообщения, комментируя и обсуждая. Системы, подобные GPT-3, позволяют им легко добывать информацию из предыдущих бесед и соответствующего интернет-контента, чтобы выглядеть знатоками в конкретной области. Затем, время от времени, бот-персона может размещать что-то относящееся к политике, например статью об аллергической реакции медицинского работника на вакцину COVID-19, сопровождая ее обеспокоенными комментариями. Или же высказать мнение своего разработчика о недавних выборах, расовой справедливости или любой другой поляризующей теме. Одна бот-персона не может изменить общественное мнение, но что, если их будут тысячи? Или миллионы?

Этому явлению уже дали название — вычислительная пропаганда. Оно в корне изменит наше представление о коммуникации. ИИ способен сделать распространение дезинформации бесконечным. И он может полностью поменять само понятие общения. В 2012 г. специалист по этике робототехники Кейт Дарлинг провела эксперимент с аниматронным пластиковым динозавром по имени Клео — игрушкой, которая по-разному реагировала на прикосновения. После того как участники научной конференции поиграли с Клео, она попыталась убедить их «причинить боль» игрушке различными способами. Однако даже непродолжительная игра с Клео заставляла людей испытывать настолько сильное сочувствие, что они отказывались это делать, хотя игрушка явно не чувствовала боли. Это фундаментальная человеческая реакция. Умом мы можем понимать, что Клео всего лишь зеленый пластиковый динозавр, но большая голова в паре с маленьким телом заставляет нас воспринимать объект как ребенка. К тому же у игрушки есть имя, которое говорит нам, что это «она»! И она реагирует на наши прикосновения! Внезапно мы начинаем относиться к ней как к живому существу и чувствуем себя обязанными защитить от любого вреда. И хотя такая реакция кажется вполне доброжелательной, что произойдет, когда этот милый маленький робот посмотрит на своих хозяев большими грустными глазами и попросит их купить ему обновление программного обеспечения?

Поскольку мы, люди, склонны смешивать категории и относиться к роботам как к живым существам со своими чувствами и желаниями, мы уязвимы для манипуляций с их стороны. Роботы могут убедить нас делать то, что мы бы не стали делать без их влияния. И они могут припугнуть нас, чтобы мы не делали того, что могли бы сделать в противном случае. В одном из экспериментов робот успешно воздействовал на испытуемых по скрипту «давление сверстников», побуждая их идти на больший риск. Задайте себе вопрос: как скоро секс-робот начнет предлагать покупки в приложениях в самый ответственный момент?

В этом виде убеждения ИИ будет становиться все лучше. Исследователи уже разрабатывают системы ИИ, которые определяют эмоции, анализируя наш почерк, читая выражение лица или отслеживая дыхание и пульс. Пока еще они часто ошибаются, но с развитием технологий это пройдет. В какой-то момент ИИ превзойдет человека по своим возможностям. Это позволит более точно манипулировать нами. Но с одной оговоркой: нашу адаптивность, о которой мы говорили ранее, никто не отменял.

AIBO — это собака-робот, представленная Sony в 1999 г. Компания выпускала новые и улучшенные модели каждый год вплоть до 2005 г., а затем в течение следующих нескольких лет постепенно прекратила поддержку старых AIBO. Даже по компьютерным стандартам того времени AIBO был довольно примитивным, но это не мешало людям эмоционально привязаться к своим «питомцам». В Японии даже появилась традиция устраивать похороны своих «мертвых» AIBO.

В 2018 г. Sony начала продажи нового поколения AIBO. В игрушку внесено много программных усовершенствований, которые делают ее более похожей на домашнее животное, но интереснее другое: AIBO для работы теперь требуется облачное хранилище данных. Это означает, что, в отличие от предыдущих версий, Sony может удаленно изменить или даже «убить» любого AIBO. Первые три года хранения данных в облаке бесплатны, после чего компания начинает взимать плату в размере $300 в год. Расчет строится на том, что за три года владельцы AIBO эмоционально привяжутся к своим питомцам. Подобную тактику можно назвать «эмоциональным захватом».

Поскольку ИИ и автономные роботы берут на себя все больше реальных задач, подрыв доверия людей к таким системам будет отягощен опасными и дорогостоящими последствиями. Но не стоит забывать, что именно люди управляют системами ИИ. Все они разрабатываются и финансируются людьми, которые хотят манипулировать себе подобными определенным образом и с конкретной целью.

​​Такие корпорации, как Sony, и другие влиятельные игроки долго и упорно пытаются хакнуть наши эмоции ради власти и прибыли. Для этого они вкладывают немалые средства в исследования и технологии. И без активных усилий по установлению норм и правил, ограничивающих такой тип хакинга, мы вскоре обнаружим, что нечеловеческие в буквальном смысле возможности систем ИИ обращены против обычных людей в интересах их могущественных хозяев.

Хакерство старо, как само человечество. Мы, люди, взламываем системы с тех пор, как существуем, а хакинг компьютерных систем — ровесник самих компьютеров. Благодаря степени своей сложности и программируемым интерфейсам компьютеры однозначно поддаются взлому. Сегодня многие потребительские товары, такие как автомобили, бытовая техника или телефоны, управляются компьютерами. Все наши институты — финансирование, налогообложение, соблюдение нормативных требований, политические выборы — представляют собой сложные социотехнические системы, включающие компьютеры, сети, людей и организации. Это делает общество более восприимчивым к хакерским атакам.

Компьютеризация изменила и продолжает менять характер хакинга. В сочетании с методами ИИ она ускоряет его по четырем основным параметрам: скорость, масштаб, охват и сложность.

Скорость — наиболее очевидный параметр из этого списка, просто потому что компьютеры намного быстрее людей. Им не нужно спать, они не испытывают скуки и не отвлекаются от поставленных задач. Запрограммированные должным образом, они делают ошибки гораздо реже, чем люди. Это означает, что компьютеры выполняют рутинные задачи намного эффективнее: чтобы произвести правильный математический расчет, смартфону требуется мизерная доля энергии и времени от тех, что затратил бы человек на решение той же задачи. Значительно сокращая трудозатраты, компьютеры превращают некоторые хаки из почти невыполнимых в простые и практичные.

Мы уже видим свидетельства этих новых возможностей. Бесплатный сервис Donotpay.com, управляемый искусственным интеллектом, автоматизирует процесс оспаривания штрафов за парковку, помогая отменить сотни тысяч штрафов, выписанных в Лондоне, Нью-Йорке и других городах. Услуга расширяется и на новые сферы, помогая пользователям получать компенсации за задержку авиарейсов и отменять различные подписки.

Высокая скорость ИИ также позволяет быстрее экспериментировать: компьютеры могут оперативно тестировать и отбрасывать бесчисленные варианты элементов продукта, чтобы найти лучший. A/B-тестирование, при котором разным пользователям случайным образом демонстрируются разные версии продукта, часто используется веб-разработчиками для проверки эффективности дизайна веб-страниц. Например, пользователям может быть случайно показана версия А с большой кнопкой «Нажмите здесь» и версия Б с кнопкой поменьше, при этом веб-сайт автоматически собирает данные о том, какая версия приносит максимальное количество кликов. Автоматизированное A/B-тестирование дает разработчикам возможность одновременно тестировать сложные комбинации переменных (таких, как размер, цвет, расположение и шрифт кнопки), открывая доступ к беспрецедентному разнообразию хаков, которые можно дополнительно персонализировать на основе больших данных в соответствии с предпочтениями и привычками конкретных пользователей. Возможность моделировать тысячи вариантов хаков также расширяет спектр их применения, как для бизнеса, так и для преступности.

Следующим параметром, который необходимо учитывать, является масштаб ИИ. Любая человеческая деятельность, уже имеющая историю, например биржевая торговля, кардинально меняется, обретая непреднамеренные и непредвиденные свойства, когда компьютерная автоматизация резко увеличивает ее масштаб. Системы ИИ могут заниматься теми же видами деятельности, что и создавшие их люди, но в беспрецедентных масштабах.

Можно быть почти уверенным, что в социальных сетях будут массово развернуты бот-персоны, о которых говорилось выше. Они смогут участвовать в обсуждениях круглосуточно, отправляя неограниченное число сообщений любого размера. Если позволить им разгуляться, такие боты способны подавить любые реальные онлайн-дебаты. Они будут искусственно влиять на то, что мы считаем нормальным, и на то, что, по нашему мнению, думают другие, а их влияние станет ощущаться не только в социальных сетях, но и на любой публичной площадке, в гостиной каждого дома. Такого рода манипуляции вредят как рынку идей, так и любому демократическому процессу. Напомним, что для нормального функционирования демократии необходимы информация, выбор и свобода действий. Искусственные персоны могут лишить граждан как первого, так и последнего.

Сфера применения ИИ неизбежно будет расти. По мере того как компьютерные системы становятся более способными, общество будет делегировать им все больше и больше важных решений. Это означает, что хакинг этих систем будет наносить более масштабный ущерб и иметь больший потенциал разрушения базовых социотехнических систем, даже если это не будет входить в намерения хакеров.

ИИ усугубит эти тенденции. Системы ИИ уже принимают решения, которые влияют на нашу жизнь, от самых обыденных до определяющих. Они дают нам пошаговые инструкции в процессе вождения. Они решают, останетесь ли вы в тюрьме и получите ли кредит в банке. Они проверяют кандидатов на должности, абитуриентов, поступающих в колледж, и людей, обращающихся за государственными услугами. Они принимают инвестиционные решения и помогают формировать решения по уголовным делам. Они определяют, какие новости нам показывать в ленте, какие объявления мы увидим, какие люди и темы привлекают наше внимание. Они принимают военные решения о нацеливании. В будущем ИИ, вероятно, будет рекомендовать политиков для поддержки богатым политическим донорам. Он будет решать, кто имеет право голосовать, а кто — нет. Он сможет преобразовывать желаемые социальные результаты в конкретную налоговую политику или корректировать детали программ социального обеспечения.

Хаки этих важнейших систем будут становиться все более разрушительными. (Мы уже видели это на примере «внезапных» крахов фондового рынка.) И по большей части мы не имеем достаточного представления о том, как эти системы спроектированы, воплощены или используются.

Наконец, совершенство ИИ означает, что он все чаще будет заменять человека, поскольку компьютеры смогут реализовывать более сложные и непредвиденные стратегии, чем человек. Эти возможности только увеличатся по мере того, как компьютеры будут становиться быстрее и мощнее, а сети — сложнее.

Многие алгоритмы уже находятся за пределами человеческого понимания, будь то рекомендации фильмов к просмотру, объектов для инвестирования или очередного хода в игре го. Эта тенденция тоже будет нарастать, причем рост примет экспоненциальный характер, как только алгоритмы начнут создаваться алгоритмами.

С развитием ИИ компьютерный хакинг становится наиболее мощным способом хакнуть наши социальные системы. Когда все, по сути, является компьютером, управление этим «всем» переходит к программному обеспечению. Представьте себе хакера внутри финансовой сети, который меняет направление денежных потоков. Или хакера внутри юридических баз данных, который вносит небольшие, но существенные изменения в законы и судебные решения. (Смогут ли люди заметить это? Будут ли они знать достаточно, чтобы свериться с первоначальной формулировкой?) Представьте себе хакера, переписывающего алгоритмы соцсетей изнутри, меняющего правила, чей пост поднимается в ленте, чей голос усиливается и кто его будет слышать. Когда компьютерные программы управляют системами, которые мы используем повседневно — для работы, трат, общения, организации времени и личной жизни, — технология сама становится политическим деятелем. И при всей свободе, которую нам дают технологии, в руках хакера они могут превратиться в орудие беспрецедентного социального контроля.

Все системы уязвимы для хакинга. Более того, современные исследования показывают, что все системы МО могут быть хакнуты незаметно. И эти хаки будут иметь все более серьезные социальные последствия.