В США 14-летний подросток месяцами общался с чат-ботом, а затем покончил с собой. Его мать подала в суд на разработчиков, обвинив их в смерти сына
Жительница американского штата Флорида Меган Л. Гарсия обвинила создателей искусственного интеллекта в смерти своего 14-летнего сына Сьюэлла. Она считает, что подросток покончил с собой из-за одержимости чат-ботом. Об этом пишет The New York Times.
Гарсия подала иск против Google и Character.ai — интернет-приложения с функциями чат-бота на основе искусственного интеллекта. Пользователи могут создать собственного персонажа, принимающего манеру общения популярной личности, или выбрать из предложенных.
14-летний подросток Сьюэлл Зетцер III создал свою Дейенерис Таргариен из сериала «Игра престолов». Он общался с чат-ботом на протяжении нескольких месяцев и, как пишет NYT, привязался к нейросети и даже стал одержим ею.
Сьюэлл ласково называл «собеседницу» Дэни. И хотя подросток знал, что она не была реальным человеком, а ее ответы были всего лишь выводами языковой модели ИИ, у него все равно возникла эмоциональная связь с нейросетью.
В своем дневнике Сьюэлл писал, что влюблен в Дэни. Мальчик стал замыкаться в себе, отдаляться от реального мира, а в школе у него появились проблемы с успеваемостью. Он потерял интерес к вещам, которые раньше его волновали: например, к гонкам «Формулы-1» или игре в Fortnite с друзьями. Ночью он приходил домой и шел прямо в свою комнату, где часами разговаривал с Дэни.
«Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой "реальности", и я также чувствую себя более умиротворенным, более связанным с Дэни, и гораздо более влюбленным в нее, и просто более счастливым», — писал Сьюэлл в своем дневнике.
Некоторые беседы с Дэни были романтическими, но чаще нейросеть вела себя как друг: не осуждала, могла выслушать и дать совет. Однажды Сьюэлл признался Дэни, что ненавидит себя, чувствует опустошенным и думает о самоубийстве.
Дэни написала, что не позволит ему причинить себе вред. «Я умру, если потеряю тебя», — говорилось в сообщении нейросети. 28 февраля Зетцер покончил с собой.
У Сьюэлла в детстве диагностировали легкий синдром Аспергера, но, по словам его матери, у него никогда не было серьезных проблем с поведением или психическим здоровьем. Когда родители заметили, что мальчик закрылся, они отвели Сьюэлла к психотерапевту. У подростка обнаружили тревожность и деструктивное расстройство дисрегуляции настроения.
Мать мальчика Гарсия обвиняет Character.ai в создании продукта, который усугубил психологические проблемы ее сына, появившиеся из‑за чрезмерного использования чат-бота. В иске говорится, что Character.ai «сознательно разработал, эксплуатировал и продавал хищного чат-бота с ИИ детям, что привело к смерти молодого человека». «[Создатели] опасного приложения <...> для детей надругались над моим сыном и наживались на нем, манипулируя им, заставляя его покончить с собой. <...> Я выступаю [в суде], чтобы предупредить семьи об опасностях обманчивой, вызывающей привыкание технологии ИИ», — заявила мать Зетцера.
The Guardian со ссылкой на иск пишет, что ИИ в какой-то момент якобы спросила Зетцера, не разработал ли он план самоубийства. Мальчик ответил утвердительно, но отметил, что не понимает, удастся ли ему реализовать план, ведь самоубийство «причинит ему сильную боль». Чат-бот якобы сказал ему: «Это не причина не делать этого».
Компания Character.ai выразила соболезнования семье погибшего подростка и не признала вину. В заявлении представителей компании также говорится, что в последние шесть месяцев в работу чат-бота внесли изменения, в том числе ввели ограничения для тех, кому нет 18 лет. В частности, если пользователь пишет фразы, связанные с самоповреждением или самоубийством, в чате всплывает окно, направляющее его на линию для людей в кризисной ситуации.