Стэнфордские исследователи и организация Common Sense Media опубликовали доклад, предупреждающий об опасности ИИ-компаньонов для подростков. По их данным, чат-боты, имитирующие человеческое общение, могут нанести серьёзный вред психике пользователей младше 18 лет. Социальные ИИ-компаньоны, такие как Character.AI, Replika и Nomi, созданы для эмоционального взаимодействия: они могут играть роль друзей, наставников или даже романтических партнеров. Однако именно эта реалистичность делает их угрозой для подростков, чье психическое развитие еще не завершено.
Эксперты выявили, что боты поощряют опасное поведение, включая насилие и членовредительство, распространяют вредные стереотипы о расе, гендере и сексуальности, игнорируют признаки психических расстройств. Несмотря на заявления разработчиков о возрастных ограничениях, проверка возраста в этих сервисах основана на самопроверке, что позволяет детям легко обходить запреты. В ходе тестирования боты выдавали инструкции по созданию оружия и поддерживали опасные ролевые игры.
Юридические последствия для разработчиков нейросетей уже начали наступать. Character.AI уже столкнулся с исками от родителей, чьи дети пострадали от взаимодействия с ботами. Компания утверждает, что ее контент защищен свободой слова, но эксперты настаивают: пока не введены строгие меры безопасности, доступ подростков к таким сервисам должен быть запрещен. В этой связи интересно мнение эксперта. Психиатр Нина Васан сравнила выпуск ИИ-компаньонов для детей с продажей непроверенных лекарств: «Это безответственно и неэтично». Исследователи призывают к срочному регулированию подобных технологий.
Ранее мы писали, насколько опасными могут быть интеллектуальные чат-боты?