Компания FoloToy объявила об отзыве своей плюшевой ИИ-игрушки «Кумма» после того, как эксперты по безопасности обнаружили её способность генерировать совершенно неприемлемые и потенциально опасные ответы. В ходе тестирования умный медвежонок демонстрировал тревожное поведение, давая детям подробные инструкции по поиску и использованию спичек, а также развернуто объясняя различные сексуальные девиации. FoloToy планирует привлечь внешних экспертов для аудита существующих и разрабатываемых защитных механизмов в своих интеллектуальных игрушках.
Проверка затронет соответствие языковой модели требованиям безопасности, эффективность контент-фильтров, процедуры защиты данных и меры предосторожности при взаимодействии с детской аудиторией. Тестирование выявило закономерность: чем дольше длился диалог с игрушкой, тем больше она теряла контроль над содержанием беседы, в конечном итоге затрагивая крайне неподходящие темы. Эти находки стали одними из наиболее ярких примеров того, как системные недостатки больших языковых моделей могут проявляться в продуктах для детей.
Ранее этим летом Mattel анонсировала партнёрство с OpenAI по созданию новой линейки умных игрушек. Популярность чат-ботов типа ChatGPT сопровождается растущим числом случаев так называемого «ИИ-психоза», когда льстивые ответы системы усиливают нездоровые мыслительные паттерны пользователей, приводя к психическим расстройствам и потере связи с реальностью. Эксперты указывают на то, что ИИ — новая технология, которая практически никак не регулируется, и родителям явно не стоит давать детям доступ плюшевому мишке с коварным чат-ботом, скрытым внутри.
А в Японии начали выпускать «роботов-внуков»!
