Компания OpenAI объявила о внедрении в ChatGPT функции «доверенного контакта», которая позволит совершеннолетним пользователям указать близкого человека для оповещения в случае, если система зафиксирует признаки кризисного психического состояния. Этот шаг стал ответом на растущее количество судебных исков и сообщений в СМИ о том, что длительное и эмоционально насыщенное общение с чат-ботом может приводить к развитию бредовых состояний, психозов и суицидальных мыслей.
Новый инструмент анонсирован в блоге OpenAI как часть более широкой стратегии по обеспечению безопасности. При этом компания пока не раскрывает точные критерии, при которых система сочтет необходимым отправить уведомление. Остается открытым вопрос: будет ли сигнал срабатывать только на прямое высказывание о намерении причинить себе вред, или же алгоритмы попытаются отслеживать более тонкие признаки маниакального или бредового состояния? Детали, вероятно, появятся ближе к запуску функции. Также планируется внедрение новых методов оценки, которые моделируют продолжительные беседы на тему психического здоровья, чтобы лучше выявлять риски и оптимизировать реакцию ChatGPT в чувствительных ситуациях.
Проблема усугубляется тем, что многие люди обращаются к ИИ за эмоциональной поддержкой именно потому, что им проще и безопаснее доверить сокровенные мысли машине, а не другому человеку. OpenAI признает масштаб проблемы: по собственным оценкам компании, еженедельно сервисом пользуются 900 миллионов человек, и у миллионов из них чат-бот фиксирует признаки психических расстройств. Несмотря на то, что эффективность функции «доверенного контакта» еще предстоит доказать, а сам подход остается скорее реактивным, чем превентивным, эксперты отмечают, что это важный шаг в правильном направлении.
В ChatGPT вот-вот появится реклама.