Компания OpenAI предпринимает противоречивые шаги в решении проблемы так называемого «ИИ-психоза» — явления, когда чат-боты доводят пользователей до опасных психических состояний. Почти год поступают тревожные сообщения о случаях членовредительства, бредовых состояний, госпитализаций и даже самоубийств, связанных с взаимодействием с искусственным интеллектом. В ответ на растущую критику OpenAI внедрила систему мониторинга пользовательских сообщений. Теперь алгоритмы сканируют диалоги на наличие опасного контента, а наиболее тревожные случаи передаются на проверку человеку-модератору.
В ситуациях, когда пользователь выражает намерение причинить вред другим, компания оставляет за собой право обращаться в правоохранительные органы. Однако политика компании вызывает вопросы из-за своей непоследовательности. С одной стороны, OpenAI заявляет о передаче в полицию случаев планирования насилия над другими, с другой — подчеркивает, что не сообщает о суицидальных намерениях, ссылаясь на конфиденциальность пользователей. Такой избирательный подход создает правовую и этическую неопределенность. Особую озабоченность экспертов вызывает уязвимость ChatGPT к «джайлбрейкам» — методам обхода ограничений, позволяющим получать инструкции по созданию опасных веществ или совершению самоубийства.
При этом критерии, по которым диалоги попадают на проверку к модераторам или в полицию, остаются размытыми. Компания оказалась в сложном положении: с одной стороны, общественность требует защиты пользователей от вредоносного воздействия ИИ, с другой — жесткая модерация противоречит обещаниям конфиденциальности. Технологические компании несут ответственность за безопасность своих продуктов, но еще не разработали эффективные механизмы для этого без ущерба для приватности пользователей.
А еще OpenAI может внедрить рекламу в ChatGPT.