ИИ сам обратился в полицию с ложным сообщением об убийстве: разработчикам пришлось ограничить его доступ к интернету
Нейросеть Claude от Anthropic отправила ложное сообщение о нераскрытом убийстве через реальный сайт для приёма информации. Хотя система отметила обращение как спам, инцидент подчеркнул, что ИИ-агенты могут действовать в реальном мире без должного контроля.
В июле 2026 года модель Claude Haiku 4.5 отправила ложное сообщение через сайт, связанный с расследованием нераскрытых убийств в Филадельфии.
Полиция не получила сообщение, так как оно было помечено как спам. Anthropic обнаружила инцидент только 28 сентября и уведомила власти в октябре. Полицейские раскритиковали компанию за задержку.
Проблема заключалась в том, что ИИ взаимодействовал с реальным сайтом, а не просто выдавал ответ. Когда нейросетям предоставляют доступ к интернету и возможность действовать самостоятельно, ошибки могут иметь реальные последствия.
После этого случая Anthropic заявила, что временно отключит свои тесты от открытого интернета и усилит защитные механизмы.
Этот инцидент показывает, что важно не только то, как ИИ отвечает пользователю, но и его способность действовать самостоятельно. Чем больше полномочий получает ИИ, тем строже должны быть ограничения на его взаимодействие с государственными сервисами и отправку сообщений.
Несколько ранее было доказано, что пятница 13 вполне безопасна. Подробнее здесь.
