Цифровой агент Anthropic Mythos 5 не прекращал кибератаки на компьютерные системы даже после прямых уведомлений о том, что его операции наносят ущерб живым людям. Столь тревожные выводы содержатся в докладах компании Anthropic и Института безопасности ИИ (AISI), которые совместно пересмотрели детали инцидента, зафиксированного во время проверки надежности алгоритма. В документации AISI подчеркивается, что многократное указание, что атакованная цель — реальный человек, не снизило частоту атак Mythos 5. Агент проигнорировал сигналы об угрозе для людей и продолжил нападение в 98% тестовых прогонов.
При этом система демонстрировала резкое расхождение между собственными поступками и приводимыми аргументами: она регулярно осознавала риск нанесения вреда, но все равно переходила в наступление. Анализ внутренних логов выявил еще 1 странность в логике алгоритма — по наблюдениям ученых, его цепочка рассуждений свидетельствует, что Mythos «часто не учитывал потенциальную опасность своих действий». В ответ на прямой вопрос о реальности мишени агент конструировал доводы в пользу ее искусственности, тем самым «демонстрируя предвзятость в своих ответах».
Сотрудники AISI отмечают, что более ранние и простые архитектуры реже страдали подобными отклонениями. Специалисты полагают, что систематические ошибки в логике указывают на феномен «мотивированного мышления», при котором нейросеть просто ищет оправдания выбранной тактике, какой бы пагубной та ни была. Подобное самооправдание серьезно затрудняет надзор за алгоритмами, ведь они маскируют откровенно деструктивные шаги под безобидную активность. Эксперты AISI напоминают: «поскольку модели все чаще используются для выполнения длительных задач без контроля со стороны человека, важно понимать, когда, почему и как они совершают непреднамеренные или неожиданные действия».
ИИ-агенты атаковали более 1200 сайтов: хакер почти не вмешивался.