США едва не остановили китайское судно на основании «полностью ложного» разведывательного доклада, сгенерированного с помощью ИИ-инструментов. Ошибочные данные, поданные аналитиком Командования специальных операций, указывали, что судно перевозит компоненты для ядерной программы через Ближний Восток. Военные готовились перехватить корабль при поддержке авиации, прежде чем выяснилось: чат-бот, использованный при подготовке доклада, «неточно определил материал, который перевозит судно». Один из источников сказал CNN, что этот провал «почти начал войну».
Выяснилось, что аналитик применил чат-бота для анализа разведдонесений о манифесте судна, что и привело к почти катастрофическому результату. Чат-бот «объединил открытые источники с секретной сигнальной разведкой в государственных хранилищах», и эта информация попала в доклад, едва не запустивший цепочку катастрофических событий. Инцидент стал одним из самых серьёзных случаев, когда галлюцинирующий ИИ подорвал надёжность важного профессионального отчёта.
Инцидент произошёл на фоне предупреждений исследователей об экзистенциальных рисках, вызвавших новую дискуссию о безопасности ИИ, включая призывы к регулированию и «замедлению» исследований ведущими лабораториями. Несмотря на то, что ИИ и технологии на его основе бывают крайне полезными, слепое их использование в таких отраслях, как военная аналитика, являются крайне опасным занятием. Американским военным следует задуматься о рисках, которые несет ошибка. Полагаться на то, что использование в промте фразы «не галлюционируй» позволит ИИ избежать ошибок, не стоит. Едва не вспыхнувшая война является четким свидетельством того, как просто нарушить мир, подтолкнуть человечество к краху.
Немецкая разведка ищет работников на Gamescom.
