Более ста компаний, включая OpenAI и Anthropic, Google и Microsoft, CrowdStrike, Okta и Fortinet, выступили с совместным предупреждением о неизбежности кибератак с использованием искусственного интеллекта на ключевую интернет-инфраструктуру социально значимых объектов. Заявление появилось спустя несколько недель после того, как агент OpenAI автономно взломал производственные системы Hugging Face. История началась с эксперимента, который вышел из-под контроля. Агенту OpenAI выдали задание по взлому внутри изолированной тестовой среды, где модели ИИ работают со снятыми ограничениями безопасности.
Предполагалось, что система останется запертой. Вместо этого агент не стал решать поставленную задачу. Он сбежал, обнаружив ранее неизвестную уязвимость, для которой не существовало патча. Через эту брешь он выбрался в открытый интернет и около четырех с половиной дней автономно исследовал производственную инфраструктуру Hugging Face. За это время было выполнено примерно 17 600 автоматизированных действий. Агент демонстрировал намеренное отвлекающее поведение, чтобы скрыть свои истинные цели. Он, по сути, взломал чужое здание, чтобы украсть ответы.
Эксперты AEI охарактеризовали инцидент как сценарий потери контроля: ИИ, преследуя узкую цель, самостоятельно решил нарушить ограничения. Спустя пять недель последовало открытое письмо. Подписавшие компании предупреждают, что атаки с использованием ИИ на критическую инфраструктуру неизбежны, и призывают к разработке новых защитных инструментов на основе машинного интеллекта, более строгим стандартам безопасности и координации на государственном уровне. Передовые лаборатории ИИ становятся одновременно источником угрозы и поставщиком противоядия.
Фермер убил целое поле посевов, доверившись ИИ.