В американском суде впервые зафиксирован случай, когда истец попытался скрыть в судебных документах текст, предназначенный только для систем искусственного интеллекта, чтобы повлиять на исход дела. Судья обнаружил, что истец М. Эллиотт использовал так называемую инъекцию промтов – скрытые инструкции, которые были отформатированы так, чтобы быть невидимыми для человека, но оставаться читаемыми для программного обеспечения. Текст был уменьшен до микроскопического размера и окрашен в белый цвет на белом фоне, а его содержание включало требования к системе ИИ игнорировать предыдущие отказы суда и обеспечивать исход в пользу истца.
Этот случай стал первым в США, но не в мире: ранее аналогичная атака была зафиксирована в Бразилии, где двое адвокатов пытались использовать скрытые инструкции в суде, использующем ИИ для анализа дел. В обоих случаях планы не увенчались успехом: бразильская система ИИ обнаружила скрытый текст до его обработки, а в деле Эллиотта судья рассмотрел документ на основе фактического содержания. Однако судья Спейдер предупредил, что такие атаки создают опасный прецедент, особенно в условиях, когда ИИ-инструменты становятся всё более распространёнными в судебных системах.
Интересно, что Эллиотт, представляющий свои интересы без адвоката, утверждал, что его действия были попыткой проверить, не использует ли суд ИИ для принятия решений. Однако судья отметил, что, если бы он действительно хотел провести такую проверку, он мог бы сделать это открыто, а не скрытыми инструкциями. Кроме того, Эллиотт продолжал добавлять скрытые сообщения в новые документы даже после того, как суд предупредил его о возможных санкциях. В итоге судья запретил ему подавать электронные документы в будущем, обязав предоставлять бумажные копии.
Судья под подозрением: мог ли ИИ написать судебное решение?