Компания SPLX продемонстрировала, что современные языковые модели, в частности ChatGPT, можно направленно обучить обходу CAPTCHA-задач — проверочных механизмов, которые десятилетиями считались надежным способом отличить человека от компьютерной программы. Этот эксперимент заставляет пересмотреть устоявшиеся принципы веб-безопасности, основанные на подобных тестах. Выяснилось, достаточно грамотно составленного диалога, чтобы мощный искусственный интеллект успешно справлялся с такими проверками.
При этом прямой запрос на решение CAPTCHA закономерно вызывал отказ системы по соображениям политики использования. Но при моделировании обсуждения «условных» тестов, представленных как учебный материал, первоначальные ограничения успешно преодолевались.
В ходе беседы модель не только выразила интеллектуальный интерес к задаче, но и согласилась участвовать, будучи уверенной в соблюдении правил. Это позволило агенту приступить к решению, причем наиболее успешно он справлялся с текстовыми и логическими CAPTCHA, а также с тестами, требующими одного клика. Задачи, связанные с манипуляцией изображениями, давались сложнее, но и здесь отмечались отдельные случаи правильных ответов.
Данный результат ставит под сомнение дальнейшую пригодность таких проверок в условиях стремительного развития искусственного интеллекта. OpenAI на момент публикации не предоставила комментариев по данному инциденту. Стоит отметить, что подобные случаи обхода ограничений через инъекцию промптов уже известны. Эксперимент SPLX наглядно показывает, что даже базовые системы защиты начали стремительно терять свою эффективность.
А Google научилась определять роботов без ввода капчи.