Исследователи продемонстрировали, как обычный лист бумаги с особым образом нанесенным текстом может ввести в заблуждение сложнейшие алгоритмы автономного транспорта. Речь идет о методе CHAI, представляющем собой атаку на процесс принятия решений искусственным интеллектом через визуальное восприятие текста. Эффективность предложенного метода поражает воображение. В симулированных условиях для автомобильных систем показатель успешности атаки достиг 81,8%.
Критически важным оказалось не только смысловое наполнение текста, но и его визуальное оформление. Желтые буквы на темно-зеленом фоне вводили ИИ в заблуждение, в то время как черный текст на неоново-зеленом оставался незамеченным для системы. Это доказывает, что такие, казалось бы, незначительные детали, как цветовая гамма или, возможно, гарнитура шрифта, способны кардинально повлиять на решения, принимаемые автономным транспортом будущего.
Представители индустрии призывают не драматизировать ситуацию. Серийные модели, такие как Tesla FSD или роботакси Waymo, полагаются не только на камеры, но и на комплекс сенсоров: радары и лидары, работающие в связке с краудсорсинговыми картами. Такая архитектура, построенная на дублировании и перекрестной проверке данных, делает их гораздо менее уязвимыми для подобных моносенсорных атак.
Данное открытие способно охладить пыл автопроизводителей, стремящихся к скорейшему внедрению полностью автономных систем, целиком полагающихся на «зрение» и логику визуально-языковых моделей. Парадокс заключается в том, что чем более интеллектуальными и приближенными к человеческому мышлению мы делаем алгоритмы, тем более восприимчивыми они становятся к манипуляциям, которые человек отбросил бы как заведомо ложные.
Автономные машины Waymo контролируют «телефонные друзья».
