Один из экспертов компании Kaspersky рассказал о том, как могут «глючить» нейросети. Сбоям подвержены даже крупные языковые модели и сбои в них могут быть незаметными для пользователя и от этого их опасность увеличивается. Галлюцинация применительно к ИИ значит не совсем то, что применительно к человеку. В данном случае этим понятием описывается ситуации, когда в сгенерированном ИИ тексте присутствует правдоподобная информация о вещах, которых нет в действительности. Из-за этого люди могут поверить нейросети и выстроить свои суждения, которые будут ошибочными.
Эксперт рассказал, как он сам столкнулся с галлюцинацией ИИ. Однажды он попросил большую языковую модель дать рекомендации по прослушиванию музыки. Нейросеть охотно выполнила запрос, предложив послушать «новый альбом» его любимой группы. После того, как десятиминутные поиски в Сети не дали результата, специалист понял, что имеет место «галлюцинация» — такого альбома никогда не было. Нейросеть сгенерировала его название, вставила в текст так, что обман оказался совершенно незаметен даже внимательному экспертному взгляду.
На самом деле, исключить возможность возникновения таких сбоев невозможно, проблема носит фундаментальный характер. Путем к решению может быть поиск и внедрение новых способов генерировать человеческий язык без опоры на авторегрессионные языковые модели. Получая от современных нейросетей ответы, нужно подвергать их критике и никогда не доверять им на 100%. Внедрение ИИ в медицину, юриспруденцию и кибербезопасность в данный момент не может быть всеобъемлющим, ведь допущенные в данных сферах ошибки могут стоить очень дорого.
Тем временем российская нейросеть научилась детектировать мошенников в чатах.