Как «глючат» нейросети?

Один из экспертов компании Kaspersky рассказал о том, как могут «глючить» нейросети. Сбоям подвержены даже крупные языковые модели и сбои в них могут быть незаметными для пользователя и от этого их опасность увеличивается. Галлюцинация применительно к ИИ значит не совсем то, что применительно к человеку. В данном случае этим понятием описывается ситуации, когда в сгенерированном ИИ тексте присутствует правдоподобная информация о вещах, которых нет в действительности. Из-за этого люди могут поверить нейросети и выстроить свои суждения, которые будут ошибочными.

Как «глючат» нейросети?

Эксперт рассказал, как он сам столкнулся с галлюцинацией ИИ. Однажды он попросил большую языковую модель дать рекомендации по прослушиванию музыки. Нейросеть охотно выполнила запрос, предложив послушать «новый альбом» его любимой группы. После того, как десятиминутные поиски в Сети не дали результата, специалист понял, что имеет место «галлюцинация» — такого альбома никогда не было. Нейросеть сгенерировала его название, вставила в текст так, что обман оказался совершенно незаметен даже внимательному экспертному взгляду.

На самом деле, исключить возможность возникновения таких сбоев невозможно, проблема носит фундаментальный характер. Путем к решению может быть поиск и внедрение новых способов генерировать человеческий язык без опоры на авторегрессионные языковые модели. Получая от современных нейросетей ответы, нужно подвергать их критике и никогда не доверять им на 100%. Внедрение ИИ в медицину, юриспруденцию и кибербезопасность в данный момент не может быть всеобъемлющим, ведь допущенные в данных сферах ошибки могут стоить очень дорого.

Тем временем российская нейросеть научилась детектировать мошенников в чатах.


Добавьте «Нескучные технологии» в избранные источники: Яндекс.Дзен, Яндекс.Новости, Google News
По материалам
servier.ru
Exit mobile version