Чат-боты с искусственным интеллектом стали неотъемлемой частью образовательного процесса, рабочей среды и повседневного общения, однако они продолжают демонстрировать проблему — склонность к генерации недостоверной информации. Это явление, известное как «галлюцинации ИИ», может выглядеть крайне убедительно, хотя не соответствует действительности. Компания OpenAI провела масштабное исследование этой проблемы. Согласно выводам ученых, корень проблемы заключается не в архитектуре моделей, а в системе их тестирования и оценки.
Современные методы оценки поощряют ИИ-системы давать ответы на все вопросы, даже когда они не обладают достаточной информацией, в то время как воздержание от ответа при недостаточной уверенности рассматривается как недостаток. Это напоминает экзаменационную систему, где угадывание поощряется больше, чем честное признание в незнании. Авторы исследования предлагают кардинально изменить подход к оценке производительности ИИ: считать уверенные, но ошибочные ответы негативным результатом, а проявление осторожности и признание неопределенности — позитивным.
В ходе тестирования осторожная модель ответила лишь на половину вопросов, но продемонстрировала 74% точности, в то время как более «решительная» модель дала ответы почти на все вопросы, но с 75% ошибок. Внедрение такого подхода может изменить взаимодействие с ИИ-помощниками. Вместо создания иллюзии осведомленности они будут чаще говорить «я не знаю», что хотя и может показаться менее впечатляющим, но значительно повысит надежность и уменьшит необходимость постоянной проверки информации. Такой подход может стать основой для развития более ответственных и заслуживающих доверия ИИ-систем в будущем.
Тем временем ИИ-рекрутер превратил собеседование в настоящий кошмар.
