Несмотря на то, что большинство детей усваивают умение определять время в возрасте шести-семи лет, современные модели искусственного интеллекта (ИИ) по-прежнему испытывают трудности с интерпретацией аналоговых циферблатов. Обычные часы со стрелками вызывают у нейросетей непреодолимые трудности, приводящие к ошибкам. Задача, кажущаяся простой даже детям, оказывается «не по зубам» ИИ, выполняющим миллионы операций в секунду.
Исследователи из Эдинбургского университета провели масштабное исследование, в ходе которого были протестированы различные мультимодальные большие языковые модели (MLLM), разработанные компаниями Google, OpenAI и Anthropic. Целью этой научной работы была оценка способности ИИ-моделей распознавать показания аналоговых часов и календарей.
Результаты исследования, ожидающие публикации в тематической научной периодике, показали, что MLLM демонстрируют низкую точность в определении времени по аналоговым часам (менее 25%), испытывая трудности с комбинированием пространственного восприятия, контекста и базовых математических знаний, необходимых для этой задачи. Модели показали более высокие результаты при работе с календарями, но всё же допустили ошибки в 20% случаев.
Авторы исследования отмечают, что хотя MLLM демонстрируют впечатляющие результаты в сложных областях, таких как математика и юриспруденция, им необходимо улучшить базовые навыки, такие как определение времени, для успешной интеграции в реальные приложения, требующие быстрого реагирования. Разработчикам стоит сделать больший акцент на выполнение простых, но важных для повседневной жизни задач.
А вы знаете, что российские часы ThinKing стали самыми тонкими в мире?
