Искусственный интеллект и нейросети, на которых он базируется, могут очень многое. Это уже не раз и не два продемонстрировано в самых разных отраслях. Но какой размер оптимален для нейросетей? Недавно проведенное исследование выявило интересную закономерность – чем больше нейросеть, тем надежней и стабильней ее работа. Эту мысль озвучили в рамках конференции разработчиков NeurIPS сразу два спикера, Себастьен Бубек и Марк Селлке, выступавших перед участниками. Они пришли к аналогичным выводам в лабораториях Microsoft и Университета Стенфорда независимо друг от друга.
Даже сравнительно небольшие нейросети сохраняют работоспособность. Однако, большие по объему нейросети сталкиваются в меньшими проблемами в работе. Исследователи считают, что это связано с тем, как именно они запоминают данные в процессе обучения.
Наиболее популярной задачей является обучение нейросетей распознаванию изображений. Для этого требуется загрузить в нейросеть множество изображений с метками, помогающих их идентифицировать. Постепенно, нейросеть учится не только распознавать уже «знакомые» ей объекты, но и предсказывать, какие метки будут у тех объектов, которые они никогда «не видела». Этот процесс называют в науке «обобщением».
Размер нейросети напрямую определяет, сколько данных она сможет запомнить в процессе обучения. Если говорить об изображениях, то они представляются сотнями или тысячами пикселей. Фактически, это набор свободных значений. С математической точки зрения он полностью эквивалентен координатам точки в многомерном пространстве. Количество этих координат принято называть размерностью.
Современные нейросети имеют все большее число параметров. Наблюдения и исследования позволили выяснить, что большая надежность нейросети обеспечивается избыточной параметризацией. Кроме того, избыточная параметризация полезна для работы нейросетей еще и потому, что улучшает их способность к обобщению и делает обучение более быстрым и эффективным.