Разработанная специалистами компании Сбер новая нейросеть Kandinsky 2.1 располагает широкими возможностями визуализации. С ее помощью можно создавать качественные изображения по их текстовому описанию на естественном для человека языке. Также по описанию она может менять, дополнять новыми деталями и даже смешивать несколько картинок для получения новых впечатляющих результатов в различных художественных стилях. Представленная модель уверенно распознает запросы на 101 языке. В это число входят английский и русский языки.
Разработкой и обучением нейросети занимались исследователи Sber AI. Неоценимую помощь им оказали учёные из Института искусственного интеллекта AIRI. А основой плодотворной работы стал объединенный датасет Sber AI и компании SberDevices. В отличие от своей предшественницы, новая нейросеть была дополнительно обучена на 170 миллиардах пар «текст-изображение». Использовались только картинки высокого разрешения, предполагающие качество. Затем было проведено исчерпывающее дообучение на традиционно сложных изображениях птиц, текстов и человеческих лиц.
В ней применена новая обученная модель автоэнкодера, идеально подходящая для векторных изображений. Благодаря новым подходам и тщательному обучению качество генерации изображений в высоком разрешении заметно улучшилось. Нейросеть использует 3,3 миллиарда параметров, что на 1,3 миллиарда больше, чем в Kandinsky 2.0. Разработчики максимально адаптировали свой новый продукт для использования в самых различных отраслях. Так, для банковского сектора нейросеть представляет особый интерес в плане создания качественного контента, позволяющего заинтересовать клиентов и сфокусироваться на определенном предложении или услуге.
Интересно, что нейросеть Kandinsky 2.1 находится в открытом доступе и протестировать ее могут все, кто этого желает. Для этого нужно посетить промостраницу или активировать работу с ней на любом из умных устройств Sber, в мобильном приложении Салют или на платформе ML Space по команде «Запусти художника». Пробуйте, и вы будете приятно удивлены возможностями отечественной разработки! Вот несколько примеров ее работы:
