6 сервисов, где нейросети рисуют картинку по описанию

Правда, несмотря на все достижения науки, пока нейросети требуют большого количества технических ресурсов, включая мощнейшие компьютеры, а также не могут соперничать с мозгом человека, где и синапсов больше, и работать они могут параллельно друг с другом. А нейросети пока функционируют лишь через разделение любой, даже самой простой задачи, на череду последовательных шагов к её выполнению. Но уже сейчас нейронные сети способны существенно помогать человеку в повседневных задачах.

Нейросетям доверено распознавать лица в системах видеонаблюдения, диагностировать болезни при анализе данных пациентов, заменять человека в колл-центрах в роли голосовых помощников да даже привычные всем чат-боты тоже используют в своей основе принцип нейронных сетей. Сервисы по имитации голосов и созданию изображений-дипфейков построены также на нейросетях. А в последнее время нейронным сетям доверили даже творческие задачи — написание стихов и рекламных слоганов, сочинение музыки и сценариев для фильмов, разработку и визуализацию промышленного дизайна, а кроме того — превращение слов в изображение.

DALL-E 2 — нейросеть, которая рисует по словам

В 2021 году одно из детищ Илона Маска, занимающаяся разработкой и лицензированием технологий на основе машинного обучения американская компания OpenAI, представила нейросеть DALL-E, способную создавать изображение по его текстовому описанию. Опыт был признан удачным и в 2022 году анонсировали DALL-E 2 — дальнейшее развитие своего прародителя.

К основным особенностям нейросети добавилось в четыре раза более высокое качество итоговых изображений, возможность редактировать загруженные фотографии (удалять или добавлять объекты на готовое изображение) и создавать третье изображение на основе двух загруженных, сочетая в получившемся новом характерные черты стиля исходных иллюстраций.

На старте DALL-E 2 (названа, если кто не догадался, в честь испанского художника-сюрреалиста Сальвадора Дали) находилась в закрытом бета-тесте и доступа всех желающих к ней не было предусмотрено. Но по окончании испытаний на основе нейросети все желающие могут создавать собственные приложения для обработки и создания изображений. Или пользоваться возможностями проекта.

На официальном сайте нейросети необходимо завести персональный аккаунт, а затем потратить свой баланс «кредитов» на создание изображений — бесплатно доступно 50 кредитов, а со второго месяца их лимит сокращается до 15 кредитов. Если этого вам недостаточно, кредиты можно купить (но у владельцев карт российских банков с этим могут быть сложности), а дальше тратить их на то, чтобы заданные вами текстовые описания превращались в иллюстрации.

GLIDE — нейросеть для рисования

Все та же OpenAI представила в 2021 году нейросеть GLIDE, которая способна обрабатывать загруженные изображения, а также генерировать уникальные иллюстрации на основе их текстового описания. С помощью сервиса можно добавлять на изображения различные элементы, причем GLIDE может работать не только с фотографиями, но и рисунками — в обоих случаях нейронная сеть «считывает» стиль исходной иллюстрации, что позволяет гармонично вписывать новый объект, адаптируя его под общий стиль изображения.

По качеству своей работы новая нейросеть превосходит DALL-E и даже может качественно справляться с необычными заданиями, но и как любая нейросеть периодически GLIDE способна дать сбой при выполнении самого простого запроса. Описание своего проекта разработчики из OpenAI представили в виде научной публикации на портале arXiv.org, а также выложили на GitHub исходный код сокращенной версии нейросети для тестов всеми заинтересовавшимися проектом.

Так что если вы захотите воспользоваться наработками команды инженеров OpenAI, то придется скачать опубликованный ими код и самостоятельно организовать на своих мощностях собственную нейросеть. Если возможности такой нет, то придется воспользоваться другими вариантами сервисов из нашей подборки.

GauGAN 2 — нейросеть, которая рисует картинку по запросу

Еще один американский технологический гигант — компания Nvidia — который специализируется на разработке графических процессоров и систем на чипе снискал себе славу в индустрии видеоигр, сфере профессиональной визуализации, областях высокопроизводительных вычислений и беспилотных автомобилях, которые используют бортовые компьютеры Nvidia, также не остался в стороне от нейросетей. В 2019 году появилась нейронная сеть GauGAN, генерирующая изображения на основе эскизов, а под конец 2021 года создали GauGAN 2.

Основной фишкой GauGAN 2 (имя ей дал французский постимпрессионист Поль Гоген) стало умение создавать иллюстрации на основе текстовых описаний. Для обучения использовался суперкомпьютер NVIDIA Selene, десятки миллионов высококачественных изображений и текстов, на основе которых нейросеть тренировалась устанавливать связь между словами и иллюстрациями, стилем текста и готовым изображением.

В демонстрационном режиме GauGAN 2 доступна на сайте компании-разработчика, а вот первую версию своей нейросети Nvidia воплотила в релизном продукте — алгоритмы нейронной сети работают с изображениями в редакторе Canvas, воспользоваться которым можно на официальном сайте проекта.

ruDALL-E — нейросеть, которая рисует онлайн

Особняком среди всех проектов стоит труд команды SberDevices и Sber AI при содействии SberCloud, которая взяла за основу модель DALL-E от компании OpenAI, а затем перевела ее на русский язык. Российские специалисты взяли код, запустили обучение нейросети на платформе ML Space на базе суперкомпьютера «Кристофари» — 23 тысячи GPU-часов обучения на массиве данных из 120 миллионов пар текст-изображение обернулись самым большим нейросетевым вычислительным проектом в России и СНГ и нейросетью ruDALL-E. Это единственная в мире нейронная сеть, которая может генерировать изображения на основе текстового описания на русском языке (позднее, впрочем, вышла версия для работы с англоязычными описаниями).

Как описывает свой проект «Сбер», ruDALL-E создает новое изображение по пользовательскому описанию в три стадии. Первой является использование отдельной нейросети, которая превращает указанный текст в некое заданное системой количество картинок. Потом включается в работу вторая нейросеть, которая уже на основе своих алгоритмов отбирает самые удачные иллюстрации с учетом не только их качества изображения, но и максимального соответствия пользовательскому запросу. На выходе третья нейросеть берет появившиеся на предыдущем шаге работы ruDALL-E картинки и обрабатывает их с тем, чтобы обеспечить им максимальное качество при максимальном же размере изображения. Разработчики обещают, что их детище генерирует неограниченно большое количество изображений по указанному пользователем запросу, поскольку нейросети с каждым таким запросом обучаются и на текстовых командах, и на сгенерированных алгоритмами изображениях. При этом платформа использует ruDALL-E XL, содержащую 1,3 миллиарда параметров, и ruDALL-E 12B с 12 миллиардами параметров.

Уменьшенный вариант ruDALL-E доступен в приложении «Салют» и на демосайте, а на устройствах Sber или в приложении «Салют» для запуска нейросети достаточно голосовой команды «Открой Дали» или «Запусти художника». 

DALL·E mini — нейросеть рисует портреты

Упрощенный вариант нейросети для создания иллюстраций по их текстовому описанию от компании Илона Маска. Основное отличие от проекта DALL-E 2 заключается в том, что эта нейросеть генерирует изображения в открытом доступе и воспользоваться ею может любой желающий, причем совершенно бесплатно. 

Минусов, учитывая бесплатность и общедоступность нейросети, тоже хватает. Во-первых, официальный сайт сервиса не всегда работает из-за наплыва трафика. Во-вторых, время ожидания готового результата (достаточно просто ввести описание желаемой иллюстрации на английском языке и нажать кнопку Draw) может составлять десятки минут. В-третьих, сохранить можно изображение только в не самом высоком качестве. Зато на выходе по одному запросу нейросеть позволяет получить сразу девять иллюстраций.

Dream by Wombo — нейросеть рисует картины по словам

По своим возможностям нейросеть от канадского стартапа похожа на DALL·E mini, но отличия все-таки есть. К схожим чертам можно отнести предельно простой интерфейс — на сайте достаточно указать описание (но только на английском языке и описание должно укладываться в 200 символов) и кликнуть по клавише Create, чтобы получить иллюстрацию. В остальном — различия.

Dream by Wombo специализируется только на вертикальных иллюстрациях и это важно иметь ввиду перед началом работы. Зато нейросеть позволяет выбрать стиль готового изображения из предложенных на сайте вариантов (или отказаться от этого и довериться «вкусу» платформы), а при желании и вовсе можно прикрепить референсную картинку, чтобы попытаться получить на выходе похожую иллюстрацию. Если не выйдет — можно тут же «перегенерировать» получившееся изображение. Зато все бесплатно.

P.S. Иллюстрации в разделах о нейросетях GauGAN 2, ruDALL-E, DALL·E mini и Dream by Wombo показывают то, как нейронные сети Nvidia и «Сбера» представляют себе слово iChip — в большинстве случаев название нашего издания вызывает у нейросетей космические «ассоциации».

Еще одно модное словечко, которое теперь у всех на слуху — NFT. Почитайте в нашей статье, что это такое и как на этом можно заработать.