9 сервисов, где нейросети рисуют картинку по описанию

Правда, несмотря на все достижения науки, пока нейросети требуют большого количества технических ресурсов, включая мощнейшие компьютеры, а также не могут соперничать с мозгом человека, где и синапсов больше, и работать они могут параллельно друг с другом. А нейросети пока функционируют лишь через разделение любой, даже самой простой задачи, на череду последовательных шагов к её выполнению. Но уже сейчас нейронные сети способны существенно помогать человеку в повседневных задачах.

Нейросетям доверено распознавать лица в системах видеонаблюдения, диагностировать болезни при анализе данных пациентов, заменять человека в колл-центрах в роли голосовых помощников да даже привычные всем чат-боты тоже используют в своей основе принцип нейронных сетей. Сервисы по имитации голосов и созданию изображений-дипфейков построены также на нейросетях. А в последнее время нейронным сетям доверили даже творческие задачи — написание стихов и рекламных слоганов, сочинение музыки и сценариев для фильмов, разработку и визуализацию промышленного дизайна, а кроме того — превращение слов в изображение.

Kandinsky 2.1 — нейросеть, которая понимает русский

Kandinsky 2.1 не зря стал самым быстрорастущим сервисом искусственного интеллекта в мире, всего за 6 дней добравшись до отметки в миллион уникальных пользователей. За считанные секунды нейросеть способна сгенерировать изображение по текстовому описанию на одном из 101 поддерживаемых языков мира, включая и русский.

Она умеет создавать картину в режиме бесконечного полотна, смешивать изображения и дорисовывать их. Разработкой и обучением нейросети занимались специалисты Sber AI при партнёрской поддержке учёных из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.

По сути, она стала улучшенной версией предыдущей Kandinsky, дообученной на 170 млн пар «текст — изображение» и специально собранном датасете из двух миллионов пар качественных изображений. Сильно помогло в улучшении генерации изображений и использование новой обученной модели автоэнкодера. Ну а сгенерировать изображения можно, как в Telegram-боте нейросети, так и на ее официальной странице или в приложении Салют.

Шедевриум — перспективный прототип с ограниченными возможностями

Новая нейросеть от команды Яндекса пока находится только в начале своего пути, но уже доступна для бета-тестирования пользователями в виде приложений для Android и iOS. Она умеет рисовать картины по текстовому описанию на русском и английском языках, но, как и все подобные сервисы, очень любит конкретику — чем более полным окажется описание изображения, тем точнее будет итоговый результат.

Нейросеть может подражать стилю известных художников и их полотен, работает в заданных стилях и поддерживает, в том числе, и фотореализм, когда изображение будет почти неотличимо от обычной фотографии.

Главный минус Шедевриума в том, что возможности работы с сервисом пока сильно ограничены. Скачав приложение, вы сможете без проблем посмотреть уже имеющиеся работы, а вот создать собственное изображение получится только после одобрения составленной заявки. Впрочем, учитывая бета-статус сервиса, это неудивительно.

Stable Diffusion — нейросеть на вашем компьютере

После того, как бесплатный доступ к Midjourney оказался закрыт, популярность Stable Diffusion… ну не возросла до небес, но все-таки достаточно ощутимо увеличилась. Оно и неудивительно. Нейросеть не только построена на открытом исходном коде, полностью бесплатна и предлагает множество вариантов доступа.

Чего только стоит возможность установить ее на собственный компьютер. Причем особо мощный ПК для этого не нужен — достаточно, чтобы он имел видеокарту Nvidia 10XX или свежее с 4 Гбайт видеопамяти. Поддержать разработчиков деньгами вы, конечно, можете, но это совсем необязательно — сервис полностью бесплатен.

Stable Diffusion немного уступает тому же Midjourney по выразительности рисовки, но и результаты, выдаваемые нейросетью, более предсказуемы и точнее отвечают введенным запросам.

DALL-E 2 — нейросеть, которая рисует по словам

В 2021 году одно из детищ Илона Маска, занимающаяся разработкой и лицензированием технологий на основе машинного обучения американская компания OpenAI, представила нейросеть DALL-E, способную создавать изображение по его текстовому описанию. Опыт был признан удачным и в 2022 году анонсировали DALL-E 2 — дальнейшее развитие своего прародителя.

К основным особенностям нейросети добавилось в четыре раза более высокое качество итоговых изображений, возможность редактировать загруженные фотографии (удалять или добавлять объекты на готовое изображение) и создавать третье изображение на основе двух загруженных, сочетая в получившемся новом характерные черты стиля исходных иллюстраций.

На старте DALL-E 2 (названа, если кто не догадался, в честь испанского художника-сюрреалиста Сальвадора Дали) находилась в закрытом бета-тесте и доступа всех желающих к ней не было предусмотрено. Но по окончании испытаний на основе нейросети все желающие могут создавать собственные приложения для обработки и создания изображений. Или пользоваться возможностями проекта.

На официальном сайте нейросети необходимо завести персональный аккаунт, а затем потратить свой баланс «кредитов» на создание изображений — бесплатно доступно 50 кредитов, а со второго месяца их лимит сокращается до 15 кредитов. Если этого вам недостаточно, кредиты можно купить (но у владельцев карт российских банков с этим могут быть сложности), а дальше тратить их на то, чтобы заданные вами текстовые описания превращались в иллюстрации.

GLIDE — нейросеть для рисования

Все та же OpenAI представила в 2021 году нейросеть GLIDE, которая способна обрабатывать загруженные изображения, а также генерировать уникальные иллюстрации на основе их текстового описания. С помощью сервиса можно добавлять на изображения различные элементы, причем GLIDE может работать не только с фотографиями, но и рисунками — в обоих случаях нейронная сеть «считывает» стиль исходной иллюстрации, что позволяет гармонично вписывать новый объект, адаптируя его под общий стиль изображения.

По качеству своей работы новая нейросеть превосходит DALL-E и даже может качественно справляться с необычными заданиями, но и как любая нейросеть периодически GLIDE способна дать сбой при выполнении самого простого запроса. Описание своего проекта разработчики из OpenAI представили в виде научной публикации на портале arXiv.org, а также выложили на GitHub исходный код сокращенной версии нейросети для тестов всеми заинтересовавшимися проектом.

Так что если вы захотите воспользоваться наработками команды инженеров OpenAI, то придется скачать опубликованный ими код и самостоятельно организовать на своих мощностях собственную нейросеть. Если возможности такой нет, то придется воспользоваться другими вариантами сервисов из нашей подборки.

GauGAN 2 — нейросеть, которая рисует картинку по запросу

Еще один американский технологический гигант — компания Nvidia — который специализируется на разработке графических процессоров и систем на чипе снискал себе славу в индустрии видеоигр, сфере профессиональной визуализации, областях высокопроизводительных вычислений и беспилотных автомобилях, которые используют бортовые компьютеры Nvidia, также не остался в стороне от нейросетей. В 2019 году появилась нейронная сеть GauGAN, генерирующая изображения на основе эскизов, а под конец 2021 года создали GauGAN 2.

Основной фишкой GauGAN 2 (имя ей дал французский постимпрессионист Поль Гоген) стало умение создавать иллюстрации на основе текстовых описаний. Для обучения использовался суперкомпьютер NVIDIA Selene, десятки миллионов высококачественных изображений и текстов, на основе которых нейросеть тренировалась устанавливать связь между словами и иллюстрациями, стилем текста и готовым изображением.

В демонстрационном режиме GauGAN 2 доступна на сайте компании-разработчика, а вот первую версию своей нейросети Nvidia воплотила в релизном продукте — алгоритмы нейронной сети работают с изображениями в редакторе Canvas, воспользоваться которым можно на официальном сайте проекта.

ruDALL-E — нейросеть, которая рисует онлайн

Особняком среди всех проектов стоит труд команды SberDevices и Sber AI при содействии SberCloud, которая взяла за основу модель DALL-E от компании OpenAI, а затем перевела ее на русский язык. Российские специалисты взяли код, запустили обучение нейросети на платформе ML Space на базе суперкомпьютера «Кристофари» — 23 тысячи GPU-часов обучения на массиве данных из 120 миллионов пар текст-изображение обернулись самым большим нейросетевым вычислительным проектом в России и СНГ и нейросетью ruDALL-E. Это единственная в мире нейронная сеть, которая может генерировать изображения на основе текстового описания на русском языке (позднее, впрочем, вышла версия для работы с англоязычными описаниями).

Как описывает свой проект «Сбер», ruDALL-E создает новое изображение по пользовательскому описанию в три стадии. Первой является использование отдельной нейросети, которая превращает указанный текст в некое заданное системой количество картинок. Потом включается в работу вторая нейросеть, которая уже на основе своих алгоритмов отбирает самые удачные иллюстрации с учетом не только их качества изображения, но и максимального соответствия пользовательскому запросу. На выходе третья нейросеть берет появившиеся на предыдущем шаге работы ruDALL-E картинки и обрабатывает их с тем, чтобы обеспечить им максимальное качество при максимальном же размере изображения. Разработчики обещают, что их детище генерирует неограниченно большое количество изображений по указанному пользователем запросу, поскольку нейросети с каждым таким запросом обучаются и на текстовых командах, и на сгенерированных алгоритмами изображениях. При этом платформа использует ruDALL-E XL, содержащую 1,3 миллиарда параметров, и ruDALL-E 12B с 12 миллиардами параметров.

Уменьшенный вариант ruDALL-E доступен в приложении «Салют» и на демосайте, а на устройствах Sber или в приложении «Салют» для запуска нейросети достаточно голосовой команды «Открой Дали» или «Запусти художника». 

DALL·E mini — нейросеть рисует портреты

Упрощенный вариант нейросети для создания иллюстраций по их текстовому описанию от компании Илона Маска. Основное отличие от проекта DALL-E 2 заключается в том, что эта нейросеть генерирует изображения в открытом доступе и воспользоваться ею может любой желающий, причем совершенно бесплатно. 

Минусов, учитывая бесплатность и общедоступность нейросети, тоже хватает. Во-первых, официальный сайт сервиса не всегда работает из-за наплыва трафика. Во-вторых, время ожидания готового результата (достаточно просто ввести описание желаемой иллюстрации на английском языке и нажать кнопку Draw) может составлять десятки минут. В-третьих, сохранить можно изображение только в не самом высоком качестве. Зато на выходе по одному запросу нейросеть позволяет получить сразу девять иллюстраций.

Dream by Wombo — нейросеть рисует картины по словам

По своим возможностям нейросеть от канадского стартапа похожа на DALL·E mini, но отличия все-таки есть. К схожим чертам можно отнести предельно простой интерфейс — на сайте достаточно указать описание (но только на английском языке и описание должно укладываться в 200 символов) и кликнуть по клавише Create, чтобы получить иллюстрацию. В остальном — различия.

Dream by Wombo специализируется только на вертикальных иллюстрациях и это важно иметь ввиду перед началом работы. Зато нейросеть позволяет выбрать стиль готового изображения из предложенных на сайте вариантов (или отказаться от этого и довериться «вкусу» платформы), а при желании и вовсе можно прикрепить референсную картинку, чтобы попытаться получить на выходе похожую иллюстрацию. Если не выйдет — можно тут же «перегенерировать» получившееся изображение. Зато все бесплатно.

P.S. Иллюстрации в разделах о нейросетях Kandinsky 2.1, Stable Diffusion, GauGAN 2, ruDALL-E, DALL·E mini и Dream by Wombo показывают то, как нейронные сети представляют себе слово iChip — в большинстве случаев название нашего издания вызывает у нейросетей космические или киберпанковские «ассоциации».

Читайте также

• Нейросети, доступные каждому: большой актуальный каталог
• Что умеет GPT-4 и как пользоваться новым ChatGPT