Нейросеть по пятницам: генерируем видеоролики и оживляем фотографии в Runway
Сегодня в нашей рубрике «Нейросеть по пятницам» рассказываем про сервис Runway. Он позволяет генерировать видеоролики, редактировать и даже оживлять фотографии, а также работать с аудиоконтентом. Все это потом можно использовать бесплатно. Давайте посмотрим, на что способна эта генеративная сеть.
Искусственный интеллект прочно вошел в нашу жизнь — сейчас нейросети популярны не только среди энтузиастов, но и среди обывателей. Хороший пример — отечественный голосовой помощник «Алиса», который теперь работает на базе ИИ.
Мы регулярно знакомим вас с полезными сервисами, в том числе с нейросетями. Сегодня протестируем Runway — нейросеть, которая позволяет генерировать и редактировать видео, фотографии и аудио. Все это работает прямо на сайте, поэтому для создания креативных материалов вам не понадобится мощный компьютер — хватит и простенького ноутбука.
Что такое Runway
Изначально доступная только ограниченному количеству пользователей нейросеть Runway недавно вышла в открытый доступ. Теперь каждый может использовать сервис, причем протестировать его можно абсолютно бесплатно.
Runway умеет работать с видео, картинками и звуком. С ее помощью можно полностью автоматизировать генерацию визуального контента для публикации на сайте, а также для использования в рекламных или других целях. Функционирует этот ИИ на базе генеративной модели GEN. Нейросеть, также как популярные DALL-E или Stable Diffusion, работает с большими объемами данных — изучает материалы, связанные с запросом, а затем создает на их базе новый контент.
Что умеет Runway
Эта нейросеть в основном полезна в двух задачах — генерация видеороликов, а также редактирование фотографий с помощью текстовых описаний. Как это работает — пользователь пишет «НЛО приземлилось на поле», нажимает кнопку генерации и получает готовый результат.
Сейчас платформа работает на базе трех генеративных нейросетей — GEN 2 и двух версий GEN 3. С их помощью можно:
- создавать видео по текстовому запросу;
- генерировать видео из изображения и текстовой подсказки;
- оживлять изображения;
- динамически добавлять эффекты в видео или фото;
- делать раскадровку;
- создавать маску;
- и многое другое.
Обо всех возможностях нейросети Runway рассказать в одном абзаце невозможно — платформа предлагает несколько десятков инструментов, с помощью которых можно не только генерировать картинки и видеоролики, но также удалять шум из аудиороликов, транскрибировать аудио в текст, создавать субтитры, улучшать разрешение материалов и даже удалять объекты с видео.
Впрочем, не будем долго рассказывать, лучше покажем работу ИИ на реальных примерах.
Тестируем Runway
Чтобы воспользоваться нейросетью, придется создать аккаунт или авторизоваться под учетной записью Google, которая сейчас имеется практически у каждого пользователя. После чего система перекинет на главную страницу нейросети, где можно выбрать нужный инструмент и начать работу.
Выше мы уже продемонстрировали, как работает инструмент генерации коротких роликов по текстовому запросу, так что теперь покажем, как можно оживить любую картинку. Например, возьмем изображение кота и попросим нейросеть сделать из нее видеоролик. Можно добавить свои комментарии и преобразить результат по вкусу, но мы положимся на автоматические алгоритмы.
Из этого снимка мы получили такой материал.
А теперь протестируем второй инструмент — стилизацию видеоролика. Для примера будем использовать этого же котика и готовый пресет под названием Iso. Вот, что получилось.
Выглядит, конечно, странновато, но давайте спишем это на неудачность исходного материала.
Теперь сами сгенерируем картинки.
Вот, что выдала нейросеть по запросу «собака улыбается на камеру». Первая и четвертая картинки получились просто отличными разве что на последнем снимке пес выглядит немного недокормленным.
Раз уж мы продолжаем тему домашних животных, то вот еще задание — «морская свинка». Просто и лаконично. Результат такой же.
Изображения получаются очень реалистичными. Давайте попробуем оживить одно из них.
Алгоритмы отлично справились с заданием и оживили картинку, которую сами же и сгенерировали. Причем на первый взгляд видеоролик не так просто отличить от настоящего. Удивительно, что оживленная свинка двигает не ушами, и не другими частями тела, а именно мордочкой.
Сколько стоит?
Нейросеть можно использовать бесплатно, но в ограниченном режиме — при регистрации дают 500 монет, которые можно потратить на генерацию видеороликов и другие эксперименты с ИИ. Однако получить дополнительные токены можно только в платных тарифах. В среднем за секунду генерации видео с вас списывают 5 монет.
Ценовая политика здесь такая — 15 долларов за стандартный тариф (625 монет), 35 долларов за версию Pro (2250 монет) и 95 долларов за безлимитные возможности. Цены указаны за месяц.
Обзоры других нейросетей в рамках нашей рубрики «Нейросеть по пятницам» ищите по этой ссылке.