Как создать видео из текста с помощью цифрового аватара: используем нейросеть HeyGen

В этой статье мы расскажем и покажем, как из обычного текста сделать классное видео с аватаром — то есть виртуальным человеком, который будет этот текст произносить. Получится что-то вроде ролика из новостей. Но сначала пара небольших замечаний.

Идеально с первого раза не получится. Нужно будет вносить правки (но это легко, достаточно их описать).
Качественно и бесплатно — понятия плохо совместимые. Надо быть готовым, что с вас попросят денег, а оплата из России напрямую обычно не проходит.

Здесь мог бы быть и третий пункт о том, что с наших IP нейросеть не работает, но, к счастью, HeyGen это не касается. Доступ есть, зарегистрироваться можно через учетную запись Google или Apple. Итак, можно приступать.

Содержание:

Готовим текст
Выбираем аватара
Генерируем ролик
Вносим правки

Готовим текст

Как обычно, результат сильно зависит от исходных данных. Текст для озвучки должен быть написан грамотно. В нем нужно расставить все знаки препинания, разделить его на абзацы. Это необходимо для того, чтобы нейросеть понимала, где делать паузы, и выбрала правильную интонацию. Мы для примера возьмем новость с нашего сайта о том, что HyperOS от Xiaomi получила интеграцию с Apple AirDrop.

Выбираем аватара

Для начала нам нужно определиться с «ведущим» на официальном сайте HeyGen. Самый простой вариант — взять аватара из цифровой библиотеки сервиса. Кликаем по кнопке «Use Avatar V».

Здесь несколько десятков персонажей — просто выберите наиболее подходящий. При наведении вы увидите расширенную информацию о том, сколько поз доступно у аватара. Обычно несколько: он может сидеть, стоять, обнимать подушку на диване, заниматься йогой. Мы для примера выбрали Кристину (Christina).

Вы можете сделать собственный аватар. Для этого понадобится камера и более-менее однородный фон: нужно будет загрузить короткий ролик с собой в кадре. Сервис попросит вас произнести короткий текст в естественной для вас манере, с артикуляцией. Проще говоря, нужно создать исходный материал для обучения нейросети. Но это никак не влияет на дальнейшие действия.

Теперь нужно добавить текст. Можно просто сделать это копипастом, в рамках этой статьи не будем рассказывать о различных опциях. Тем более, в рамках бесплатного тарифного плана они могут быть недоступны.

Генерируем ролик

По сути можно запускать генерацию видео. HeyGen не просто подбирает мимику и жесты под текст — он готовит полноценный ролик, то есть пишет для него сценарий, ищет исходники, создает переходы между сценами. Если вы только экспериментируете или делаете видео для себя, нужно уложить хронометраж в 1 минуту. Это тоже ограничение бесплатного тарифного плана.

Сначала нейросеть предлагает план. Его можно подкорректировать, нажав кнопку «Edit». Например, изменить стиль подачи.

Наш вариант — без претензий на художественную ценность, просто как демонстрация возможностей сервиса. Нейросеть неплохо разобралась в контенте, сумела сгенерировать подходящие картинки и даже анимации. Если бы мы хотели использовать этот ролик, пришлось бы его «докрутить». Интонации тоже не так уж ужасны — тем более, нейросети быстро обучаются, и если вы читаете эту инструкцию хотя бы через полгода после публикации, возможно, ИИ работает совсем по другому.

Вносим правки

Первая версия ролика — лишь исходный материал. Чтобы что-то исправить, достаточно написать об этом в чат с нейросетью. Не обязательно думать как строить предложения — просто пишите, что хотели бы изменить.

Если изменения касаются отдельной сцены, можно редактировать именно ее. Для этого нужно найти эту сцену в разделе Timeline...

Как создать видео из текста с помощью цифрового аватара: используем нейросеть HeyGen

... нажать «Edit» и точно так же описать, что именно нужно изменить.

Кстати, одна из «фишек» сервиса — возможность работы с несколькими языками. Даже если текст у вас на русском, вы можете попросить нейросеть сгенерировать видео с речью на английском. Вот что у нас получилось с той же новостью. Имейте в виду: «переозвучка» также считается новой генерацией видео.

Также можно использовать HeyGen и просто для перевода видео на нужный язык. Например, мема или любимого фрагмента из фильма.

Хочется попробовать что-то еще? Вот пара интересных гайдов по другим нейросетям.