Нейросеть по пятницам: как добавить или заменить объекты на видео через Pika

Мы стараемся знакомить вас с технологиями во всех направлениях, и нейросети в этом не исключение. В этот раз мы решили рассказать об интересном функционале уже знакомой всем платформы под названием Pika Art.

Недавно мы уже разбирались с тем, как она работает — превращали обычные фотографии в «живые». С этим искусственный интеллект справился неплохо, учитывая, что это одна из самых сложных задач для сервисов такого плана. Сегодня мы нагрузим Pika Art еще раз — теперь заставим нейросеть редактировать видео. Точнее, менять объекты в кадре или вообще их удалять.

Удаляем объекты с помощью нейросети 

Со статичными фотографиями было бы все намного проще — такой функционал теперь имеется даже в смартфонах в качестве дополнительной кнопки в фоторедакторе. А вот с редактированием видео пока справляются только специализированные сервисы. Например, такую возможность предоставляет Pika Art — давайте посмотрим, на что способны современные технологии.

Повторяться не будем — все подробности об этом сервисе мы изложили в прошлом материале. Так что сегодня начнем сразу с тестирования и посмотрим на результаты. Давайте начнем с основной задачи — попробуем убрать лишний объект на видео с красивым закатом.

Загружаем ролик, выбираем Use Brush и водим кистью по нужному объекту. После чего в поле ниже необходимо ввести текстовый запрос — просто объясните нейросети, как она должна поступить с выделенной областью в кадре. Если с английским «туго», можно использовать онлайн-переводчик. Вот наше «до» и «после» работы алгоритмов нейросети:

Если честно, то результат не очень — объект, конечно, исчез, но его силуэт все равно присутствует на видео. И видно его даже при просмотре миниатюры. Причем надо отметить, что качество обработки совсем не зависит от промта — мы пробовали разные запросы, итог остается без изменений. Вряд ли такое захочется выложить в социальную сеть.

Как заменить объекты, используя нейросеть

Но, у Pika Art есть другой полезный инструмент — возможность не только удалить, но еще и заменить объект. Давайте проверим, насколько хорош этот инструмент в «подделке» видеороликов.

В этот раз мы попросили не удалить объект, а заменить его на другой — силуэт Лох-несского чудовища. Нейросеть думала намного дольше — возможно, результат порадует качеством.

Пожалуй, и эта задача ей удалась лишь наполовину — да, объект изменился, но информативности от такой замены полный ноль. По крайней мере, в социальных сетях вам не поверят, что вы засняли на видео именно мифическое животное. Скорее какой-то ограничительный буй, за который советуют не заплывать. Впрочем, это лучше, чем силуэт незнакомого человека в кадре.

Добавляем новые объекты прямо на видео

А вот новая функция, которая нас, действительно, впечатлила, позволяет добавить на уже существующее видео новые объекты. Соответствующий режим называется Pikadditions. Что от нас потребуется?

• 1. Исходное видео. 
• 2. Фото объекта, который нужно добавить. 
• 3. Промпт, то есть описание действия. 

Мы скачали бесплатное видео с freepik.com, фотку рыжего кота и добавили промпт: 
«Add this to my video. Based on the current actions in the original video, come up with a natural and engaging way to fit the object into the video. Object is a red-haired cat lying on a table»