Как нейросети создают персонажей и киновселенные
Разбираемся, как используют нейросети в современной киноиндустрии и онлайн-кинотеатрах.
Искусственный интеллект интегрируется во все сферы жизни: генерирует тексты и общается в чатах, создает картины и управляет беспилотным транспортом, пишет музыку и работает голосовым ассистентом. Неудивительно, что нейросети нашли свое место и в кино. Как новые технологии трансформируют киноиндустрию? Разбираемся вместе со Стасом Журавлёвым, CPO онлайн-кинотеатра KION.
Сценаристы не нужны?
Пока в Голливуде бастуют живые сценаристы, операторы ИИ вовсю ищут способы влиться в индустрию и использовать нейросети для написания сценариев.
Справедливости ради, эксперименты по привлечению нейросетей к работе над текстом шли уже давно, и еще в 2016 году вышел фильм Sunspring с участием актера из «Кремниевой долины» Томаса Миддлдитча. Короткометражку создали для кинофестиваля Sci-Fi London — в рамках челленджа авторы должны были за 48 часов снять небольшой фантастический фильм. А где научная фантастика, там и ИИ: для написания сценария создатели использовали нейросеть Benjamin.
На Sunspring нейронная сеть не остановилась. Позже Benjamin поучаствовал в создании еще двух мини-фильмов: It’s No Game с участием Дэвида Хассельхоффа и Zone Out с уже упомянутым Томасом Миддлдитчем. Впрочем, внимательный просмотр картин по сценарию нейросети доказывает, что до великого драматурга ей пока далековато. В комментариях зрители отмечают эволюцию Benjamin, но куда чаще хвалят мастерство актеров, блистательно несущих написанную ИИ белиберду.
Разовьются ли подобные нейросети достаточно, чтобы создавать сценарии, способные конкурировать с текстами Квентина Тарантино, братьев Коэнов или Греты Гервиг? Пока делать выводы рано.
Бухгалтерия кинопроцесса
Можно сколько угодно говорить об искусстве, но в современной киноиндустрии бюджеты и кассовые сборы играют огромное значение. Без впечатляющих финансовых результатов продюсерам не нужны никакие креативные идеи. И тут нейросетям тоже нашлась работа. Еще в 2020 году стало известно, что кинокомпания Warner Bros. в тестовом режиме начинает использовать ИИ для оценки потенциального успеха своих фильмов. С помощью нейросети компания планировала определять, в какие проекты вкладывать средства в первую очередь.
В распоряжении киногиганта оказалась система менеджмента на основе искусственного интеллекта, созданная компанией Cinelytic и способная оценивать будущие сборы на основе предоставленных данных об актере, спросе аудитории, рисках контента и так далее. Инструмент позволяет понять, как каждый фактор влияет на успех будущей картины: например, как изменит зрительский интерес замена актера или сокращение хронометража.
По словам представителей киностудии, они осознают ограничения современных нейросетей, а потому хотят поручить ИИ не творческие решения, а сбор информации, подсчеты и первичную аналитику.
Визуальные эффекты
В создании сочной картинки нейросети тоже участвуют. Так, например, машинное обучение использовалось при конструировании образа Таноса в фильме «Мстители: Война бесконечности».
Специалисты по созданию спецэффектов использовали как неподвижное сканирование, так и сканирование движения с использованием технологии, разработанной в Disney Zurich Research Labs.
«Мы взяли данные с камеры-шлема, которые имеют довольно низкое разрешение, чтобы создать сетку движения лица. Затем вы скармливаете эти данные алгоритму машинного обучения, который находит подходящее соответствие форме с высоким разрешением. С каждой итерацией вы обучаете его — передаете ему информацию или вносите коррективы в форму, чтобы решение было более правильным. Со временем этот алгоритм улучшает конечные результаты, он обучается. Нам удалось сохранить так много невероятно тонких деталей мимики — небольшие подергивания лицевых мышц. Тонкие вещи, которые на самом деле не очевидны, но имеют решающее значение для драматического эффекта», — рассказала в одном интервью Келли Порт, супервайзер по визуальным эффектам в компании Digital Domain. Именно ее команда работала над спецэффектами в кинокомиксе «Мстители: Война бесконечности».
В российском кино нейросети тоже используют. Технология дипфейк помогла визуально омолодить Павла Майкова в сериале «Контакт». Алгоритм обучился на старых фильмах с участием актера, в том числе на культовом сериале «Бригада».
Есть информация и о подобных экспериментах с телом актера. Так Павлу Прилучному помогли похудеть до 36 кг при помощи все того же дипфейка. Во время работы над сериалом «Девятаев» актеру сделали МРТ, запечатлев все слои тела: кости, мышцы, жир, кожу. На основе этих данных создали модель, затем модицифировали ее так, чтобы на вид тело весило 36 кг, а после на этой модели обучили нейросеть и заменили в кадре тело настоящего Прилучного получившейся картинкой.
Нейросети для комфортного просмотра
Нейросети также используются в онлайн-кинотеатрах, например, в KION. Во-первых, алгоритмы машинного обучения помогают не тратить время зрителя на титры. Да, та самая функция с пропуском титров в сериалах, когда предлагается не смотреть заставку, а сразу перейти к контенту, работает на основе нейросетей.
Для этого обрабатываются огромные массивы данных, в среднем 1 200 000 кадров для каждого сезона. Каждый кадр декодируется и передается нейросети, ИИ находит одинаковые кадры в разных эпизодах и таким образом вычленяет из серии повторяющую заставку. А после зрителю предлагается ее пропустить.
Почему тут нужен именно искусственный интеллект? Кажется, что разметку тайтлов могут делать и люди. Да, могут. Но, скорее всего, сил будет хватать только на самые топовые тайтлы, а пользователь ожидает, что каждый фильм, который он захочет посмотреть, будет размечен. И вот на объеме в 100% фильмов можно использовать только ИИ, ведь человек не потянет такой объем.
Второй пример использования нейросетей — генерация постеров. Например, в галерее ниже — постеры к сериалу «Раневская», которые нарисовала нейросеть.
Да, раньше постеры к фильмам и сериалам рисовали редакторы, тратя огромное количество часов на просмотр контента и попытку придумать броский визуальный образ на основе увиденного. Сейчас ИИ отбирает стилистически подходящие для обложки кадры — крупные планы, значимые для сюжета фрагменты. Они и становятся основой обложек, которые потом показываются на витрине пользователю.
Всех заменят роботы?
Хотя нейросети сейчас везде и всюду, живым специалистам не стоит беспокоиться о потере работы. Как и во многих других индустриях, в кино ИИ не автономны, а зависимы от человека. Для корректной работы любого сервиса, даже самого «умного», необходимы люди и творческие идеи, сгенерированные людьми.
Чтобы получить впечатляющий результат, нужно составить машине инструкцию, и чем точнее будет ваш запрос, тем качественнее будет итог интеграции нейросети в процесс. Для составления точных запросов нужны особые компетенции и глубокая экспертиза, а они могут быть только у людей.
Читайте нас там, где вам удобно: 🔹 Телеграм 🔹 Дзен 🔹 Вконтакте
Так что кинооператоры, специалисты по визуальным эффектам, сценаристы, актеры и режиссеры в ближайшие годы точно никуда не исчезнут. ИИ — отличный инструмент, который могут использовать все перечисленные представители киноиндустрии, чтобы оптимизировать рабочую рутину. Но полностью роботизировать рынок, основанный на неординарных креативных задумках, человеческих эмоциях и продуманных до мелочей историях, вряд ли возможно.
Читайте также:
Читайте нас в социальных сетях