Как используют дипфейки в российском кино? Мы узнали у эксперта

С помощью дипфейков можно омолодить актера без грима или вернуть на экраны артиста, которого уже нет. В российском кино этот метод использовали в сериалах «Контакт», чтобы показать героя Павла Майкова в молодости, «Эпидемии», где Леню (Александра Робака) возвращают 1990-е, и в «Диверсанте». В четвертом сезоне появляется капитан Калтыгин, герой Владислава Галкина, умершего в 2010 году. Его цифровую модель создал российский разработчик искусственного интеллекта, использовав видеоматериалы из первых двух сезонов «Диверсанта». На создание восьми минут с цифровой моделью актера, которая двигается, разговаривает и выражает эмоции, ушло четыре месяца.

Чтобы получить цифровую модель, сначала нужно найти дублера с похожими внешними данными (со схожей комплекцией и чертами лица). Затем отснять с ним материал, а нейросеть, изучившая по видеоархиву манеру движения, мимику актера, добавит его изображение поверх исходного. «Изначально мы отобрали около сотни человек, внешне похожих на Влада. После первых проб отсеялось более двух третей. С каждым подходящим кандидатом мы провели пробную съемку, проверив на соответствие в различных ситуациях — в темноте, в движении, в шапке, в снегу. В итоге выбор сузился до одного кандидата с 90-процентным совпадением антропометрии лица. Искусственный интеллект, создающий цифрового клона, за 21 день воссоздал лицо Влада, анализируя его работы, в частности прошлые серии „Диверсанта“, а затем сгенерировал полученную модель поверх лица дублера», — рассказал продюсер сериала Николай Попов.

Мы попросили продюсера компании Deepcake, занимающейся дипфейками, подробнее рассказать, как работает эта технология, а с преподавателем истории визуальных эффектов обсудили, какие аналогичные методы используют в Голливуде.

Александра Шангина

Head of Production, компания Deepcake (работала над сериалом «Контакт»)

— Как создаются дипфейки?

— Сначала мы собираем весь доступный массив данных с человеком, к которому будем применять технологию. Определяем заранее, в каком возрасте нам нужны данные с ним, в каком образе — например, должна ли у него быть растительность на лице. Потом весь этот материал показываем нейросети, и она в течение продолжительного времени изучает, как выглядит этот человек в разных ситуациях. И после этого нейросеть смотрит на новый материал, который мы сняли с дублером или, как в случае с «Контактом», с тем же актером, Павлом Майковым. Дальше нейросеть сопоставляет новое видео с исходными данными, которые мы ей показывали, и предлагает вариант изображения, как бы выглядел Павел Майков 20 лет назад. Это настолько же трудозатратный процесс, как если бы мы заменяли лицо Майкова на лицо другого человека. Нейросеть прошла весь этот длинный алгоритм.

Сейчас есть другой способ омоложения людей при помощи нейросетей. Он подразумевает более высокую степень генерализации. Существуют нейросети, которые обучились не на конкретном человеке, а на большом массиве данных с пожилыми и молодыми людьми. То есть эта нейросеть понимает, какие характерные изменения возникают на лице человека с возрастом, и может их убирать. Проще говоря, это ретушь. На последних проектах для омоложения мы используем этот метод.

— По каким материалам учится нейросеть?

— Для массива, который мы показываем нейросети, лучше использовать видеоматериалы. В одной секунде видео, как правило, не менее 24 кадров. Если у нас есть ролик продолжительностью в несколько минут, значит, это уже несколько тысяч изображений. Но мы работали и с изображениями актеров, писателей и других деятелей культуры первой половины XX века. С ними очень мало видеоматериалов, хроника плохого качества. Но даже по одной фотографии можно воссоздать облик человека. Просто будут ограничения: воссозданный человек не сможет поворачивать голову с большой амплитудой, демонстрировать слишком экспрессивную мимику.

Для дипфейка мы снимаем дублера, чье лицо потом заменяем на лицо нужного нам человека. И результат напрямую зависит от сходства дублера с этим человеком. Дублер должен быть похож по форме лица, у него должна совпадать линия роста волос. На результат также влияют комплекция, осанка, манера держаться, жестикуляция и мимика дублера. Если мимика, которую демонстрирует дублер, совершенно нехарактерная для воссоздаваемого человека, то нейросеть сгенерирует малореалистичный вариант изображения.

— Разные дипфейки создаются по одинаковым технологиям?

— Технологии для создания дипфейков разные. Принципиально они могут быть схожи, это достаточно сложные математические модели. Например, у нашей компании собственные наработки. Команда наших инженеров занимается разработкой этих нейросетей. Существует open-source-решение, которое всем доступно, его часто эксплуатируют любители из интернета для создания вирусных видео для соцсетей. Это решение интересное, но несовершенное, поэтому мы решили заниматься разработкой и обучать собственную нейросеть. Open-source-код создан таким образом, что его почти невозможно корректировать и совершенствовать. И его использование в коммерческих целях в принципе запрещено, это еще одна причина, почему мы разрабатываем собственную нейросеть. Усилия наших разработчиков направлены на достижение более высокого разрешения, более высокой правдоподобности, кроме того, мы можем работать с материалами низкого качества и с ограниченным количеством данных.

Какие технологии омоложения используют в Голливуде?

Надежда Маркалова

Преподаватель истории визуальных эффектов в ВШЭ

На самом деле дипфейк в Голливуде широко пока не применяется. Сейчас для омолаживания людей и создания цифровых персонажей используют несколько подходов от разных студий.

Все омоложенные и состаренные персонажи Marvel (Роберт Дауни-мл., Мишель Пфайффер, Курт Рассел, Майкл Дуглас, Сэмюэл Л. Джексон, Хейли Этвелл, Крис Эванс) — это работа студии LOLA VFX, первопроходца в этой области (они омолаживали Патрика Стюарта и Иэна МакКеллена для «Людей Икс 3»). У них своя технология. Они строят цифровую трехмерную голову и на нее накладывают отретушированные «заплатки» или используют для «заплаток» части лица молодого дублера, снимавшегося одновременно с основным актером в тех же условиях освещения.

Молодую версию Уилла Смита из «Гемини» студия Weta Digital делала с помощью полностью цифровой головы. Скульптинг был создан на основе фотографий Уилла Смита в соответствующем возрасте. Анимация мимики проводилась на основе захвата игры Уилла Смита, где на лицо актера наносились специальные точки. Точно так же на экране оживили Питера Кушинга, который умер в 1994 году, для фильма «Изгой-один: Звездные войны. Истории», за исключением того, что в мокап-шлеме был другой актер. Это работа студии ILM. Примерно так же делали Шон Янг для «Бегущего по лезвию 2049». В обоих случаях участие другого актера делает этих персонажей немного непохожими на оригиналы, несмотря на абсолютно идеальный скульптинг. Ведь для создания образа Питера Кушинга использовали его слепок для пластического грима. Его отсканировали в 3D и потом на цифровую голову накладывали игру другого актера. Голову Шон Янг делали на основе скана актрисы в текущем возрасте и подгонки этой формы к изображениям в оригинальном фильме в том же освещении. Никаких дипфейков!

«Ирландец» Мартина Скорсезе — инновационный проект студи ILM. Они в реальном времени создавали 3D-форму лиц с помощью трех камер, две из которых снимали сцены в инфракрасном диапазоне. Так у кинематографистов сразу появлялась трехмерная голова с мимикой. После они омолаживали эту голову, подтягивая морщины и сравнивая виды с кадрами из других фильмов с соответствующим актером. Анимация и ручная редактура материалов захвата мимики здесь не применялись. Нейросеть в данном случае использовалась, но только для подбора референсов и сравнения результата на предмет его достоверности. Думаете, если бы можно было просто наложить дипфейк, они бы заморочились с трехголовой камерой и инфракрасным спектром? Тут целую новую технологию придумали! Точно так же делали Люка Скайуокера из «Книги Бобы Фетта».

Какие проблемы есть вокруг использования дипфейков?

Технология стала популярна в 2019 году, с тех же пор в западных медиа активно обсуждают ее юридическое регулирование. Вообще, дипфейки стали так называться из-за пользователя с ником Deepfakes на Reddit: в 2017 году он выложил порноролики, где с помощью искусственного интеллекта поменял лица порноактеров на лица знаменитостей. В числе последних была и Скарлетт Йоханссон. В интервью The Washington Post она рассказала, что не планирует бороться с этими видео, хотя они набирают миллионы просмотров. «Эти видео не так сильно влияют на мой имидж, потому что люди понимают, что на самом деле это не я в порно, как бы унизительно это ни было, — заявила актриса. — Я думаю, что бороться с такими видео с юридической точки зрения — бесполезное занятие. Интернет — это огромная темная дыра, которая пожирает сама себя. При этом я считаю, что каждый человек должен отстаивать свое право на собственный имидж, требовать возмещения ущерба». Актриса подчеркнула, что законы, охраняющие авторское право на изображения со знаменитостями, в разных странах работают по-разному. В 2019-м появилось видео, на котором Кит Харингтон в образе Джона Сноу извиняется перед зрителями за финал «Игры престолов». Это был дипфейк, где можно было заметить, что у Харингтона странно двигаются губы, но фанаты все же смутились.

The Guardian пишет, что дипфейки и виртуальные модели не заменят настоящих актеров. В десятилетней перспективе эта технология будет развиваться и шире применяться в кино, но живые артисты останутся востребованными. Например, с 2007 года существует японская виртуальная певица Мику Хацунэ с синтетическим голосом, но она не вытеснила живых музыкантов. Вероятно, в будущем актеры будут прописывать в контрактах условия использования их изображений. Например, с помощью дипфейка можно переснять сцену без присутствия актера, если он уже занят на другом проекте. При этом контракт может обезопасить актера, если его изображения захотят использовать в следующих частях фильма или сериала без его ведома.

Помимо юридического, остается этический вопрос использования изображений умерших людей. Для оживления Питера Кушинга студия получила разрешение от его бывшего секретаря Джойс Бротон, которая отвечает за наследие актера. А вот в случае с Владиславом Галкиным, как отмечают «Ведомости», создатели не обратились к его родственникам. Более того, отец актера, Борис Галкин, грозил создателям судебным иском.

Изначально в материале было неправильно указано, в каких зарубежных фильмах использовались дипфейки. Мы исправили ошибку и приносим свои извинения читателям