Вы видели, что умеет делать нейросеть Sora? Сегодня сгенерированные ей ролики могут выглядеть как интернет-приколы, но они уже меняют индустрию компьютерной графики. Что ждет кино в связи с этим? А тех, кто его снимает? Кинопоиск попросил поделиться мыслями об этом Данила Криворучко, Армана Яхина, Георгия Молодцова и других ключевых специалистов в области визуальных эффектов.
Весной бодрое шествие нейросетей по планете добралось до видеоизображения, и первые же примеры алгоритма Sora, пусть и несовершенные, своей убедительностью и детальностью потрясли воображение не только обычных зрителей, но и профессионалов из индустрии компьютерной графики и визуальных эффектов.
«Кто говорит, что AI — это просто инструмент, давайте дружить! Вместе будем разносить еду в кафе и мыть посуду», — так отреагировал на увиденные примеры в своем личном блоге Данил Криворучко, участвовавший в создании графики для проектов Netflix, Amazon, Nike и открывающих титров к сериалам Apple TV+. Таких реакций немало. В прошлом году за свое будущее тревожились сценаристы и актеры Голливуда (но, кажется, на какое-то время отстояли себя), теперь алгоритмы добрались и до специалистов VFX — с той лишь разницей, что у сценаристов и актеров есть профсоюзы, отстаивающие их права, а специалисты по графике не защищены примерно никак. В то время как Open AI регулярно показывает доработанные и улучшенные версии алгоритма Sora, стартапы в сфере создания изображений и видео, а также студии продолжают закрываться, поэтому сейчас, кажется, самое время, чтобы обсудить возможное развитие событий и будущее индустрии компьютерной графики и визуальных эффектов. Вопрос «Когда людей заменят роботы?» уже не кажется ни ироничным, ни ерническим.
Кинопоиск поговорил с несколькими опытными специалистами от индустрии — фрилансером, двумя директорами крупных студий, режиссером, техническим директором с опытом в AI, — и из этого получилось несколько мнений о ситуации, профсоюзах, перспективах будущего и личных планах в профессии.
«Нам всем придется менять профессию»
Данил Криворучко
Креативный директор, digital artist. Делал титры для сериалов Apple TV+ «Основание» и «Видеть», также сотрудничал с Amazon, Netflix, Nike. Живет и работает в Нью-Йорке
Чем более простая работа, тем быстрее ее заменяет ИИ, то есть задачи, которые скидывали на джунов, или уже отдают нейронкам, или вот-вот отдадут. Дальше этот процесс будет идти вверх по лестнице, все уменьшая количество часов и людей для производства единицы контента. Это не зависит от конкретной специализации — у джуниор-аниматора равные шансы быть оптимизированным, как и у джуна-ротоскопера, моделера или моушен-дизайнера. Но чем больше людей участвует в принятии решения по всем аспектам создания контента, тем меньше остается места для использования ИИ. Так будет происходить до тех пор, пока в работе с ним не появится гранулярный контроль над вообще всеми нюансами генерации.
Кроме того, стоит упомянуть проблему авторского права на результаты работы ИИ. Это все еще серая зона, юристы большого бизнеса будут относиться к этому продукту с опаской, пока не будет четкой регуляции, а это может занять несколько лет. В этом смысле работа на большое кино или рекламу для крупных брендов больше защищена от исчезновения.
Рассуждать, куда зайдут нейросети в СG, — занятное упражнение для ума, но мало шансов угадать (или спрогнозировать, если так больше нравится), куда все приведет. Я считаю, что мы все сейчас в процессе запуска изменений в обществе, сравнимых с индустриальной революцией или созданием интернета. Не думаю, что хоть у кого-то есть достаточное количество ресурсов, чтобы реалистично предсказать, где мы будем через 5–10 лет. Люди, работавшие над первыми паровыми двигателями, вряд ли предвидели Вторую мировую и атомные бомбы, так же как Тим Бернерс-Ли вряд ли предвидел «экономику внимания», когда работал над концепцией гипертекста.
Я тезисно могу перечислить мои мысли и опасения, касающиеся последствий развития нейросетей для творческой индустрии, но практически наверняка через несколько лет это будет звучать как «транспорт никогда не станет массовым, потому что некуда будет девать столько лошадиного навоза». Ну, и в целом я человек тревожный и пессимистично настроенный, так что мои прогнозы — это скорее отражение моих страхов, чем объективная оценка.
С этими оговорками вот небольшой список следствий, может, не самой Sora, но ее будущей версии 3.0.
1
У производства контента есть бутылочное горлышко — собственно, сколько суммарно доступно внимания людей. Уже сейчас мы близки к перенасыщению контентом, еще большая демократизация процесса его создания (близкий к нулю порог входа и такая же стоимость) завалит зрителя бесконечным потоком всего-на-любую-тему. Оптимисты говорят, что это позволит новым творцам выйти на сцену и сдвинуть сложившийся творческий истеблишмент. Я же думаю, что это создаст такое количества шума, что у творческих единиц будет нулевой шанс найти достаточно массового зрителя, чтобы своим творчеством можно было заработать на жизнь. Скорее, наоборот, еще сильнее утвердится позиция бегемотов медийного рынка, у которых уже сейчас есть аудитория и каналы дистрибьюции. Творчеством можно будет заниматься сколько угодно в свободное время, но зарабатывать этим смогут единицы.
2
Когда люди говорят об ИИ, освобождающем человека от технической работы, они не упоминают об этом конечном пироге зрительского внимания. Условно сейчас для реализации видения одного креативного директора нужна пирамида из ста человек разных специальностей. Постепенно эта пирамида будет превращаться в прямую линию от идеи до готового контента. И это, к сожалению, не значит, что будет спрос на сто новых креативных директоров (это в оптимистичном сценарии, когда мы оставляем людей создавать идеи, а не автоматизируем и это тоже). Так что мы увидим отмирание целых сегментов в индустрии, и это будет происходить не за 30, 50, 70 лет, как с последствиями появления фотографии, с которой любят сравнивать генеративный ИИ.
3
Скорее всего, нам всем придется менять профессию, но не в смысле «делать то же самое, но как-то на новый лад», а вообще заниматься чем-то другим. В промежутке в 10 лет я не могу представить ни одной творческой профессии, которая останется актуальной в этом новом мире. Интересный момент здесь в том, что как раз из-за развития ИИ порог входа в новую профессию, когда ты можешь начать ею обеспечивать себя, будет только повышаться. В какой-то момент это убегание порога окажется быстрее, чем мы можем обучаться чему-то новому (если только мы не придумаем хардварный буст для когнитивных границ человеческого мозга), так что переходить можно будет только на все менее и менее квалифицированную работу.
4
Я не вижу смысла в разговорах о запрете ИИ, хотя, наверное, был бы рад, если бы прогресс шел чуть медленнее, чтобы общество успевало к нему адаптироваться. Но нерегулируемый капитализм в период индустриализации подарил нам в свое время семидневную рабочую неделю, использование детского труда и прочие радости, так что я поддерживаю идею внешнего контроля над тем, где и как можно использовать ИИ и кто является получателем выгоды от этого нового мультипликатора интеллектуального труда. Печально, что законодательное регулирование происходит слишком медленно, и это приводит к тому, что сейчас стратегия всех крупных ИИ-компаний построена на том, чтобы успеть захватить рынок и сделать себя его неотъемлемой частью, до того как, например, вопрос копирайта материалов, на которых обучали сетки, вообще попадет в сферу внимания регуляторов. К тому же конкретно творческая индустрия и так была одной из самых слабых и мало защищенных, так что пока раскачается этот процесс, большинство из нас уже будет вынуждено заниматься чем-то абсолютно другим, оставив 3D или анимацию как старомодное милое хобби в выходные.
Права CGI-специалистов никак не защищены по сравнению с представителями других творческих профессий. Наличие профсоюзов у актеров и сценаристов — это следствие реалий времени% они сформировались в 20–30-х годах прошлого века, когда в обществе был глобальный тренд на создание профсоюзов в больших секторах профессий, и творческие специальности проехали туда прицепом. Постпродакшен опоздал на эту вечеринку примерно на 60 лет, к тому же пост гораздо легче аутсорсить в места с более дешевым трудом и меньшим количеством разговоров о правах. Я не очень верю в шансы создания глобального профсоюза CG-индустрии в обозримом будущем. Все проблемы, что мы видим в индустрии сейчас, будут только усугубляться. Чем это закончится, я не берусь предсказать.
Позитивный для меня сценарий — постараться продержаться в актуальном состоянии достаточно долго, чтобы скопить на спокойную жизнь для себя и своей семьи, подстраиваясь под все сужающийся список задач, где могут пригодиться мои навыки. А дальше заниматься тем, чем сейчас я зарабатываю, уже как творчеством. Мне нравится делать то, что я делаю, для меня это никогда не было работой в негативном толковании этого слова, так что я бы не хотел полностью отказаться от занятия, которое меня радовало двадцать с лишним лет.
«Страх неуместен, но придется изменить свой подход к работе с креативным продуктом»
Сгенерированный голос был одним из первых инструментов, который все начали использовать. И с точки зрения нейросетей и генерации контента он является гораздо более простым решением, чем сценарное мастерство и творчество, связанное с фото и видео. Здесь мы видим огромнейший прогресс и большую конкуренцию между стартапами, которые занимаются локализацией, озвучанием, клонированием голоса, созданием текста в аудио и так далее. А сейчас это еще и текст в видео с виртуальными аватарами, липсинк при полном движении, как у HeyGen.
Мы наблюдаем интересные решения с AI в части локализации контента и быстрого перевода на другие языки с клонированием оригинального голоса — не на профессиональном уровне, а на таком, который позволяет понять, насколько локализация будет совпадать с анимацией рта наших героев, насколько возможно удлинение и укорачивание фраз. Провели несколько экспериментов с нашим анимационным проектом в локализации, используя один из сервисов Rask AI, и выяснили, что невозможно получить результат в один клик без правок и редактуры, без проверки native speaker. С другой стороны, удалось сэкономить время и усилия на перевод и распознавание. Радуют эксперименты с музыкой, с написанием как музыки фоновой, инструментальной, так и музыки со словами — то, что делает Suno AI или недавно начала делать CreateSafe со звуковой моделью Triniti. Аудио является наиболее быстро выдающим результат форматом работы с AI.
Режиссеры уже сейчас могут пытаться генерировать референсы и визуальные решения, что на этапе тритмента и раскадровки помогает, но не снимает необходимость правильно вводить задачи. Получается, вместо того чтобы искать референсы и писать тритмент, вставлять картинки или кадры из роликов, ты работаешь с AI, докручивая его до нужного результата. Еще один момент: мы видим хорошую помощь в генерации небольших 3D-объектов — карт глубины, скайбоксов 360º, для компьютерных игр и для CG. Потому что вещи, которые в целом являются генеративной графикой, — они и так уже, по сути, были разработаны. Другое дело, что дотюнить их под уникальные художественные стили сейчас гораздо проще.
Прогресс нейросетей в CG означает прежде всего то, что существует запрос, чтобы процесс создания компьютерной графики стал проще. Возможно, не на окончательном профессиональном уровне. Возможно, на уровне прототипирования, визуализирования или получения помощи в реализации сложных задач специалистам, которые хотят делать руками простые задачи. Такой человек понимает, что можно нанять армию дженералистов или ротоскоперов, а можно направить на это AI и получить подходящий результат. Только возникает вопрос, что является дата-сетом, кто обучил нейросеть распознавать или создавать тот или иной элемент, если мы говорим применительно к CG. И насколько то, что тебе нужно получить, является техническим или творческим решением.
Когда доведут до идеального состояния аудио, возьмутся за графику, за работу с 3D-моделями и за создание упрощенных пайп-лайнов в части превизуализации изображения на уровне синематиков. Проблема останется в том, что будет неконтролируемый результат, и чаще всего придется по нескольку раз переделывать один и тот же промпт, вместо того чтобы ручками собрать сцену. Что в этом плохого? Непонятно. Почему покрутить промпт хуже, чем покрутить ручками проект? Непонятно.
Возможно, это просто какие-то страхи людей, которые боятся потерять профессию, но профессии меняются. Раньше мы искали информацию в энциклопедиях, потом перешли в поисковики. Сейчас можем сформулировать запрос простыми словами и получить ответ, который будет более понятен. Не должно быть страха технологий, должны быть понимание и готовность к тому, что придется изменить свой подход к работе с креативным продуктом, с аудиовизуальным произведением. И очень большое преимущество получат те, кто, попробовав ранние модели AI, выдававшие плохой результат, не отвернулись, сказав: «Все бесполезно, пойду обратно пилить напильником космический корабль».
«Мы в компании начали использовать машинное обучение задолго до того, как это стало мейнстримом»
Александр Горохов
Глава студии CGF, делал «Дозоры», «Конька-горбунка», «Особо опасен», «По щучьему веленью», «Ампир V», «Чебурашку»
Прогресс очаровывает. Он и ожидаем, и удивителен одновременно. Думаю, в скором времени разнообразие нейросетей уменьшится, а качество алгоритмов повысится. Сейчас идет эдакое прощупывание потенциала, что зайдет, что нет. Но в большинстве своем предлагаемые продукты пока больше красивая обертка, нежели весомое содержание. Основная боль — континьюити, чтобы один тот же объект выглядел от кадра к кадру одинаково (я говорю и шотах, и о фреймах).
Если говорить о нейросетях в CG-индустрии, то я не вижу проблемы, с которой надо бороться. Они, наоборот, дополнят и расширят наши возможности, так что мы с радостью воспринимаем и принимаем этот прогресс. Мы в компании начали использовать машинное обучение задолго до того, как это стало мейнстримом. Например, наши алгоритмы переноса лицевой анимации с актера на персонажа (facial mocap) или наш инструментарий по созданию дипфейка. Сейчас мы сделали отличный инструмент для ротоскопа. Пробуем и в других областях, где можно облегчить или заменить однообразный ручной труд. И, конечно, наши художники достаточно давно используют в своей работе генераторы изображений на уровне первичного поиска идеи.
«Зрители устанут и перенасытятся нейросетевыми текстами и изображениями»
Влад Малеев
CG-художник, продакшен-продюсер Unreal Engine в FilmM XR, технический художник и аниматор в Bazelevs. Работал над «Котиком Мормотиком» и VR-концертом OXYMORE Жан-Мишеля Жарра
Не думаю, что AI сможет забрать работу у художников, потому что творческие способности и индивидуальный стиль остаются ключевыми моментами в искусстве. Вместе с тем ИИ-инструменты определенно упростят вход в индустрию для новичков. Это, в свою очередь, повысит общие стандарты, поскольку даже начинающие специалисты смогут создавать высококачественные работы. Появление AI-инструментов также приводит к новым вакансиям: уже сейчас часто встречаются позиции AI-концептеров и промт-инженеров, а значит, на рынке труда востребованы не только традиционные навыки, но и знание AI. Инструменты искусственного интеллекта отлично залетели в концепт-арт и проектирование идей, производство концептов набрало ранее невозможную скорость.
Генерация изображений сейчас используется по всему пайплайну — от концепта и композа, 3D-моделирования, текстурирования до разработки баннеров для рекламы. Также появляются AI-сервисы, позволяющие создавать анимацию из обычного видео, достаточно качественную для использования, особенно для персонажей на заднем плане. Возникают полноценные инструменты для классической анимации с AI под капотом, например Cascadeur. Можно генерировать простые 3D-модели для дальних планов и заполнения кадра. Есть специализированные нейронки для создания вариаций определенных типов предметов, например ящиков или камней. В сканирования появились мощные AI-инструменты, позволяющие получать качественный слепок окружения. Апскейл и реставрация — тоже важная сфера, и за последний год появилось множество мощных программ, чтобы докрутить качество изображения и звука, и спасти утраченный материал.
Большинство из перечисленных инструментов я использую. Например, выступив продакшен-продюсером «Котика Мормотика», мы писали с ChatGPT скрипты для экспорта анимации, StableDiffusion помог с апскейлом старых текстур, Midjourney — с генерацией новых. Генерация музыки позволила делать дополнительный контент вокруг мультфильма, и в итоге объем контента, произведенный небольшой командой, начал приближаться к уровню больших студий. Слабым местом AI в его текущем состоянии является контроль результата — пока много переменных и долька рандома могут выдать результат от шедевра до мусора. Кроме того, у зрителей нарастает усталость и перенасыщенность от нейросетевых текстов и изображений, и скоро одной лишь генерации может оказаться недостаточно для создания впечатляющего контента.
Однако будущее неразрывно связано с нейросетями, и даже сами создатели программ искусственного интеллекта не осознают, насколько глубоко эти технологии проникнут в жизнь. Для художников нейросети оказались прорывом, позволив генерировать сотни уникальных концептов за невероятно короткие сроки. Технологии на базе ИИ могут анализировать огромные объемы данных, выявляя закономерности и применяя их для создания реалистичных визуальных эффектов. Sora или Pika Labs, обученные на существующих видео, способны воссоздать огонь, дым или взрывы с удивительной точностью и вариативностью. Это не только сокращает время, но и позволяет достичь более высокого уровня детализации.
Также AI открывает огромные возможности для интеграции сгенерированных футажей в 3D-пространство, что повышает реалистичность сцен. Например, использование комбинации Sora и технологии Gaussian Splatting позволит достичь более плавной интеграции объектов в трехмерные сцены. Такой подход может революционизировать создание визуальных эффектов в кино и видеоиграх, делая процесс более эффективным и доступным для разработчиков разного уровня.
«Нейросети работают не так, как себе представляют люди»
Арман Яхин
Глава российской студии Main Road Post и международной студии Monkey Rave. Делал графику для «Обитаемого острова», «Сталинграда», «Спутника», «Притяжения», «Майор Гром: Чумной Доктор», «Мастера и Маргариты», «Особо опасен», Halo, «Бетонной утопии»
Нейросети хорошо встраиваются туда, где есть алгоритмы и протоколы работы, потому что нейросеть — это неленивый повторятель того, что было придумано. И в этом смысле кажется, что они встраиваются в практически любой пайплайн. Например, мы сейчас попробуем их в анимации, смотрим, как они работают при переносе анимации с видео на цифрового персонажа, в ускорении процессов на других этапах.
Вообще то, что происходит сейчас, — это прогресс не в CG, особенно Sora и прочих генераторах видео. Это в принципе прогресс в производстве и в генерации видео! И это, конечно, очень мощно и круто — то, что называется «подрывная инновация». Она полностью поменяет все производство видеоизображения: кино, сериалы, любой генеративный контент, стоки и фотобанки вроде ShutterStock. Это очень мощно, но что будет дальше и к чему приведут эти перемены, мне кажется, никто пока не знает.
От прошлогодних забастовок актеров и сценаристов, требовавших защиты от ИИ, попахивает луддизмом; честно признаться, я не очень понимаю их толк. Дело даже не в забастовках — никто не знает, как это регулировать, потому что в реальности нейросети работают вообще не так, как себе представляет огромное количество людей. Поэтому мне кажется, что прогресс просто сметет старый мир. Надо на это смотреть как новый инструмент. Не зря же говорят: «Не можешь победить революцию — возглавь ее». Вот в этом плане надо смотреть, как с этим работать, и меняться вместе с прогрессом.
Я в принципе прогрессист, и у меня всегда оптимистичное отношение к прогрессу, даже если он подрывной. Пытливый человеческий разум движется вперед, и надо двигаться вместе с ним, потому что если ты не захочешь в этом участвовать, то рискуешь, как говорится, вывалиться на обочину прогресса.
Автор: Антон Уткин
Фото: Getty Images
27 апреля 2024 года Кинопоиск и Плюс Студия проведут ивент для VFX-специалистов о технологиях и визуальных эффектах в кино. На конференции расскажут, как создавалась компьютерная графика для фильмов «Мастер и Маргарита», «Конец света», «Майор Гром», «Мира» и других. Подробности и ссылка на онлайн-трансляцию на сайте.
