Обложка статьи

Он настоящий?!

Вы смотрите кино в уютном кресле или в большом темном кинозале. Вы восхищены, хотите узнать больше о фильме и его актерах  и внезапно прочитываете, что все персонажи в нем — цифровые двойники и были смоделированы VFX-специалистами… Это не начало фантастического рассказа. Такая реальность уже наступает.

Что это за двойники?

Цифровая копия человека, которую также называют цифровой двойник, цифровой клон или даже цифровой актер, — это созданный или воссозданный образ человека и его голоса с использованием технологий CGI. Такую копию трудно отличить от реального актера. 

Если бы не трагическая смерть Пола Уокера в ноябре 2013 года, игравшего главную роль в фильме «Форсаж 7», мир бы никогда не узнал, что артистов могут заменять на цифровых дублеров. В самом деле — не стали бы вы подозревать, например, Райана Рейнольдса или Джеки Чана в обмане? При этом технологии создания таких двойников развиваются уже с начала 1990-х годов и фильма «Парк Юрского периода». В киноленте режиссера Стивена Спилберга впервые появляются цифровые копии динозавров и людей. Практически в тот же период, в 1994 году, во время съемок фильма «Ворон» погибает Брэндон Ли, лицо которого восстанавливают с помощью компьютерной графики, чтобы доснять фильм.

ЛИКБЕЗ

CGI (computer-generated imagery) — неподвижные или движущиеся изображения, сгенерированные на компьютере. Они используются в изобразительном искусстве, печати, кинематографе, на телевидении и в симуляторах.

VFX (visual effects) специалисты создают изображения или управляют ими. Интегрируют спецэффекты в отснятые кадры и делают фильм максимально реалистичным.

Как создать?

Цифровой дубль можно создать несколькими способами: «отсканировать» тело человека с помощью череды фотоснимков; «захватить» движения в режиме реального времени или воссоздать копию тела по уже записанным видео.

Самое простое — сканирование, и в этом преуспел российский проект Histars компании Notamedia, который создает «уличные» цифровые копии известных или исторических личностей в дополненной реальности. Фигурку можно загрузить на экран смартфона, когда пользователь окажется в радиусе 50 метров от специальной геометки на местности. После скачивания персонажа можно поворачивать на 360 градусов, приближать, удалять и фотографироваться с ним.

Дмитрий Шуров, руководитель отдела исследований и разработок студии CGF

Создание цифровых двойников в кино и компьютерных играх стало стандартом де-факто, и этот тренд довольно быстро переходит в другие области, например в виртуальную и дополненную реальности. В России производство цифровых двойников до недавнего времени использовалось в основном в кино. Студия CGF применяла их в фильмах «Время первых», «Он — дракон», «Напарник», а также в нескольких клипах. 

Наталия Исайчева, руководитель проектов Notamedia

Перед созданием модели выбираем актеров, согласовываем позы, костюмы, реквизит. Затем составляем график сканирования актера с учетом работы гримера и костюмера. Создается множество фотографий, которые затем «лепятся» в модель. Над одним проектом трудятся 3D-скульптор, художник-аниматор, разработчик, сборщик модели, «внедренец». Сейчас в базе находятся 13 персонажей. Самые популярные из них — Цой, Гагарин и Пушкин. В компании предполагают, что это связано с расположением: все «аватары» находятся в людных местах. Какая модель будет создаваться следующей, мы решаем с оглядкой на тренды и востребованность. Например, в связи с чемпионатом мира по футболу обновили AR-модель вратаря Льва Яшина.

Второй метод — технология захвата движения в реальном времени. Она самая доступная и заключается в том, что персонаж, образ которого хотят сохранить в «цифре», надевает на себя маску со множеством шариков, впоследствии служащими базовыми точками при моделировании. Такой технологией пользовались создатели фильма «Хоббит: Пустошь Смауга», где британский актер Бенедикт Камбербэтч изображал дракона. Этим же пользовались при создании Голлума из «Властелина колец», Волан-де-Морта из «Гарри Поттера», героев мультфильма «Полярный экспресс» и многих других персонажей.

Дмитрий Шуров:

Недавно вышел фильм «Напарник», где впервые в российском кино был создан фотореалистичный цифровой человеческий персонаж. При создании картины использовалась система захвата и переноса мимики Nimble компании CGF. В зарубежном кино создание таких персонажей частая практика: например, 3D-модель Хью Джекмана в фильме «Логан». В нашей стране пока таких эффектов больше никто не делал.

В фильме «Напарник» компания CGF с помощью созданной специально для картины системы Nimble моделировала мимику главного героя — годовалого ребенка, говорящего голосом Сергея Гармаша. В отличие от мировых студий Weta Digital («Аватар», «Планета обезьян») и ILM («Звездные войны», Warcraft), которые используют свои разработки только при производстве собственного кино, CGF предлагает технологию Nimble в качестве сервисной услуги для создателей компьютерных игр и кинопроизводства. 

Для Nimble создали собственное программное обеспечение, которое с помощью алгоритмов компь­ютерного зрения точно распознает ключевые точки человеческого лица и передает его движения на трехмерного персонажа. Совместно с компанией Karfidov Lab разработали конструкцию шлема для съемки мимики — легкую и прочно фиксирующуюся на голове любой формы.

Существует также технология, дополняющая метод захвата движения, которая называется Face2Face — замена лиц в режиме реального времени. О ней стало широко известно в 2016 году, когда исследователи из Стэнфордского университета анонсировали видео, на котором заменяли речь Дональда Трампа, Джорджа Буша, Владимира Путина и Барака Обамы на произвольную. 

Замена происходит параллельно. Сначала система строит маски исходного видео и вашей видеозаписи в анфас. Затем вы что-то говорите, глядя в камеру, а программа распознает условные мимические точки на поверхности лица, считывает деформацию маски источника видео и вашего видео, сравнивает их и наносит новую анимированную версию. 

Дмитрий Шуров:

Наш глаз «заточен» под распознавание мелких черт и нюансов лица, и отклонения от нормы мы воспринимаем как отталкивающие. Есть мнение, что это обусловлено даже эволюционным инстинктом выживания, ведь по нюансам можно определять, например, агрессивен человек или нет, скрывает ли он что-то, говорит ли правду. В книге Пола Экмана «Обмани меня, если сможешь» подробно объясняется этот механизм. Кстати, Пол Экман в ходе исследований в области психологии «чтения» лиц также разработал систему кодирования лицевых движений FACS (Facial Action Coding System), которая стала стандартом и основой при создании цифровых дублеров.

Третий вариант создания цифровой копии актеров — обработка множества фотографий или видеофрагментов с их участием. По такому пути пошли исследователи Лидского университета, решившие выпускать новые серии сериала «Друзья». Ученые создали нейросеть, которая проанализировала тексты сценариев и обработала 200 серий, посмотрев при этом суммарно 4 400 часов видеоматериала. Предполагается, что в результате моделирования программа будет создавать новые серии, но сейчас она это делает с большими искажениями.

Бойся клонов

Оказывается, не все так прекрасно с цифровыми клонами. Сорок лет назад японский ученый Масахиро Мори сформулировал предположение: чем больше робот похож на человека, тем сильнее люди испытывают к нему страх, неприязнь или чувствуют рядом с ним дискомфорт. Для наглядности исследователь изобразил человеческое восприятие роботов на графике, на котором как раз появляется «зловещая долина», то есть резкий спад симпатии людей к механизмам при увеличении антропоморфности роботов.

После трагической смерти Пола Уокера некоторые киностудии обязывают актеров создавать цифровую копию на случай их гибели или травмы. Занятно, что среди звезд есть те, кто отказывается от такой процедуры. Так, Кира Найтли устала, что в «Пиратах Карибского моря» ей постоянно изменяли внешность, и отказалась. А вы бы хотели оставить себя в 3D на память потомкам? 

Фотографии предоставлены студией CGF

Материал опубликован в журнале NewTone

11 октября 2018

Еще почитать по теме

Обложка статьи
Гостеприимный Петербург
Корреспондент журнала NewTone рассказывает об акклиматизации и способах с ней справиться  
Обложка статьи
Гостеприимный Петербург
Корреспондент журнала NewTone рассказывает об акклиматизации и способах с ней справиться