Как создавали анимации в играх и кино: История технологии Motion Capture

Технология захвата движений отмечает столетие

Нынешние технологии захвата движений – результат сотни лет экспериментов, инноваций и достижений в компьютерной сфере. За годы до появления Голлума на больших экранах, ещё до Второй мировой войны, в 1915, аниматор Макс Флейшер изобрёл ротоскопирование, тем самым заложив основы для современных высококлассных техник.

Ротоскопирование – примитивный и трудоёмкий процесс, но индустрии надо было с чего-то начинать. Аниматор стоял перед стеклянным столом и один за другим копировал кадры живой съёмки, напрямую перенося действия актёров и животных в нарисованный мир. Это позволяло добиваться реалистичной плавности движений, недостижимой обычными приёмами анимации.

Первой полнометражной американской лентой, использующей ротоскопирование, стала дебютировавшая в 1939 «Белоснежка и семь гномов». В дальнейшем Disney применяла технику в «Алисе в Стране чудес», «Спящей красавице» и «Питере Пэне». Конечно, до того, что мы сегодня понимаем под термином «motion capture» ещё далеко, но ротоскопирование задало нужное направление: максимально точная имитация человеческих движений в анимированном пространстве.

Двадцать лет спустя, пока США соперничали с СССР в космической гонке, аниматор Ли Харрисон III экспериментировал с аналоговыми схемами и электронно-лучевыми трубками. В 1959 Харрисон прикрепил потенциометры (регулируемые резисторы) на специальный костюм и впервые сумел захватить движения актёра в реальном времени на ЭЛТ-экране. Представление актёра было простейшим – светящийся человечек из палочек – но это был первый образец захвата движений в реальном времени.

К 80-м уже использовались костюмы с активными маркерами, и движения актёров отслеживались посредством нескольких больших камер, выдавая куда более точную и детальную картинку в сравнении с первыми опытами Харрисона. Но даже в 90-х каждая такая камера всё ещё была размером с холодильник, а аниматорам приходилось вручную присваивать каждому маркеру своё место в каждом кадре каждой сцены. Мучительно долгий процесс, по времени сравнимый с ротоскопированием.

«Нами проделан долгий путь, учитывая, что сегодня автоматизировано вообще всё», – говорит Джеффри Овадья (Jeffrey Ovadya), директор по продажам в Vicon.

Компания Vicon, основанная в Оксфорде в 1984 (что наверняка заставило Джорджа Оруэлла перевернуться в гробу), занимается захватом движений уже больше 30 лет. В их продукцию входит всё, что связано с технологией, от камер и датчиков до софта, в реальном времени превращающего захваченные данные в цифровое изображение.

Системы Vicon не раз применялись для съёмки блокбастеров, включая «Титаник», вселенную марвеловских «Мстителей», «Приключения Паддингтона» и «Первому игроку приготовиться», а также в разработке игр (Life is Strange и Hellblade: Senua’s Sacrifice).

Hellblade занимает особенное место в истории захвата движений. Это впечатляющий экшен от независимых разработчиков Ninja Theory, в 2016 послуживший окном в мир новых технологий. Ninja Theory заключили партнёрство с Epic Games, Vicon и рядом других компаний для организации живого выступления, демонстрирующего доступность и качество новейших техник захвата движений. Выступая на Siggraph и GDC, студия дала понять, что подобные технологии теперь по карману не только компаниям-миллиардерам с AAA-проектами.

«Hellblade стала феноменом», – говорит Джеффри. – «Их выступление было просто невероятным. Впрочем, для подготовки к живому выступлению потребовалось немало закулисной работы».

В эффектной презентации Hellblade многое было предусмотрено заранее. У актрисы был запланированный набор движений, которого она придерживалась, и студии пришлось доработать софт под нужды живой демонстрации.

«Перемещаемся на два года вперёд, вычислительные мощности удваиваются. Удваивается мощь графических процессоров», – говорит Овадья. – «Unreal Engine привносит ещё больше возможностей, ещё больше реализма. И внезапно все закулисные усилия, вкладываемые в Senua’s Sacrifice, стали требовать куда меньше времени. Скажем, если из ста часов работы над Senua’s Sacrifice 80 часов тратились на захват движений, то в Siren на это уходил один час».

Siren – это новая впечатляющая технодемка от Vicon и Epic Games. Сирена – цифровая девушка, копирующая движения актрисы, надевшей специальный костюм и прибор для считывания лицевой анимации. Эта система открывает возможности, попросту недоступные в демонстрации Hellblade. Актриса может ходить, импровизировать, произносить любые фразы, и трёхмерный аватар будет в точности всё воспроизводить.

«Живой человек управляет компьютерным человеком, и разницу между ними не заметить», – говорит Джеффри.

Продвинутые технологии обеспечивают экономию времени, но по словам Джеффри, это приведёт не к сокращению времени производства, а к его более эффективному использованию. Он полагает, что разработчики скорее потратят лишние часы на дополнительный реализм заднего плана и мелкие детали в анимации.

«Сегодня к играм предъявляются очень высокие требования в плане реалистичности и глубины проработки, так что я не думаю, что вообще стоит браться за создание собственного проекта, не прибегая к помощи захвата движений», – говорит Джеффри. – «Ведь эта технология – уже сама по себе являющаяся формой искусства – выступает инструментом, позволяющим моментально переносить человеческие движения в анимацию без необходимости в обильной постобработке. Теперь вы можете максимально быстро добавлять в игру анимацию людей – одним поводом для беспокойства меньше».

Захват движений вышел на пик популярности в 90-х, когда разработчики вовсю пользовались многопоточностью, возросшей скоростью вычислений и возможностью использовать графический чип в качестве процессора. В какой-то мере это проявляется и в наши дни, ведь производительность компьютеров всё растёт, но следующий бум ещё только впереди.

«Очевидно, сегодня святым граалем захвата движений всем видится отсутствие маркеров», – говорит Джеффри. – «Людям не хочется полагаться на приблизительные данные, и по мере развития ИИ и квантовых компьютеров, сохраняющих высокую точность отслеживания, мы постепенно начнём отказываться от маркеров, не будет необходимости в большом количестве камер, мы сможем захватывать больше пространства с высокой скоростью. Вы просто настраиваете съёмочное пространство, и в его пределах считываете движения кого угодно. Это станет реальностью через пять-десять лет».

При всей соблазнительности таких перспектив, технология таит в себе и ряд потенциальных угроз. Даже игнорируя тень «большого брата», стоящую за фразой «считывать движения кого угодно», нельзя не принимать в расчёт использование захвата движений со злым умыслом. Популярная нынче тема – «дипфейки», или порноролики, где лицо актрисы заменяют лицом другой известной персоны. В сети бурно обсуждаются вялые попытки сайтов типа Pornhub удалять подобные видео. Оскароносный режиссёр Джордан Пил недавно лично продемонстрировал, как просто сделать обманный ролик с Бараком Обамой, несущим всякую ерунду.

«Если в мире есть люди, злонамеренно использующие новые технологии, мы будем всеми возможными способами отделять себя от них», – говорит Джеффри. – «Но я не считаю, что такая участь постигла только захват движений, это касается любых продвинутых технологий. Достижения прогресса сегодня позволяют легко обмануть и запутать человека. Остаётся лишь надеяться, что люди поймут: технологии задуманы для иных целей».

Игры и кино – два главных сектора потребительского рынка, на которые нацелена Vicon. Однако немалая часть их работы отводится и биомеханике: продукция компании применяется в медицине, помогая отслеживать отклонения в движениях и походке, вызванные церебральным параличом или травмами. Биомеханике посвящена половина всего бизнеса Vicon, четверть занимают игры и кино и ещё четверть – робототехника, применяющаяся в виртуальной реальности и автономном вождении.

Все эти сферы взаимозависимы и сообща помогают развитию захвата движений. Особенно актуально это в плане взаимодействия игр и кино.

«Нынче обе индустрии идут наравне, они стараются установить новые стандарты друг для друга и двигают друг друга вперёд. Игры – определённо значимая область, она бурлит энергией», – говорит Джеффри. – «Сегодня разработчики могут посвящать уйму времени анимированию чудесных пейзажей в Horizon: Zero Dawn или создавать уникальных спортсменов в FIFA. Всё это делается гораздо быстрее и проще благодаря развитию технологии захвата движений».

Хроника: История Motion Capture в играх

Технология «захвата движения» уже давно стала нормой не только в кинематографе, но и в игровой индустрии — теперь актёры озвучки дарят своим персонажам не только голоса, но и телодвижения. В этом выпуске мы вспомним, как всё начиналось и что мы имеем сейчас.

История mo-cap насчитывает уже более сорока лет. Хотя точной даты зарождения технологии нет, поговаривают, что первые её зачатки появились на студии Уолта Диснея в середине 70-х — тогда это была невероятно прогрессивная в этом плане компания. Аниматоры Диснея старательно перерисовывали своих героев с реальных актёров на плёнке и вставляли во фрагменты мультфильма. Ярким примером можно назвать роль Шерри Стоунер, с которой рисовали знаменитую русалку Ариэль.

Walt-Disney-Characters-image-walt-disney-characters-36792591-1920-742

Основой была технология ротоскопирования, предполагающая наличие специализированных станков, на которых аниматоры рисовали говорящих мышей и русалок прямо поверх людей — по сути ручной mo-cap. Помощь пришла с совершенно неожиданной стороны — из медицины. Профессору Тому Калверту пришла мысль оцифровать информацию о собственных движениях, закрепив на тело потенциометры. И очень скоро профессиональные группы от 3D-графики стали использовать коммерческие системы оптического слежения, основанные на светодиодных маркерах, такие как SelSpot и Op-Eye.

В 1988 году американская компания Silicon Graphics (именно она позднее анимировала динозавров в «Парке Юрского периода») представила свои достижения в motion capture, сделав «Майка-говорящую голову» — трёхмерного персонажа, который управлялся в реальном времени при помощи специальной перчатки. Их партнёры, Pacific Data Images, позднее сами разработали «exoskeleton» — пластиковую конструкцию-одежду для актёра в качестве динамических элементов motion capture. Система, хоть она и не стала идеалом из-за шумов и размеров, всё же успела послужить для захвата движений во многих проектах.

Несомненно, подобная разработка не могла пройти мимо игроделов. И вот в 1989 году mo-cap вырывается на свободу из тесных студий и дебютирует в игре Prince of Persia. Именно она открывает эру motion capture в разработке игр — сей факт отмечен даже в Книге рекордов Гиннеса. Это первая видеоигра, использующая «захват движения», пусть и с применением ротоскопирования.

В 1990 мы можем наблюдать mo-cap в фильме «Вспомнить всё», а в 1991 выходит ТВ-передача, где с приглашёнными звёздами беседует милое привидение по имени Мат. При этом управление там велось при помощи всего одной камеры. Постепенно Мат стал более «живым», если можно так говорить о привидении. В 1992 году благодаря системе Face Waldo компании SimGraphics были сделаны первые шаги в направлении обработки мимики человеческого лица.

В 1993 году Mortal Kombat с небольшим опозданием в гонке технологий становится ещё одним виртуальным проектом, использующим mo-cap, — на этот раз совершенно чистый, без применения чего либо ещё. Подобная визуализация, делающая персонажей невероятно реалистичными (для того времени) настолько потрясла критиков, что из-за жестокой тематики игры было создано специальное рейтинговое агентство игр — ESRB.

mortal_kombat_2

Следом к финишной черте примчались симулятор Madden NFL Football и шедевры Nintendo — The Legend of Zelda: Ocarina of Time и Twilight Princess, в кат-сценах которых применялся «захват движений». Но нужны были перемены, технология была всё ещё юной и неопытной. К счастью геймеров, нашёлся кавалер, который сумел вырастить из неё прекрасную даму, — Хидео Кодзима. Именно он в сотрудничестве с учёными усовершенствовал разработку и в специальном аддоне к первой Metal Gear Solid, содержащей 300 тренировочных миссий, мы видим персонажей, которых играли настоящие актёры. При этом впервые был задействован mo-cap лицевой мимики.

Последователями более полного погружения в технологию стали Mortal Kombat Deadly Alliance (где актёр впервые не только сыграл, но и озвучил персонажа), Clock Tower 3 и Primal. Разработчики Enter The Matrix в 2003 даже сумели сделать движения персонажей более плавными, но устаревшая графика загубила все их старания на корню. Зато в Tomb Raider Underworld (2008) получилось ровно наоборот — графика вроде неплохая, но все геймеры как один жаловались на слишком высокую скорость героини.

screen003_nm

Занимательно, что даже в такой прогрессивной технологии нашлись свои классики вроде Naugthy Dog. В серииUncharted, а позже и в The Last of Us лицевую анимацию прорисовывали вручную. Тем не менее остальные больше доверяли машинам и камерам: в Heavy Rain, вышедшей в 2010 году, всё было как в «Аватаре», т.е. с подробной съёмкой лица и движений тела.

Постепенно Motion Capture стало вполне обычным явлением в играх: серия GTA (начиная с 4 части), L.A. Noire,Heavenly Sword, Halo 4. А в триллере Beyond: Two Souls впервые были задействованы голливудские знаменитости — Эллен Пейдж и Уильям Дефо. Сейчас ни один ААА-проект не обходится без «захвата движения», а актёры озвучки, получив больше работы, готовят забастовку, поскольку им до сих пор выплачивают ровно те же гонорары, что и раньше.

Beyond-Two-souls-1

Однако рано или поздно они снова займутся одной лишь озвучкой, поскольку уже сейчас учёные работают над тем, чтобы сохранять шаблонные движения для последующего их использования, не говоря уже о том, что в CGI-видео такой проблемы практически не было. Но мы надеемся, что произойдёт это ещё не скоро, ведь так приятно поглядеть на актрис в обтягивающих костюмах. А потом ещё раз поглядеть…

История создания Motion Capture

В современном мире мы даже не удивляемся разнообразным персонажам в виде Халка, Голлума или же абсолютно живого поведения разумной обезьяны. А наслаждаться новыми мстителями или очередным вышедшим ААА-проектом нам позволяет технология Motion Capture.

Именно Motion Capture повсеместно используется в каждом высокобюджетном фильме Голливуда, и позволяет создавать абсолютно реалистичные движения каждого героя в любой компьютерной игре. Сейчас мы постараемся углубиться в историю создания данной технологии, от самого начала до самых популярных проектов на сегодня.

Зарождение Motion Capture

Motion Capture можно перевести, как захват движения. То есть при помощи данной технологии можно оцифровать любое движения актера и впоследствии перенести на любую детализированную модель персонажа фильма, игры или мультфильма. Именно технология захвата движений, используется в создании несуществующих персонажей, таких как инопланетяне или же абсолютно выдуманные в виде Кинг-Конга.

Зародилась эта технология еще в прошлом ХІХ веке. Именно тогда первые художники начали интересоваться движениями человека, которые были засняты чередой фотоснимков. Результатами таких трудов стало создание первого специального прибора под названием – Ротоскоп.

Ротоскоп был создан для плавной передачи каждого фотоснимка по одному кадру, а художник в свою очередь перерисовывал контуры персонажа со снимков. Именно это позволяло создавать натуральные и плавные движения героев мультфильмов тех времен. Использование такой технологии вы сможете увидеть в первых мультфильмах студии Disney. Отчетливо видно повторение многих движений в таких мультфильмах, как «Золушка» или «Белоснежка».

Для того, чтобы создать мультфильм, актерам для начала приходилось отыгрывать все движения на фотокамеру. После чего аниматоры и художники покадрово перерисовывали все движения на холсты, создавая с рисунков анимацию.

Так же ротоскопия использовалась и во многих мультфильмах советского союза. Использование рисовки с фотографии можно увидеть в таких мультфильмах, как «Снежная королева», «Золотая антилопа», «Цветик-семицветик», «Каштанка», «Аленький цветочек».

Но все изменилось с появлением 3D анимации. Для создания большинства персонажей решили использовать такую же технологию, только уже с помощью камер и специальных датчиков. Именно появление первых проектов 3D с использованием Motion Capture изменило кинематограф навсегда.

Технология Motion Capture

Новый вид технологии захвата движения позволяет записывать не просто изображение актера, а полноценные его движения. Именно это и позволяет создавать реалистичные движения разных антропоморфных персонажей в фильмах и играх.

Как же работает эта система?

Для полноценного захвата движения нужно несколько вещей. Для начала нужно помещение, оснащенное несколькими камерами со специальными инфракрасными излучениями, которые с разных ракурсов будут снимать самого актера. Чем больше камер, тем лучше будут передаваться снятые движения. Актер, который будет отыгрывать специальные движения, должен быть одет в однотонный костюм с маркерами. Маркеры должны быть закреплены на важные для считывания места тела. Зачастую это колени, локти, плечи или лоб. Именно такое расположение маркеров сможет дать полную картинку скелета человека и широкую амплитуду движения этого самого скелета.

То есть камера считывает попадание лучей на маркеры и полученную информацию передает уже на компьютер, который при движениях актера, создает базовый скелет движения персонажа. После чего все точки, на которых были маркеры, переносятся на те же точки графического персонажа, который будет повторять все движения, отыгранные актером.

Развитие Motion Capture

В начале 90-х годов Motion Capture начали использовать более широко. На американском телевидении выходила детская передача Canaille Peluche. В ней присутствовал персонаж – привидение Мат, который общался с разными актерами и гостями передачи. Мата в то время создавала целая команда, от актеров, отыгравших его движения, до графических аниматоров, которые рисовали его текстуры. В то время на производство всего семи минут анимации Мата, уходило около шести-восьми часов работы компьютера.

В 1992 году компания SimGraphics разработала систему отслеживания мимики человеческого лица. Они смогли продемонстрировать свою технологию на выставке видеоигр, где голова популярного персонажа Марио, общался с публикой. Он мог отвечать на вопросы и отыгрывать удивление, страх и злость. Именно тогда эмоции Марио отыгрывал сидевший рядом с экраном актер.

В свое время Питер Джексон и Роберт Зимекис вложили не мало средств в разработку технологии Motion Capture. Они хотели использовать ее в создании своего нового фильма «Страшилы». Съемки происходили в 1996 году, он был на тот момент самым насыщенным компьютерной графикой фильмом. Именно тогда Земекис вложил в центр развития цифровых технологий 5 миллионов долларов.

Но самым настоящим триумфом использования технологии захвата движения считается 2002 год, когда Питер Джексон показал на экранах персонажа из истории «Властелин колец» – Голлума. Сыграл данного персонажа актер Энди Серкис, который показал на что способна новая технология Motion Capture.

Технология на тот момент была новой, и Эндрю приходилось отыгрывать каждую сцену по несколько раз. Сначала самому, для захвата его движения и передачи их персонажу. После чего он снова играл ту же сцену с актерами, и третий раз – это перенос его эмоций на лицо самого Голлума. Именно благодаря захвату движения и гениальной актерской игре Серкиса, Голлум получился абсолютно живым и естественным персонажем, которому ты веришь и совершенно не сомневаешься в его существовании.

В будущем Питер Джексон снова использовал захват движения в своем фильме «Кинг-Конг», где Конга снова сыграл Серкис. В 2004 году вышел первый мультфильм Роберта Земекиса, под названием «Полярный Экспресс», который был полностью отснят при помощи этой же технологии. В нем насчитывалось несколько десятков персонажей, которые сыграли абсолютно реальные актеры, такие как Том Хенкс и другие. В то время многие критики сказали, что это великий момент для всего кинематографа, ведь теперь он перешел с аналоговой в цифровую эру.

Виды Motion Capture

На сегодня можно выделить два основных вида технологии Motion Capture. Это Маркерная и Безмаркерная.

1. Маркерная система работает при помощи специальных камер и костюмов, которые одевают актеры. Каждый из актеров фильма или мультфильма одевает костюм с множеством датчиков, которые снимают специальные инфракрасные камеры. Каждое движение маркера камера фиксирует и передает информацию на компьютер. После чего она обрабатывается и переносится на созданного персонажа. Именно этим методом создается мимика лица персонажа. В таком случае маркеры закрепляются на основных частях лица актера.

1. Безмаркерная технология позволяет актеру сниматься без специальных датчиков и костюма. Такая технология позволяет быстрее снимать движения актера без лишней подготовки, с ее помощью можно заснять такие быстрые движения как борьба, падения или прыжки. Но из-за отсутствия маркеров страдает качество захвата движения.

Маркерная технология делится еще на несколько подвидов захвата движения:

• Маркеры оптические-пассивные: в этом виде, камера посылает инфракрасные лучи на маркер, который тот в свою очередь отражает обратно в объектив камеры. Каждая камера это фиксирует и передает движения отражаемого маркера на компьютер, тем самым записывая движения.
• Маркеры оптические-активные: в этом методе в маркерах установлены светодиоды с радио-синхронизацией. Каждый такой маркер имеет свой собственный индетификатор ID. Именно он не дает путать места положения маркеров, и позволяет записывать движения актера даже если свет, попадающий с камеры на маркер, был перекрыт.
• Магнитные системы. Здесь маркерами являются магниты, а камеры – это магнитные ресиверы, система записывает положение маркеров по искажениям самого магнитного потока.
• Гироскопические или иннерциальные системы. Для сбора информации о движении на костюм актера крепятся гироскопы и иннерциальные сенсоры. Благодаря таким сенсорам, система может определить не только позицию маркера, а и угол его наклона.

Самые популярные проекты Motion Capture

Если говорить о проектах созданных при помощи Motion Capture, то обязательно стоит упомянуть «Аватар» Джейсма Кемерона. Именно при съемках этого фильма повсеместно использовалась технология захвата движения, благодаря которой инопланетная раса двигалась так естественно и гармонично.

Восстание планеты обезьян.

В этом проекте король захвата движения Энди Серкис снова показал на что способны наши современные технологии. Теперь абсолютно любую фантазию можно воплотить на экране. И движения, жесты, эмоции и мимика персонажа Цезаря заставляют поражаться каждую минуту. Ведь это все естественно на полные 100%.

Беовульф

Полнометражный мультфильм, который также отыграли целиком и полностью актеры. Этот проект показывает каким может быть анимация в современных анимационных проектах.

Я робот

Фильм, который рассказывает о нашем возможном будущем. С искусственным интеллектом и роботами помощниками, которые могут испытывать человеческие эмоции. Именно робот Сани, который мог безупречно имитировать человеческую злость или радость, стал возможным благодаря технологии захвата движения.

Ну и конечно много других фильмов, таких как Звездные войны: Изгой Один, Варкрафт и Черепашки-ниндзя. Эти фильмы стали возможны только благодаря развитию технологии захвата движения. И многие режиссеры смогли показать на экране многих персонажей по-настоящему живыми и реальными.

Motion Capture в играх

На сегодняшний день практически каждая игра создается при помощи технологии захвата движения. Каждого из героев отыгрывают реальные актеры, которые передают ему реальные движения в бою или просто касания к каким-либо предметам. Так же благодаря Motion Capture, мы можем наблюдать в играх реалистичные эмоции и мимику лица персонажей. Ведь каждая морщинка и изгиб мышцы лица передается игровому персонажу, и помогает нам погрузится в атмосферу игры и поверить в те эмоции.

Одним из таких проектов стала игра Девида Кейджа Beyond: Two Souls. Каждую из сцен целиком и полностью отыграли прекрасные актеры, такие как Вильям Дефо или Елен Пейдж. Девид Кейдж смог воссоздать самое настоящее игровое кино, в котором не просто игровой персонаж, которым вы управляете. Перед вами живые люди, со своими чертами лица, уникальными и неповторимыми эмоциями. Motion Capture позволила сделать неповторимую атмосферу и передать то, что графический аниматор попросту не смог бы нарисовать.