你是否曾經(jīng)好奇過面部動(dòng)畫和動(dòng)作捕捉是如何在現(xiàn)場虛擬制片環(huán)境中使用的？Iralta虛擬制片團(tuán)隊(duì)為我們介紹了他們?nèi)绾螢槲靼嘌拦矎V播網(wǎng)TVE1制作虛擬角色Mapi。本文中Iralta虛擬制片團(tuán)隊(duì)介紹了虛擬角色Mapi是如何被創(chuàng)造出來的，以及創(chuàng)造一部與眾不同的電視節(jié)目所涉及的各種工作流程。

Mapi是誰？

Mapi不僅僅是一個(gè)智力競賽節(jié)目，還是節(jié)目中一個(gè)增強(qiáng)現(xiàn)實(shí)的3D角色。該節(jié)目和角色由Iralta虛擬制片公司與Mediacrest和RTVE合作制作，在TVE1的“黃金時(shí)段”播出。《Mapi》改編自日本公共頻道NHK的著名電視節(jié)目《Chiko的挑戰(zhàn)》，這是一檔具有革命性的電視節(jié)目。《Chiko的挑戰(zhàn)》每周播出一期，因此對(duì)于《Mapi》而言使節(jié)目的制作流程適應(yīng)日常的播出需求成為了一項(xiàng)技術(shù)挑戰(zhàn)。

Faceware的應(yīng)用

節(jié)目組要求Iralta為其制作一個(gè)能夠像有血有肉的演員一樣表演的3D角色：一個(gè)半人半3D的混合角色，可以與其他演員、參賽者和現(xiàn)實(shí)生活中的物體互動(dòng)。

通過使用安裝在攝像機(jī)和女演員身上的Mo-Sys能夠在空間中定位3D模型。這使得制作組能夠在真實(shí)和虛擬空間中定位角色。

面部捕捉工作流程使用Faceware的Mark IV headcam和Faceware Studio將女演員的動(dòng)作實(shí)時(shí)轉(zhuǎn)換為3D模型的動(dòng)作。隨著時(shí)間的推移，“機(jī)器學(xué)習(xí)”的使用也有助于面部捕捉軟件提高M(jìn)api的表現(xiàn)力。

另外角色的動(dòng)畫是在虛幻引擎中開發(fā)的，以便于為Mapi添加一些，如煙霧，雨水或特定表情等特殊效果。

虛擬制片流程

使用實(shí)時(shí)渲染引擎——虛幻引擎，我們可以通過四個(gè)攝像頭完成整場直播秀。為了合成和增強(qiáng)真實(shí)感，我們還使用了與布景相同的照明和來自視頻面板的燈光功能。

開發(fā)AR 3D角色的集成是為了向Vision mixer提供四個(gè)現(xiàn)場反饋，從而允許導(dǎo)演實(shí)現(xiàn)現(xiàn)場混合直播。

這個(gè)為虛擬制片設(shè)計(jì)的實(shí)時(shí)制作工作流程超過了5400分鐘（90小時(shí)），無需進(jìn)行任何3D后期制作。

這種制作3D、VFX和動(dòng)畫的新方式徹底改變了拍攝和后期制作的既定模式。虛擬制片讓動(dòng)畫和“后期制作”與現(xiàn)在拍攝同時(shí)進(jìn)行。演員現(xiàn)在能夠與場景中的3D元素以及虛擬演員進(jìn)行實(shí)時(shí)互動(dòng)。

《Mapi》的制作是一項(xiàng)艱難且極具創(chuàng)造性的壯舉。那么我們?nèi)绾问褂妙愃啤栋⒎策_(dá)》、《曼達(dá)洛人》或《堡壘之夜》的技術(shù)來制作完整的電視直播節(jié)目呢？許多廣播公司使用增強(qiáng)現(xiàn)實(shí)來添加圖形內(nèi)容或數(shù)據(jù)，但這是第一次混合3D角色在多臺(tái)攝像機(jī)上參與實(shí)時(shí)表演。

關(guān)于角色Mapi的設(shè)計(jì)

Mapi的設(shè)計(jì)在一定程度上參考了“Chiko的挑戰(zhàn)”以及它最初是如何融入日本文化和電視的。對(duì)于創(chuàng)造一個(gè)更受西方人接受的角色而言，Mapi的設(shè)計(jì)靈感更多來自于如“Family Telerin”中的Clea和Cuquin或“Wreck-it Ralph”中的Vanellope等角色。

Mapi的角色設(shè)計(jì)由馬科斯·拉亞（Marcos Raya）和安吉爾·烏爾維納（Angel Urbina）和戴夫·伯頓（Dave Burton）領(lǐng)導(dǎo)的Iralta 虛擬制片團(tuán)隊(duì)負(fù)責(zé)。Mapi是一個(gè)充滿疑問的幽默小女孩。而在更深層次上，Mapi是知識(shí)的女王，她擁有極其豐富的面部表情。Mapi的3D模型是一個(gè)女孩的臉，能夠表達(dá)從笑到憤怒的一系列情緒，這能提升演員的即興表演能力。

女演員Carla Pulpón

使用虛擬制片的增強(qiáng)現(xiàn)實(shí)使我們能夠獲得演員的最佳表演，并實(shí)時(shí)將其轉(zhuǎn)換為3D角色。當(dāng)然如果沒有Mapi背后的女演員Carla Pulpón，這些表情就很難活靈活現(xiàn)的展現(xiàn)出來了。在片場的每一天，Carla都賦予她所扮演的虛擬角色生命力。她在錄制節(jié)目的時(shí)候會(huì)戴著一個(gè)參考用的假人頭部，以及Faceware Mark IV頭戴式攝像系統(tǒng)，該系統(tǒng)可以使她的面部動(dòng)作與Mapi保持同步。

服裝

Mapi是一個(gè)虛擬與現(xiàn)實(shí)結(jié)合的角色。Mapi人體部分的服裝由來自Producciones Mutis的Esther R. Luaces和Reyes Pe負(fù)責(zé)。TVE所需的設(shè)計(jì)是在創(chuàng)紀(jì)錄的時(shí)間內(nèi)完成的，以配合此次展覽的試點(diǎn)和技術(shù)測(cè)試。織物的顏色和紋理必須與虛擬數(shù)字角色相結(jié)合。Mapi的服裝需要在視覺上吸引人的同時(shí)也非常實(shí)用，因?yàn)樗谋嘲仨氹[藏面部和動(dòng)作跟蹤硬件。巨大的假人頭部幫助Carla實(shí)現(xiàn)了準(zhǔn)確的動(dòng)作，并給我們帶來了真實(shí)的反射和陰影。

Iralta

該項(xiàng)目使用了7臺(tái)功能強(qiáng)大的計(jì)算機(jī)來為Mapi的虛擬部分注入活力，并整合了不同的數(shù)據(jù)（如視頻、位置信息和面部識(shí)別等）：分析、動(dòng)畫和渲染。此外制作組還開發(fā)了一系列數(shù)字道具來增強(qiáng)Mapi的情感和動(dòng)作。

在錄制前的幾個(gè)月，Iralta的虛擬制片團(tuán)隊(duì)參與了研發(fā)和其他測(cè)試，以使Mapi栩栩如生。他們?cè)趦?yōu)化面部和相機(jī)跟蹤系統(tǒng)上花費(fèi)了許多時(shí)間，這些系統(tǒng)在每個(gè)節(jié)目中都在不斷發(fā)展、進(jìn)步。在幾個(gè)星期的時(shí)間中，工作人員將計(jì)算機(jī)系統(tǒng)和軟件推向極限，最終獲得了獲得絕佳的實(shí)時(shí)動(dòng)畫效果。