從巨大無朋的太空船到手舞足蹈的外星人，酷玩樂隊(duì)和防彈少年團(tuán)（BTS）最近的單曲《My Universe》的音樂視頻以引人入勝的方式匯集了兩支世界知名樂隊(duì)。這是個(gè)歷史性的時(shí)刻，其意義不僅在于它是首支由兩大當(dāng)紅團(tuán)體合作并登上美國音樂排行榜榜首的單曲。在幕后，有五家視覺特效工作室合作運(yùn)用了體積視頻，該技術(shù)有可能改變娛樂節(jié)目的制作方式。

首先是Ingenuity Studios，這家視覺特效工作室使用一套包含108個(gè)攝像機(jī)的360度體積捕捉設(shè)備，從每個(gè)角度記錄每名歌手的表演。使用體積捕捉意味著兩個(gè)超級(jí)樂隊(duì)的每名成員都是以體積的形式被錄制成全息影像，而不是平面影像。這也意味著雖然防彈少年團(tuán)是在韓國的綠幕前拍攝，而酷玩樂隊(duì)是在西班牙拍攝，他們能夠在視頻中一起演唱。每名歌手的體積錄制內(nèi)容可以從任何角度合成——全都具備逼真的深度、色彩和光照。

最終成果令人驚嘆不已。但是當(dāng)洛杉磯的創(chuàng)意工作室All of it Now參與制作時(shí)，他們又和酷玩樂隊(duì)的創(chuàng)意團(tuán)隊(duì)合作，進(jìn)一步完善相關(guān)概念。

“我們想把全息影像放進(jìn)真實(shí)世界，但這需要一個(gè)契機(jī)，”All of it Now的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Danny Firpo說，“我們經(jīng)過一番搜索，發(fā)現(xiàn)了[美國全國廣播公司的]《美國好聲音》，這檔節(jié)目擁有的基礎(chǔ)設(shè)施完全能滿足我們讓兩個(gè)團(tuán)體完美地同步表演的需求。”

傳統(tǒng)全息影像與體積視頻的對(duì)比

要實(shí)現(xiàn)如此雄心勃勃的創(chuàng)意，第一步就是構(gòu)建實(shí)時(shí)制作的管線。“我們可以用傳統(tǒng)的投影方式將防彈少年團(tuán)放到舞臺(tái)上，比如Digital Domain就是用這種方式，通過一塊斜放的玻璃投影出著名的Tupac全息影像，”All of it Now的執(zhí)行制作人Nicole Plaza說，“但我們知道，傳統(tǒng)的方法不能用在這個(gè)項(xiàng)目上。安裝時(shí)間、成本和有限的觀看角度都降低了它的吸引力，而且在靈活性上明顯不如我們用虛幻引擎做出的成果。”

通過將Dimension Studios的體積捕捉數(shù)據(jù)導(dǎo)入虛幻引擎，該團(tuán)隊(duì)可以方便快捷地根據(jù)實(shí)體舞臺(tái)的限制對(duì)AR表演者的位置和出現(xiàn)時(shí)機(jī)進(jìn)行調(diào)整。這樣的速度和靈活性對(duì)于制作過程至關(guān)重要，而如果沒有Hologauze屏幕和Pepper的ghost方法，這種近乎即時(shí)的更改基本上是不可能實(shí)現(xiàn)的。

使用實(shí)時(shí)工作流程也意味著該團(tuán)隊(duì)可以在虛幻引擎中對(duì)整個(gè)表演進(jìn)行攝像機(jī)布局。這不僅使兩大樂隊(duì)可以預(yù)覽每個(gè)鏡頭的拍攝節(jié)奏，也幫助了制作團(tuán)隊(duì)確定每個(gè)機(jī)位的拍攝范圍是否足夠，從而使他們能夠確定拍攝時(shí)需要哪些攝像機(jī)和鏡頭。

“我們本來計(jì)劃使用四個(gè)攝像機(jī)，但是在看到我們能夠?qū)崟r(shí)提供的質(zhì)量級(jí)別后，《美國好聲音》和酷玩樂隊(duì)很快就商定需要七個(gè)攝像機(jī)，這可以進(jìn)一步提高整個(gè)制作的價(jià)值，”All of it Now的虛擬制片主管Berto Mora說。

將創(chuàng)意呈現(xiàn)在舞臺(tái)上

制作開始后，他們使用虛幻引擎將七個(gè)攝像機(jī)的信號(hào)與原先在《My Universe》視頻拍攝時(shí)捕捉的防彈少年團(tuán)體積影像放在一起合成并回放。“我們知道可以出色地覆蓋七位表演者的全方位影像，這就給成片中的鏡頭帶來了無限可能，”Mora說，“我們給每個(gè)攝像機(jī)專門了安排一臺(tái)服務(wù)器，這樣導(dǎo)演就能同時(shí)看到所有信號(hào)源并隨時(shí)切換鏡頭，就好像防彈少年團(tuán)的AR成員真的和舞臺(tái)上的真人酷玩樂隊(duì)一起表演一樣。”

為了實(shí)時(shí)地讓防彈少年團(tuán)的表演者進(jìn)入和離開舞臺(tái)，該團(tuán)隊(duì)還利用菲涅爾效應(yīng)和虛幻引擎中的Sequencer創(chuàng)造了一種“電波干擾”效果，讓表演者的全息影像瞬時(shí)呈現(xiàn)在觀眾面前。看過那部音樂視頻的樂迷可能會(huì)記起這種效果，因?yàn)樵谠兴脖挥糜诒憩F(xiàn)我們想象中星際“傳輸”時(shí)全息數(shù)據(jù)帶有瑕疵的特點(diǎn)。

接著團(tuán)隊(duì)又使用Stype的Stypeland插件攝取所有攝像機(jī)跟蹤和鏡頭畸變數(shù)據(jù)。這是通過Live Link記錄的，因此團(tuán)隊(duì)可以重新渲染每名表演者的獨(dú)唱時(shí)刻的選定片斷，并在后期對(duì)特定表演者的唇形同步進(jìn)行幀級(jí)別的調(diào)節(jié)。另一方面，在舞臺(tái)上，All of it Now的團(tuán)隊(duì)與一流的設(shè)計(jì)師Sooner Routhier合作，使用特定的落地?zé)魜韼椭嵬鏄逢?duì)的藝人辨別哪些AR表演者出現(xiàn)在舞臺(tái)上，是何時(shí)出現(xiàn)的。

實(shí)時(shí)技術(shù)的優(yōu)點(diǎn)

和所有顛覆性的工作流程一樣，使用體積視頻也涉及一些挑戰(zhàn)。All of it Now的團(tuán)隊(duì)甚至一度與微軟合作改寫了插件代碼，使得防彈少年團(tuán)的表演者資產(chǎn)（它們是通過微軟的SVF插件，作為特殊MP4導(dǎo)出內(nèi)容而提供的）與酷玩樂隊(duì)保持完美同步。

但是，直面這些挑戰(zhàn)所帶來的回報(bào)是絕對(duì)值得的。通過使用體積捕捉數(shù)據(jù)，團(tuán)隊(duì)甚至能在后期重新合成某些鏡頭（由于整條管線始終是為實(shí)時(shí)表演和回放而設(shè)計(jì)的，也方便了這類操作）。“每個(gè)視頻文件都是從一臺(tái)Atomos Shogun回放的，音頻和視頻饋送到用于現(xiàn)場制作的服務(wù)器，基本上就是重建了我們?cè)诂F(xiàn)場看到的場景，”Mora透露。

“我們使用這種方法，可以修正同步方面的小問題，或者修改電波干擾關(guān)鍵幀，增減每個(gè)鏡頭的電波干擾效果。我們還使用我們自定義的管線工具讀取時(shí)間碼范圍，找到含有記錄的跟蹤數(shù)據(jù)的鏡頭，然后創(chuàng)建新的序列，在后期只需要修正每個(gè)鏡頭所需的跟蹤數(shù)據(jù)就行。與人工識(shí)別具有正確幀范圍的鏡頭相比，這種做法節(jié)省了時(shí)間，對(duì)于后期制作所要求的快速周轉(zhuǎn)非常關(guān)鍵，”All of it Now的首席虛幻引擎美術(shù)師Jeffrey Hepburn說。

當(dāng)《美國好聲音》節(jié)目播出時(shí)，All of it Now團(tuán)隊(duì)對(duì)結(jié)果非常滿意，因此他們?nèi)缃裾谔剿髟谄渌w積視頻應(yīng)用中使用Arcturus Holosuite的平行管線，該工具可以改變表演者的頭部位置，使其“跟隨”被跟蹤的特定攝像機(jī)。但是無論他們做什么探索，虛幻引擎似乎都會(huì)是他們的好伙伴。

“在這個(gè)項(xiàng)目的每個(gè)階段，虛幻引擎都幫我們渡過了難關(guān)，使這個(gè)項(xiàng)目最終成為體積錄制的里程碑，激動(dòng)人心地預(yù)示了混合現(xiàn)實(shí)以及元宇宙應(yīng)用，”Firpo解釋說。

他提到了使用體積視頻實(shí)時(shí)回放的多種優(yōu)勢，例如不需要鉆研3D角色設(shè)計(jì)、骨架綁定和動(dòng)畫管線就能捕捉高度精細(xì)的面部表情、服裝元素和手指姿勢。

Firpo還表示，這種技術(shù)提供了探索替代工作流程的絕好機(jī)會(huì)，同時(shí)又能讓各個(gè)團(tuán)隊(duì)避免“恐怖谷”問題的困擾。

“實(shí)時(shí)回放體積視頻提供了一些重大的機(jī)會(huì)，”他說，“如果能夠進(jìn)行一次錄制并將資產(chǎn)復(fù)用于多種應(yīng)用，那么這肯定會(huì)讓那些總在思考下一個(gè)大作的美術(shù)師感到興奮。體積視頻將會(huì)引導(dǎo)他們朝一些有趣的方向探索。”

合影（從左至右）：Danny Firpo、Nicole Plaza、Preston Altree、Berto Mora、Jeffrey Hepburn、Neil Carman