The Jim Henson Company提供表演驅動的家庭娛樂節目已有60多年，期間贏得了數十個獎項——包括50多項艾美獎和9項格萊美獎。這家公司以原創布偶電影聞名于世，是公認的創新高手，善于使用從傳統提線木偶到電動木偶和實時數字動畫的各種領先業界的工具和技術。在其不計其數的作品中包括了一些特別令人難忘的大制作，例如《布偶奇遇記（Fraggle Rock）》、《黑暗水晶（The Dark Crystal）》、《迷宮（Labyrinth）》和《遙遠星際（Farscape）》。

公司董事長Brian Henson是創始人Jim Henson之子，他渴望延續這種創新文化。可證明這一點的是，數十年來他一直在積極采用各種形式的虛擬制片。如今他正用系列節目《奈德撞地球（Earth to Ned）》來開辟新天地，他將這個節目的形式描述為“外星科幻片遇上美式脫口秀”。

《奈德撞地球》正在迪士尼+播出，它結合了實景拍攝、電動木偶和實時現場表演驅動CG動畫。這個節目的設定是，被派來侵略地球的外星人迷上了流行文化，于是決定制作一個采訪地球名人的脫口秀節目。

現實中的名人嘉賓受邀參加節目，而主持人是電動木偶外星人奈德和科尼利厄斯，還有一個名叫貝蒂的CG人工智能，是現場在虛幻引擎中實時渲染的基于粒子的實體。

用表演來驅動CG數字動畫角色的創意最初是Jim Henson本人提出的，不過是在1994年才付諸實施的，當時這家公司的家庭諷刺情景喜劇系列《恐龍（Dinosaurs）》正進入制作尾聲。這個節目是使用帶有數十個電動機的巨大電動木偶服創作的——穿在演員身上又熱又不舒服，而且很容易發生故障。

“我們就開始想，要是能做CG動畫就好了，我們還是可以讓演員來表演恐龍的肢體動作，但是他們不必穿上這些大號戲服。”Henson說，“假如我們不必使用可能發生故障的45個電動機來表演頭部的戲份，卻還能表現出同樣的活力，那該有多好。”

為了促成這個在當時堪稱石破天驚的概念，他們需要開發一套能夠為演員提供實時反饋的系統。

“我們可不喜歡跑到動作捕捉的片場，讓演員假裝自己是恐龍表演一番，然后等上一個星期來看他作為恐龍的表演效果——那種辦法行不通。”Henson解釋說，“所以我們必須能夠在周圍的屏幕上即時看到我們作為恐龍的表演效果。”

雖然他們當時創造的專有系統經受了時間考驗——他們至今仍在使用它——但是它提供的視覺效果質量不足，不能讓他們直接使用輸出；所有的效果還是需要離線渲染。

“它是為視效預覽構建的。”Dan Ortega說，他在公司擔任數字創意主管，“它并沒有真正具備做出任何實時效果乃至高分辨率圖像的能力。它的設計就是如此。我們用來構建它的工具只是允許我們捕獲數據，然后放入后期制作管線。”

對于《奈德撞地球》，公司的計劃是在片場以最終廣播的質量實時渲染貝蒂，這就意味著現有系統無法勝任。不僅如此，對于貝蒂的角色，他們還需要滿足一些很特別的要求。Henson希望她看起來是由電流組成的，而且能夠在人類外表和外星面孔之間變換。

接受了這些苛刻要求的人就是Ortega。“他【Henson】把它形容為一個能量球，和磁暴線圈差不多，但又不是線圈，因為它必須是由粒子組成的。”他說，“必須有把它和房間相連的閃電。他還要求它變化成一張正在說話的面孔。”

Ortega立刻明白，自己需要使用虛幻引擎來實現這些實時效果。

“借助虛幻，我們可以使用我們獲獎的木偶控件在一個虛擬場景中進行交互，它具有令人驚嘆的畫質，很高的幀率，沒有任何延遲。”他說，“虛幻給我們提供了所有需要的復雜材質、粒子和效果，我們通過這個引擎可以實時進行表演和生成動畫。”

為了讓貝蒂看起來就像親臨現場，他們計劃通過在片場放置的屏幕創造出可以供她飄浮的“空間”。通過實時跟蹤所有攝像機，可以生成正確的視差，從而制造出屏幕后面有體積存在的假象。

“另一個挑戰是，Brian要求這張面孔在片場的三個不同房間之間傳送，而且這一切必須在攝像機中實時發生，不需要后期制作；”Ortega說，“我們開完那次會議后，我的腦子里就在想，‘好吧，這是我們從來沒做過的事。我從沒見過像這樣的東西。’”

既然選擇了虛幻引擎作為渲染引擎，Ortega就需要將它集成到公司的現有管線中，該管線包括Autodesk Maya（用來進行角色的骨架綁定）和Henson Digital Puppetry Studio，后者是他們專有的一套硬件和軟件工具，其中包括表演捕捉系統以及機械式木偶控制裝置。

為了實現這個目標，Ortega的團隊創建了Henson Nodeflow引擎，這是一種在不同系統之間充當網關的專有實時獨立動畫引擎。

他們把Maya場景導出到Nodeflow圖表，這種圖表模仿了Maya依賴性圖表，通過仿效Maya節點功能（包括關節、約束、曲線、Blendshape和Set Driven Key等更復雜的功能）來運行導入的角色。然后Nodeflow將這些數據傳遞到虛幻引擎。以貝蒂為例，每幀要將4000個節點發送到虛幻引擎，用時1.5毫秒。

為了實現角色的實時骨架動畫，團隊創建了一個自定義流送應用程序，通過Live Link（虛幻引擎用于流送和使用來自外部源的動畫數據的接口）將輸出從Henson Digital Puppetry Studio發送到虛幻引擎。

Ortega的團隊還將這種連接結合虛幻引擎的可視化腳本語言藍圖使用，使操偶師能夠觸發各種實時效果，例如閃電、面部變化和在房間之間的傳送。

大約有十幾個藍圖參數與在Henson Performance Control System中程控的角色屬性關聯。這使得表演者能夠使用曾榮獲奧斯卡獎項的操偶師界面，通過手部控制、踏板和滑塊等輸入來調節亮度、頻率和效果縮放等項目。

由于以上的種種努力，貝蒂能夠與嘉賓進行互動，讓那些名人也喜出望外。

“當嘉賓們來到現場，然后意識到，‘哦，她真的會在那里，’他們都興奮極了，我想這是因為大家都以為那將是后期特效。”Henson說，“對于來到片場的嘉賓，那種假象是完美的。他們看不到任何操偶師。他們只會看到奈德，看到科尼利厄斯，并看到貝蒂。當這一切發生的時候，那真是神奇。”

在《奈德撞地球》使用實時最終像素渲染所取得的成功使團隊渴望了解自己能夠在多大程度上推進這一概念，他們已經在進行更多試驗。

“如果我們能夠開始交付全CG動畫的電視節目，而且其中不需要后期制作的鏡頭所占比例越來越高，那么很明顯，制片效率將會突飛猛進。”Henson說，“而有了虛幻，我們就可以得到質量比以前高得多的圖像，成品圖像。我們可以實時獲得成品圖像。如果沒有虛幻，我們是做不到這一點的。我們嘗試過。我們早就試過了。”

“通過與虛幻聯手，我們可以在實景拍攝的片場中制作出成品CG動畫，然后進入剪輯環節，就像實景拍攝一樣完成制作。”Henson說，“這可是非常激動人心的。”

本文轉自虛幻引擎官網~