AI視頻又一大突破！一人一機，拍出電影級動畫表情捕捉

智東西編譯 汪越編輯 漠影

智東西10月23日消息，據VentureBeat報道，10月22日，明星AI視頻創企Runway推出了一項名爲Act-One的新功能。

Act-One集成在了Runway的視頻生成模型Gen-3 Alpha中。用戶可以使用手機或相機輕鬆錄製自己或他人的視頻，之後利用Act-One功能將錄製對象的面部表情轉移到AI生成的角色上。

根據Runway官方博客發佈的信息，從昨天開始，該公司已逐步向現有用戶開放Act-One功能，並計劃在未來不久內全面開放給所有用戶。

一、簡化傳統3D動畫複雜流程，Act-One精準捕捉演員微表情

自2022年底首批文生視頻模型問世以來，AI視頻技術在真實性、分辨率、保真度、提示匹配度（即AI生成的視頻與用戶提供的描述或示例的契合程度）以及生成數量等方面取得了顯著進步。

然而，對於許多AI視頻創作者來說，一個持續存在的挑戰是如何在AI生成的角色中實現真實且可控的面部表情。大多數現有的解決方案在這方面表現得相當有限。

如今，Act-One功能爲這一難題提供瞭解決方案，在使用生成模型來再現真人動作和動畫內容方面邁出了重要的一步。

所有擁有Runway賬戶的用戶都可以嘗試這項新功能，通過Gen-3 Alpha視頻生成模型來創建新的視頻。不過，目前只有積分充足的用戶才能使用該功能。Gen-3 Alpha於今年早些時候推出，支持多種輸入方式，包括文字轉視頻、圖片轉視頻及視頻轉視頻。用戶可以通過描述場景、上傳圖片或視頻，或者結合這些元素，讓Gen-3 Alpha基於輸入內容生成全新的視頻。

儘管Act-One當前的可用性仍然有限，但已經獲得了不少AI視頻創作者的高度評價。此外，Runway最近宣佈與好萊塢知名電影公司獅門影業達成合作，將基於獅門影業超過2萬個影片的內容庫，開發定製化的AI視頻生成模型。

傳統的面部動畫製作通常是一個複雜且耗時的過程，涉及動作捕捉設備、手動面部綁定和多個參考鏡頭。這些技術的目標是將演員的表演轉化爲適合動畫流程的3D模型。

對電影製作感興趣的人可能在片場或觀看《指環王》系列、《阿凡達》等特效和動作捕捉電影的幕後花絮時，瞭解到這一過程的複雜性。例如，在《猩球崛起》中，演員們全身佈滿乒乓球標記，臉上也貼滿了標記，並佩戴着頭戴式設備。

▲演員臉上佈滿標記，並被頭戴式設備擋住。（圖源：YouTube）

據VentureBeat報道，正是這種對複雜面部表情精確建模的需求，促使導演大衛·芬奇（David Fincher）和他的團隊在《本傑明·巴頓奇事》中開發了全新的3D建模流程，並最終贏得了奧斯卡獎。

傳統3D動作捕捉的主要難點在於如何在數字角色中保留參考鏡頭中的情感和細微表情。爲了克服這一難題，近年來許多AI初創公司致力於減少精確動作捕捉所需的設備。例如，去年成功籌集了1000萬美元種子輪融資的3D動作捕捉應用Move AI，推出了一項單設備動作捕捉功能。通過這一功能，用戶可以使用智能手機攝像頭或數碼相機，實現對全身和更廣泛動作的捕捉。

相比之下，Act-One使這一複雜過程變得更加簡單易懂。Act-One專注於面部表情建模，用戶可以通過簡單的攝像機設置準確捕捉演員的表演，包括眼神、微表情和微妙的節奏。這樣，創作者可以以各種風格和設計製作角色動畫，而無需使用動作捕捉設備或進行角色綁定。

▲只需簡單的演員表演視頻，即可爲生成的角色製作動畫。（圖源：Runway）

正如Runway在其X賬號上所述：“Act-One能夠將單一輸入視頻中的表演轉化爲無數不同的角色設計和多種風格。”

Act-One適用於各種參考圖像，能夠保留真實的面部表情，並將表演精準地轉換到不同比例的角色上。這種多功能性爲創意角色設計和動畫開闢了新的可能性。

▲使用簡單的家用攝像機即可捕捉演員的表演，併爲生成的角色製作動畫。此外，還可以添加語音交替效果。（圖源：Runway）

二、Act-One的其他優勢：多攝像機角度的電影現實主義、更廣泛的視頻敘事能力及公衆人物權益保護

Act-One的一大優勢在於它能夠從各種攝像機角度和焦距提供電影級的逼真輸出，並且在不同角度下都能保持高保真的面部動畫。這種靈活性增強了創作者通過角色表演講述情感共鳴故事的能力，而這在過去通常需要昂貴的設備和複雜的多步驟工作流程才能實現。

Runway之前已經支持視頻到視頻的AI轉換功能，允許用戶上傳自己的視頻，並讓Gen-3 Alpha或其他先前的Runway AI視頻模型（如Gen-2）對其進行“重新設計”。新的Act-One功能特別針對面部映射和效果進行了優化。Runway聯合創始人兼首席執行官克里斯托弗·巴倫蘇埃拉（Cristóbal Valenzuela）在接受VentureBeat採訪時提到，一致性和性能是Act-One的突出特點。

▲捕捉真人表演，輸出逼真的電影人物。（圖源：Runway）

此外，Runway一直在探索Act-One如何生成多回合、富有表現力的對話場景，這在過去使用生成視頻模型時是非常具有挑戰性的。

現在，用戶只需使用普通相機和一名演員閱讀並表演劇本中的不同角色，即可創建敘事內容。一個演員僅用常見的相機就可以扮演多個角色，模型會爲每個角色生成不同的輸出。這種能力有望改變敘事內容的創作方式，特別是在獨立電影製作和數字媒體領域，這些領域通常缺乏高端製作資源。

巴倫蘇埃拉在X上公開說道，行業處理生成模型的方式發生了轉變。現在，人們已經超越了質疑生成模型是否能生成一致視頻的階段。一個好的模型已成爲新的基準。關鍵在於如何使用這個模型，如何思考它的應用和用例，以及最終構建的內容。

▲使用單個演員和攝像機設置編輯的多機位對話場景，驅動兩個獨特生成角色的表演。（圖源：Runway）

Runway的安全生成媒體基礎是其當前和未來發布的Act-One的基礎。與Runway的所有版本一樣，Act-One配備了一套全面的內容審覈和安全預防措施。這些措施包括檢測並阻止生成包含公衆人物內容的嘗試，技術驗證措施確保最終用戶有權使用他們通過自定義語音創建的語音，以及持續監控以檢測並減少對工具和平臺的潛在濫用。

結語：Act-One突破面部識別技術障礙，推動AI視頻創意新高度

Act-One突破了AI面部識別技術的障礙，將有助於Runway在與越來越多競爭對手的競爭中脫穎而出。競爭對手包括，AI視頻初創公司Luma AI、中國AI初創公司MiniMax旗下的AI視頻生成器Hailuo、快手旗下的AI視頻模型Kling，以及AI視頻初創公司Genmo昨天剛推出的Mochi 1開源視頻生成模型。

通過減少傳統角色動畫的技術障礙，Runway有望在數字媒體領域激發新的創造力。藉助Act-One，複雜的動畫技術變得更加易於使用。隨着Act-One的推出和被更多使用，我們或許會看到許多藝術家、電影製作人和其他創作者利用這一新工具實現他們的創意。

來源：Runway、VentureBeat