2018年08月22日，在今年的Facebook開發(fā)者大會上，Oculus展示了音頻到面部動畫技術的最新進展。這項功能允許我們通過任何語言的口語來實時驅動面部動畫。Oculus日前正式宣布，這項技術將在最新的Oculus Lipsync Unity集成更新中向開發(fā)者開放。

　　1. Oculus Lipsync的工作原理

　　Oculus Lipsync是一種Unity集成，用于將虛擬角色的唇部動作同步至語音。它主要是離線或實時分析音頻輸入，然后預測可用于令虛擬角色或非玩家角色(NPC)嘴唇動畫化的一組發(fā)音嘴形。視覺音素/視素(visual phoneme/viseme)是嘴唇和面部的姿勢或表達，其對應于特定的語音(音素)。例如在討論讀唇術時，我們常常使用這個術語，其概念類似于音素，并且是具備可理解度的基本視覺單元。在計算機動畫中，我們可以使用視覺音素來制作虛擬角色的動作，令它們看起來像是在說話。

　　Oculus Lipsync將音頻輸入映射至一個包含15個視覺音素目標的空間：sil，PP，F(xiàn)F，TH，DD，kk，CH，SS，nn，RR，aa，E，ih，oh和ou。視素描述了在發(fā)出相應語音時產生的面部表情。例如，視素sil對應于silent/neutral表達;PP對應于在“popcorn(爆米花)”發(fā)音的第一個音節(jié);FF是“fish(魚)”的第一個音節(jié)，諸如此類。選擇上述目標是為了給出最大范圍的唇部運動，并且支持盡可能多的語言。有關這15個視素及其選擇方式的更多信息，請參閱本文最后的文檔：Viseme MPEG-4 Standard。盡管本文檔包含了視素的參考圖像，但Oculus發(fā)現(xiàn)藝術家難以從中復制精確的幾何圖形。為了克服這個問題，Oculus從多個角度制作了一組更高分辨率的視素參考圖：Oculus Viseme Reference Images(Oculus視素參考圖像)。

　　2. Oculus Lipsync的演變

　　當Oculus第一次發(fā)布LipSync時，他們專注于支持Facebook Spaces等應用程序。在這種情況下，它用于生成靜態(tài)唇形張開和閉合的粗略動畫。對于這一點，實現(xiàn)方式是使用Lipsync插件來驅動所謂的Texture-Flip風格面部動畫，如上面的機器人動圖所示。這里每個視素都映射到單個紋理，并且每幀顯示最大活動視素的紋理。最近的社交VR發(fā)展(包括2018年初的Spaces更新)都使用了更高保真度，基于混合形狀的面部模型，而這需要更高質量的面部動畫。對于基于混合形狀的模型，其需要對相同拓撲的不同幾何形狀(或混合形狀)進行加權組合，并將它們相加以創(chuàng)建動態(tài)形狀輸出。這樣的模型不僅需要預測最大活動的視素，而且要求所有視素的權重，從而能夠流暢地為模型設置動畫，結果如下圖所示。為了實現(xiàn)如此高保真的面部動畫，Oculus的研究團隊采用了一種新穎的方法，將深度學習的進步與人類語音生成的知識結合了起來。

　　3. 以更高的精度預測視素

　　最初通過SDK 1.16.0推出的原版Oculus Lipsync采用一個小而淺薄的神經網絡來學習一小段語音音頻輸入和音素(構成人類語音的聲音單位)之間的映射。盡管這個模型在英語方面的效果相當好，但它在其他語言方面效果不佳，而且容易受背景噪音的影響。作為研究和產品之間的合作，Oculus投資了更新的機器學習模型，即時間卷積網絡(TCN)。對于時間卷積網絡，它們已經能夠在其他領域的任務中實現(xiàn)顯著更高的性能和穩(wěn)定性，如視覺和語言。在內部測試中，這種TCN模型能夠將英語語音的視素準確度提高30%以上，并且在重口音和大量背景噪音方面優(yōu)于先前的模型。在Speech Processing社區(qū)中，它們被稱為聲學模型，并且經常用作語音識別管道的輸入。

　　下圖描述了一般的TCN架構。這個模型使用過去的low-level音頻特征數(shù)據流來作為輸入，以及在某些情況下(如對于離線應用而言)，使用來自“未來”的信息來預測一組視素。可以調整架構的精確參數(shù)來優(yōu)化計算效率和性能，但總體布局屬于原樣。

　　盡管模型比先前的Lipsync方法復雜得多，但Oculus能夠使用類似于Fast WaveNet Generation Algorithm的緩存技術來非常有效地執(zhí)行處理。

　　這項研究源于Facebook Reality Labs的一系列工作(在pyTorch中完成)。研究人員使用ONNX將模型轉換為Caffe2以進行實時處理，并由Oculus進行優(yōu)化和集成以包含在Oculus Lipsync中。

　　4. 制作逼真的面部動畫

　　Oculus表示，這個全新的優(yōu)化模型使他們意識到需要大量的努力來制作高質量的視素混合形狀，從而驅動富有表現(xiàn)力的虛擬角色面部表情。Oculus的美術和面部姿勢專家共同解決了這個問題，并制作了一套新的視素參考圖像。借助這些參考圖像，Oculus為虛擬角色，以及為演示幾何創(chuàng)建了新的面部動畫混合形狀，具體可通過這個頁面進行下載。

　　5. 總結

　　在這個版本中，Oculus為開發(fā)者提供了利用最先進唇形技術來驅動實時虛擬角色和非玩家角色的能力。這是Oculus和Facebook Reality Labs的研究科學家，機器學習工程師，產品管理，圖形藝術家和面部姿勢專家的共同努力。Oculus已經更新了Unity插件和演示內容，目標是令Oculus Lipsync更強大，更具表現(xiàn)力，更易于使用。