2018年08月14日，隨著ARKit和iPhone X開始支持Unity，開發(fā)者現(xiàn)在可以通過一套易于使用的工具來創(chuàng)建美觀且富有表現(xiàn)力的角色。這為江毅冰即將上映的動畫短片《Windup》探索了實時木偶操作的魔力。

　　Unity Labs和《Windup》團(tuán)隊進(jìn)行了合作，希望看看他們能在多大程度上推動Unity為電影角色實現(xiàn)實時捕捉面部動畫的能力。與此同時，Beast House FX的Roja Huchez在混合形狀的建模和Rigging上為他們提供了協(xié)助。

　　團(tuán)隊的成果是Facial AR Remote，這是一種通過聯(lián)網(wǎng)設(shè)備直接在Unity編輯器中捕獲性能的低開銷方式。他們發(fā)現(xiàn)Remote的工作流程不僅對動畫創(chuàng)作有用，而且對于角色和混合形狀建模和Rigging同樣非常有用，其提供了一種在Unity中構(gòu)建自家animoji或memoji類型交互的簡化方法。這允許開發(fā)者能夠在編輯器中迭代模型，無需構(gòu)建到設(shè)備，從而消除了流程中耗時的步驟。

　　為什么要構(gòu)建Facial AR Remote

　　他們認(rèn)為為電影項目構(gòu)建新動畫工具存在一個新機(jī)遇，可以為Unity開啟實時動畫的未來。通過AR工具進(jìn)行創(chuàng)作還有一個“酷炫的因素”，而且有機(jī)會繼續(xù)推進(jìn)Unity的實時渲染。當(dāng)基本掌握了在編輯器編輯來自手機(jī)的數(shù)據(jù)后，他們團(tuán)隊及辦公桌周圍的每個人都馬上沉浸于操縱角色的樂趣之中。他們看到了這種技術(shù)的巨大潛力。最初的實驗很快證明了它既有趣又有用。這個項目迅速擴(kuò)展到當(dāng)前的Facial AR Remote和功能集。

　　團(tuán)隊開始著手?jǐn)U展項目，而Unity的目標(biāo)是普及開發(fā)。他們希望圍繞AR混合形狀動畫的工具和工作流程能夠比當(dāng)前的傳統(tǒng)動捕方法更容易使用和更容易獲取。Facial Remote允許他們構(gòu)建為在編輯器中迭代混合形狀(無需只是為了瀏覽手機(jī)上的網(wǎng)格變化而構(gòu)建新版本)構(gòu)建了一定的工具。這意味著用戶能夠捕捉一位演員的面部并將其記錄在Unity中。這種捕捉可用作迭代和更新角色模型的固定點，或者將動畫重新定位到另一個角色，無需重新捕捉與演員的會話。他們發(fā)現(xiàn)這個工作流程非常適用于在角色表達(dá)和改進(jìn)各個混合形狀。

　　Facial AR Remote的工作原理

　　Remote由客戶端手機(jī)應(yīng)用程序組成，其中流式讀取器充當(dāng)Unity編輯器中的服務(wù)器�？蛻舳耸且粋�輕量級應(yīng)用程序，它能夠利用ARKit的最新功能，并通過網(wǎng)絡(luò)將數(shù)據(jù)發(fā)送至Stream Reader GameObject上的Network Stream Source。借助簡單的TCP/IP socket和固定大小的字節(jié)流，他們將混合形狀，相機(jī)和頭部姿勢數(shù)據(jù)的每一幀從設(shè)備發(fā)送至編輯器。接下來，編輯器對數(shù)據(jù)流進(jìn)行解碼，并實時更新rigged角色。為了消除因網(wǎng)絡(luò)延遲引起的抖動，流式讀取器保留了歷史幀的可調(diào)緩沖區(qū)，以防編輯器落后于手機(jī)。他們發(fā)現(xiàn)這是一個重要的功能，可以保持預(yù)覽角色的流暢外觀，同時盡可能接近真正的演員姿勢。在較差的網(wǎng)絡(luò)條件下，預(yù)覽有時會出現(xiàn)丟幀情況，但所有數(shù)據(jù)仍然會記錄來自設(shè)備的原始時間戳。

　　在編輯器方面，他們使用流數(shù)據(jù)來為預(yù)覽驅(qū)動角色，以及烘焙動畫片段。由于他們將來自手機(jī)的原始數(shù)據(jù)流保存到磁盤，因此可以繼續(xù)在角色上播放數(shù)據(jù)。由于保存的數(shù)據(jù)只是來自手機(jī)的原始數(shù)據(jù)流，他們甚至可以將動作重新定位到不同的角色。當(dāng)你對數(shù)據(jù)流感到滿意時，你可以將數(shù)據(jù)流烘焙到角色的動畫片段。這很棒，因為它們可以像Unity中的任何其他動畫一樣使用你創(chuàng)作的剪輯來驅(qū)動Mecanim，Timeline的角色。

　　“Windup”動畫演示作品

　　隨著“Windop”的技術(shù)演示作品渲染完成，團(tuán)隊能夠使用這些高質(zhì)量的asset來開始他們的動畫探索。由于他們能夠相當(dāng)快速地啟動和運(yùn)行基線，他們有大量的時間來使用他們開發(fā)的工具迭代混合形狀。抖動，平滑化和形狀調(diào)整很快成為了項目的主要關(guān)注領(lǐng)域。通過計算幀速率之間的連接和幀處理中的延遲，以及從播放中移除相機(jī)移動，他們優(yōu)化了用于抖動的解決方案。移除相機(jī)移動的能力確實能令用戶專注于捕捉混合形狀，并使他們能夠?qū)⑹謾C(jī)安裝在支架上。

　　理解混合形狀并充分利用ARKit中的混合形狀錨點是最需要進(jìn)行迭代的方面。從文檔中很難理解不同形狀的細(xì)節(jié)。最終表達(dá)的大部分都來自于角色的風(fēng)格化，以及形狀如何以某種預(yù)期的方式結(jié)合在一起。他們發(fā)現(xiàn)，通過限制混合形狀變化對面部特定區(qū)域的影響，可以改善眼睛/臉頰斜視形狀和嘴部伸展等形狀。例如，臉頰斜視對下眼皮幾乎沒有影響，斜視下的眼皮對臉頰幾乎沒有影響。

　　利用Skinned Mesh Renderer中的信息來查看構(gòu)成任何幀中表達(dá)的值，然后超頻或降頻這些值確實有助于實現(xiàn)混合形狀。他們能夠快速超頻或降頻當(dāng)前的混合形狀，并且判斷混合形狀是否需要調(diào)整，以及調(diào)整的幅度。這有助于完成最困難的任務(wù)之一，亦即為正確的角色實現(xiàn)關(guān)鍵的姿勢，就像他們希望小女孩以特定的方式微笑一樣。能夠看到哪種形狀構(gòu)成一個給定的姿勢真的很有幫助。在這種情況下，是左右拉伸的數(shù)量給出了最終的形狀。他們發(fā)現(xiàn)將手機(jī)提供的形狀視為小積木很有幫助，而不是說將其視為人類可以孤立地做出的某些面部姿勢。

　　在演示作品制作的最后，他們希望進(jìn)行一項實驗來改善角色的部分動畫。借助針對ARKit混合形狀的集體智慧，他們嘗試修改角色的基本中性姿勢。由于小女孩角色的風(fēng)格化，他們認(rèn)為角色的基本姿勢令眼睛過寬，臉上的基礎(chǔ)笑容過多。斜視混合形狀的效果同樣需要更好地考慮。事實證明，當(dāng)測試中的某人閉上眼睛時，瞇眼似乎總是介于60%-70%左右。對中性姿勢的改變帶來了回報，而且隨著所有其他工作的進(jìn)行，你可以在演示作品中看到富有表現(xiàn)力和動態(tài)十足的角色。

　　未來

　　結(jié)合Facial AR Remote和Unity的其他工具，你可以無所限制地創(chuàng)建出優(yōu)秀的動畫。無論是小孩子表演，然后錄制自己喜歡的角色并與朋友和家人分享，還是游戲播客為他們的角色注入額外的生機(jī)，又或者是專業(yè)人士和業(yè)余愛好者為直播制作動畫內(nèi)容，不用多久任何人都能夠操縱數(shù)字角色。