近年來,人們制作的動物和人物動畫已經越來越逼真。盡管如此,由于需要將音頻和視頻相結合,角色說話時的動作仍然不夠自然。
過去的研究發現,人們說話時的頭部運動與其聲音的音調和振幅之間有很強的關聯性。這些發現啟發了印度的一個計算機科學家團隊。因此,他們基于一種機器學習算法——生成對抗網絡(GAN)——的架構,創建了一個新模型,可以有效地為動畫人物的臉部生成逼真的動畫。
該模型可以識別說話者正在談論的內容,以及他/她在特定時間的語音語調,隨后使用這些信息來產生匹配的臉部運動。
研究人員補充說:“我們的工作離實現更逼真的動畫邁進了一步。此外,該方法可以轉化為多種現實應用,如數字助理、視頻配音或遠程呈現。”
該研究論文題為"Speech-driven facial animation using cascaded GANs for learning of motion and texture",已發表在European Conference on Computer Vision期刊上。
前瞻經濟學人APP資訊組
論文原文:https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123750409.pdf
從學術到產業,更多相關數據請參考前瞻產業研究院《2021-2026年中國動漫產業發展前景預測與投資戰略規劃分析報告》。同時前瞻產業研究院還提供產業大數據、產業研究、產業鏈咨詢、產業圖譜、產業規劃、園區規劃、產業招商引資、IPO募投可研、IPO業務與技術撰寫、IPO工作底稿咨詢等解決方案。