Loopy是什么？

Loopy是由字節跳動和浙江大學團隊聯合開發的基于音頻驅動的AI人像視頻生成模型，無需使用復雜的空間運動模板，只需一幀圖像和音頻輸入，即可捕捉長時間的自然運動模式，使虛擬人物的動作與音頻的情感和節奏精準匹配，生成逼真的虛擬人物動態效果，解決了傳統虛擬形象中畫面和聲音不同步的問題。

Loopy的功能特性

• 音頻驅動的動態生成：通過音頻輸入生成虛擬人物的動作，包括頭部、眼睛、眉毛等微表情，能夠完美適應不同的音頻風格。
• 多樣化動作生成：支持根據不同的音頻輸入生成同一參考圖像的多樣化動作效果，從快速動態到柔和表現不一而足。
• 面部情感同步：Loopy 能夠生成包括嘆息等非語言的情感動作，確保虛擬人物的情感表達與音頻內容一致。
• 適應各種視覺風格：Loopy 可以處理不同角度的圖像，甚至是側面圖像，生成的虛擬形象自然流暢，真實感極強。
• 無需空間運動模板：與傳統方法不同，Loopy 不需要使用手動指定的運動模板，直接通過音頻進行自然的動作生成。

Loopy的使用場景

• 虛擬主播和虛擬偶像：在虛擬主播或虛擬偶像的場景下，Loopy 可以根據主播的聲音生成與其匹配的動畫，使虛擬角色更加生動逼真。
• 電影和動畫制作：電影或動畫制作中，Loopy 可以減少手動動畫制作的工作量，通過音頻輸入生成自然的面部表情和動作，提升制作效率。
• 內容創作與短視頻制作：創作者可以利用 Loopy 為短視頻或其他內容生成個性化的虛擬人物動畫，節省時間并豐富創作表達。
• 游戲角色動畫：游戲中的角色可以通過 Loopy 生成音頻驅動的動作和表情，大幅提升角色互動的自然感和玩家的沉浸感。
• 虛擬會議和社交場景：在視頻會議或虛擬社交平臺上，Loopy 可以為用戶提供真實感更強的虛擬形象，自動根據音頻生成動作，增強互動體驗。
• 教育和在線培訓：Loopy 可以為在線教育平臺提供虛擬教師形象，使教師的音頻講解與虛擬形象的動作自然同步，提升教學效果。

Loopy 廣泛適用于需要音頻與虛擬形象動作同步的各種場景，為內容創作者和企業提供高效且逼真的動畫生成解決方案。

如何使用Loopy？

Loopy目前開放了論文，提供了大量演示視頻，暫未對外開放使用，相關地址如下：

• Loopy項目地址：https://loopyavatar.github.io/
• Loopy論文地址：https://arxiv.org/pdf/2409.02634

?版權聲明：如無特殊說明，本站所有內容均為AIHub.cn原創發布和所有。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。否則，我站將依法保留追究相關法律責任的權利。