MagicAvatar由字節跳動開發，是一款主打多模態輸入生成的多模態框架，可以將文本、視頻和音頻等不同輸入方式轉化為動作信號，從而生成和動畫化一個虛擬人物。
了解更多：https://magic-avatar.github.io/
具體來說，通過簡單的文本提示就能創建虛擬人物，也可以根據源視頻生成跟隨給定動作生產，還能對特定主題的虛擬人物進行動畫化。
比如，輸入“一個在火山里踢踏舞的宇航員”就能生成一個相應的虛擬形象。
或者直接提供一個源視頻，然后AI就會創建一個跟隨給定動作的形象。
根據字節團隊的解釋，相比以往直接從多模態輸入生成視頻，MagicAvatar獨特之處主要是將視頻生成明確分解為兩個階段。
第一階段，主要將多模態輸入（文本、視頻、語音等）轉換為表示運動的信號，如人體姿態、深度信息、DensePose等。第二階段，則是將第一階段生成的運動信號與外觀描述一起輸入到模型，然后生成視頻。
?版權聲明：如無特殊說明，本站所有內容均為AIHub.cn原創發布和所有。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。否則，我站將依法保留追究相關法律責任的權利。
