PortraitGen是什么？

PortraitGen是由中國科學技術大學開發的AI人像視頻編輯工具，它可以將2D人像視頻提升為4D高斯場，實現高質量的3D一致性和時間一致性的視頻編輯。該工具能夠通過多種輸入方式（如文本或圖像）編輯視頻中的人像，廣泛應用于影視制作、廣告創作、虛擬形象定制等領域。

PortraitGen的主要功能

• 多模態人像編輯：PortraitGen提供了文本驅動和圖像驅動兩種編輯模式，使用戶能夠靈活地編輯視頻中的人像。在文本驅動模式下，用戶可以通過輸入文字描述來指定人物的動作、表情以及場景的變化。而在圖像驅動模式下，用戶則可以利用參考圖像來實現風格轉換或進行虛擬試穿等操作，從而創造出個性化和多樣化的視頻內容。
• 光照調節（Relighting）：PortraitGen利用IC-Light技術，基于文本描述動態調整視頻中的光照效果，使光照與場景自然融合。
• 人臉感知編輯：PortraitGen通過面部感知編輯模塊，確保在視頻編輯過程中，保留人物的面部結構和個性化特征。該功能還能優化人物的表情和面部動作的自然性和一致性。
• 風格轉換與虛擬試穿：PortraitGen支持風格轉換和虛擬試穿，用戶可以通過參考圖像實現全局風格的遷移（如轉換為動畫風格），或為視頻中的人物添加虛擬服裝等物品，應用于時尚廣告或虛擬服裝試穿場景。
• 多鏡頭和復雜場景處理：PortraitGen能夠處理多鏡頭視頻，保持風格、人物一致性，并且可以通過高斯紋理技術實現復雜風格的視頻渲染，如樂高風格或像素藝術風格。
• 快速生成與高幀率輸出：PortraitGen 能夠在短時間內完成編輯，生成視頻時支持高達100幀每秒（FPS）的渲染速度，適合用于高效視頻制作場景。

PortraitGen的適用人群

• 影視制作與后期編輯人員：PortraitGen 提供的多模態視頻編輯功能適用于影視制作團隊，能夠快速調整視頻中的人物行為、場景和光照等，提升視頻后期制作效率。
• 廣告創意團隊：廣告創作人員可以使用該工具為廣告中的人物進行風格轉換、虛擬試穿等操作，從而快速生成創意廣告內容。
• 虛擬形象和游戲開發者：PortraitGen 的人臉感知技術和個性化定制功能適合用于虛擬形象的創建和個性化調整，特別是在游戲角色設計、虛擬主播和虛擬現實（VR）場景中。
• 時尚行業從業者：時尚設計師和電商平臺可以利用 PortraitGen 的虛擬試穿功能，在虛擬環境中展示服裝、配飾等產品，從而為客戶提供沉浸式購物體驗。
• 多媒體藝術創作者：對于從事多媒體藝術創作的設計師，PortraitGen 能夠提供高效的風格轉換和視頻編輯功能，幫助他們將創意快速實現為藝術作品。

如何使用PortraitGen？

中科大團隊對外開放了PortraitGen的論文和代碼，鏈接如下：

• PortraitGen項目主頁：https://ustc3dv.github.io/PortraitGen/
• PortraitGen論文地址：https://arxiv.org/abs/2409.13591
• PortraitGen GitHub地址：https://github.com/USTC3DV/PortraitGen-code

?版權聲明：如無特殊說明，本站所有內容均為AIHub.cn原創發布和所有。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。否則，我站將依法保留追究相關法律責任的權利。