PortraitGen是什么？
PortraitGen是由中國科學(xué)技術(shù)大學(xué)開發(fā)的AI人像視頻編輯工具，它可以將2D人像視頻提升為4D高斯場，實現(xiàn)高質(zhì)量的3D一致性和時間一致性的視頻編輯。該工具能夠通過多種輸入方式（如文本或圖像）編輯視頻中的人像，廣泛應(yīng)用于影視制作、廣告創(chuàng)作、虛擬形象定制等領(lǐng)域。
PortraitGen的主要功能
- 多模態(tài)人像編輯：PortraitGen提供了文本驅(qū)動和圖像驅(qū)動兩種編輯模式，使用戶能夠靈活地編輯視頻中的人像。在文本驅(qū)動模式下，用戶可以通過輸入文字描述來指定人物的動作、表情以及場景的變化。而在圖像驅(qū)動模式下，用戶則可以利用參考圖像來實現(xiàn)風(fēng)格轉(zhuǎn)換或進行虛擬試穿等操作，從而創(chuàng)造出個性化和多樣化的視頻內(nèi)容。
- 光照調(diào)節(jié)（Relighting）：PortraitGen利用IC-Light技術(shù)，基于文本描述動態(tài)調(diào)整視頻中的光照效果，使光照與場景自然融合。
- 人臉感知編輯：PortraitGen通過面部感知編輯模塊，確保在視頻編輯過程中，保留人物的面部結(jié)構(gòu)和個性化特征。該功能還能優(yōu)化人物的表情和面部動作的自然性和一致性。
- 風(fēng)格轉(zhuǎn)換與虛擬試穿：PortraitGen支持風(fēng)格轉(zhuǎn)換和虛擬試穿，用戶可以通過參考圖像實現(xiàn)全局風(fēng)格的遷移（如轉(zhuǎn)換為動畫風(fēng)格），或為視頻中的人物添加虛擬服裝等物品，應(yīng)用于時尚廣告或虛擬服裝試穿場景。
- 多鏡頭和復(fù)雜場景處理：PortraitGen能夠處理多鏡頭視頻，保持風(fēng)格、人物一致性，并且可以通過高斯紋理技術(shù)實現(xiàn)復(fù)雜風(fēng)格的視頻渲染，如樂高風(fēng)格或像素藝術(shù)風(fēng)格。
- 快速生成與高幀率輸出：PortraitGen 能夠在短時間內(nèi)完成編輯，生成視頻時支持高達100幀每秒（FPS）的渲染速度，適合用于高效視頻制作場景。
PortraitGen的適用人群
- 影視制作與后期編輯人員：PortraitGen 提供的多模態(tài)視頻編輯功能適用于影視制作團隊，能夠快速調(diào)整視頻中的人物行為、場景和光照等，提升視頻后期制作效率。
- 廣告創(chuàng)意團隊：廣告創(chuàng)作人員可以使用該工具為廣告中的人物進行風(fēng)格轉(zhuǎn)換、虛擬試穿等操作，從而快速生成創(chuàng)意廣告內(nèi)容。
- 虛擬形象和游戲開發(fā)者：PortraitGen 的人臉感知技術(shù)和個性化定制功能適合用于虛擬形象的創(chuàng)建和個性化調(diào)整，特別是在游戲角色設(shè)計、虛擬主播和虛擬現(xiàn)實（VR）場景中。
- 時尚行業(yè)從業(yè)者：時尚設(shè)計師和電商平臺可以利用 PortraitGen 的虛擬試穿功能，在虛擬環(huán)境中展示服裝、配飾等產(chǎn)品，從而為客戶提供沉浸式購物體驗。
- 多媒體藝術(shù)創(chuàng)作者：對于從事多媒體藝術(shù)創(chuàng)作的設(shè)計師，PortraitGen 能夠提供高效的風(fēng)格轉(zhuǎn)換和視頻編輯功能，幫助他們將創(chuàng)意快速實現(xiàn)為藝術(shù)作品。
如何使用PortraitGen？
中科大團隊對外開放了PortraitGen的論文和代碼，鏈接如下：
- PortraitGen項目主頁：https://ustc3dv.github.io/PortraitGen/
- PortraitGen論文地址：https://arxiv.org/abs/2409.13591
- PortraitGen GitHub地址：https://github.com/USTC3DV/PortraitGen-code
?版權(quán)聲明：如無特殊說明，本站所有內(nèi)容均為AIHub.cn原創(chuàng)發(fā)布和所有。任何個人或組織，在未征得本站同意時，禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺。否則，我站將依法保留追究相關(guān)法律責(zé)任的權(quán)利。
