En3D是什么?
En3D是由阿里巴巴智能計(jì)算研究所和北京大學(xué)合作開發(fā)的一個(gè)項(xiàng)目,它使用人工智能來從2D圖片生成3D人物模型。它不需要依賴現(xiàn)有的3D模型或真實(shí)的2D圖片作為起點(diǎn)。相反,它通過分析和學(xué)習(xí)成千上萬的合成2D圖片,來理解和重建3D人物的形狀和外觀。
En3D提供了論文和代碼,你如果感興趣,可以自己去試試。
- 項(xiàng)目:https://menyifang.github.io/projects/En3D/index.html
- 論文:http://arxiv.org/abs/2401.01173
- 代碼:https://github.com/menyifang/En3D
En3D的工作原理

En3D通過以下三個(gè)主要步驟來工作:三維生成建模(3DGM),幾何造型(GS)和顯式紋理(ET)。
- 3DGM使用合成的多樣的、平衡的和結(jié)構(gòu)化的人類圖像,具有精確的相機(jī)φ?,以學(xué)習(xí)具有基于三平面的架構(gòu)的可概括的3D人類。
- GS集成為一個(gè)優(yōu)化模塊,利用多視圖法線約束細(xì)化和雕刻幾何細(xì)節(jié)。
- ET利用UV分割和可微光柵化器來解開明確的UV紋理貼圖。不僅可以獲得多視圖渲染,還可以獲得逼真的3D模型,以獲得最終結(jié)果。
En3D可以做什么?
- 通過文本生成:可以根據(jù)描述性文本來生成特定外觀的3D人物模型。
- 通過圖像生成:可以根據(jù)現(xiàn)有的圖片來創(chuàng)建3D模型。
- 模型局部編輯:可以對生成的3D模型進(jìn)行局部編輯,比如改變服裝或面部特征。
En3D適用人群
En3D適合以下人群:
- 游戲開發(fā)者:可以用來創(chuàng)建游戲中的角色。
- 動(dòng)畫制作人:用于電影或電視節(jié)目中的動(dòng)畫角色。
- 視覺效果藝術(shù)家:在制作高質(zhì)量視覺效果時(shí)使用。
- 學(xué)生和研究人員:對3D建模和AI技術(shù)感興趣的人可以用它來學(xué)習(xí)和實(shí)驗(yàn)。
總的來說,En3D是一個(gè)強(qiáng)大的工具,它將AI和3D建模結(jié)合起來,為創(chuàng)造逼真的人物模型提供了新的可能性。
