Stable Video 3D是什么?
Stable Video 3D是一個由Stability AI 推出的3D技術模型,能夠從單張圖片生成高質量的多視角3D內容和視頻。Stable Video 3D包含兩個變體,SV3D_u和SV3D_p,分別用于生成軌道視頻和沿指定相機路徑的3D視頻。
Stable Video 3D 的優勢在于其能夠通過視頻擴散模型生成對象的多視角視頻,相比 Stable Zero123 使用的圖像擴散模型,提供了更好的泛化能力和生成輸出的視圖一致性。
Stable Video 3D的主要特性
Stable Video 3D的主要特性包括:
- 多視角生成:能夠從單張圖片生成對象的多視角視頻,提供更加豐富的3D視圖體驗。
- 兩種變體:
- SV3D_u:生成基于單張圖片輸入的軌道視頻,無需相機條件設置。
- SV3D_p:支持單張圖片和軌道視圖,允許創建沿指定相機路徑的3D視頻。
- 改進的3D優化:利用視頻擴散模型的能力,提出了改進的3D優化技術,能夠生成圍繞對象的任意軌道。
- 解耦的照明優化:通過分離照明優化,提高3D模型的真實感。
- 新的掩蔽分數蒸餾采樣損失函數:這一技術使得Stable Video 3D能夠從單張圖片輸入可靠地輸出高質量的3D網格。
- 新視角合成(NVS):在3D生成方面,Stable Video 3D引入了顯著的NVS進步,能夠從任何角度提供一致的視圖,增強了姿態控制性和對象在多個視圖中的一致性。
這些特性共同使得Stable Video 3D成為一個強大的工具,用于創造高質量的3D內容和視頻,適用于多種應用場景。
如何使用Stable Video 3D?
Stable Video 3D 目前可以用于商業目的,需要通過 Stability AI Membership 訪問。非商業用途的用戶可以在 Hugging Face 上下載模型權重,并查看相關的研究論文。
