DreaMoving是什么？
DreaMoving是一個基于擴散模型的可控視頻生成框架，專門用于生成高質量的定制化人類視頻。具體來說，DreaMoving可以根據目標身份和姿勢序列生成目標身份在任何地方跳舞的視頻。為此，DreaMoving提出了一個用于運動控制的視頻控制網（Video ControlNet）和一個用于身份保持的內容引導器（Content Guider）。這個模型易于使用，并且可以適應大多數風格化的擴散模型，以生成多樣化的結果。
DreaMoving官網演示視頻：
DreaMoving可以做什么？
DreaMoving能夠根據指導序列和簡單的內容描述（如文本和參考圖像）生成高質量、高保真度的視頻。具體來說，DreaMoving在身份控制方面表現出色，通過面部參考圖像進行精確的運動操控，并通過特定的文本提示進行全面的視頻外觀控制。它的視頻控制網處理控制序列（姿勢或深度）以產生額外的時間殘差，而去噪U-Net是一個派生的穩定擴散U-Net，帶有用于視頻生成的運動塊。內容引導器將輸入的文本提示和外觀表達（如人臉，衣服可選）轉換為交叉注意力的內容嵌入。
DreaMoving的使用場景
1. 影視制作中的角色替換
在影視制作中，DreaMoving可以用于創建或替換特定場景中的角色。例如，如果需要在一個場景中添加一個未能到場的演員，可以使用DreaMoving根據該演員的面部參考和預設的姿勢序列生成視頻，從而在不需要實際演員到場的情況下完成拍攝。
2. 虛擬時尚展示
時尚設計師可以使用DreaMoving來展示他們的服裝設計。通過輸入模特的參考圖像和一系列動作姿勢，設計師可以創建一個虛擬模特在不同環境中展示服裝的視頻，這對于線上時尚展或虛擬試衣非常有用。
3. 個性化視頻內容創作
內容創作者可以利用DreaMoving來制作個性化視頻。例如，一個旅游博主可以創建一個系列視頻，展示自己在世界各地的不同地標前跳舞或進行其他活動，即使他們實際上沒有訪問所有這些地方。
4. 教育和培訓
在教育和培訓領域，DreaMoving可以用來創建教學視頻，其中教師或講師的動作和表情可以根據需要進行調整，以更好地傳達信息或展示特定的教學內容。
5. 虛擬現實和游戲
在虛擬現實和游戲開發中，DreaMoving可以用來生成角色的動作和互動，提供更加逼真和個性化的用戶體驗。開發者可以根據游戲的情節和環境需求，快速生成各種角色動作。
6. 藝術創作和展覽
藝術家可以使用DreaMoving來創作新穎的視頻藝術作品。通過結合不同的文本提示和參考圖像，藝術家可以創造出獨特的視覺表現，用于展覽或數字藝術項目。
這些示例展示了DreaMoving在多個領域的廣泛應用潛力，特別是在需要高度定制化和創意表達的場合。
如何使用DreaMoving？
- DreaMoving項目地址：https://dreamoving.github.io/dreamoving/
- DreaMoving體驗地址：https://www.modelscope.cn/studios/vigen/video_generation/summary
