PixelDance是什么?
PixelDance V1.4是ByteDance Research團隊開發的 DiT 結構的視頻生成大模型,同時支持文生視頻和圖生視頻,能夠一次性生成長達10秒的精彩視頻片段。模型具備出色的語義理解能力,無論是復雜的故事敘述,還是細膩的情感表達,PixelDance V1.4 都能輕松應對。模型可完成時序性多拍動作,支持多主體復雜交互,還擁有豐富的運鏡效果,多風格多比例兼容性強,能快速生成優質的視頻片段,賦能影視創作,廣告傳媒,短視頻,直播,電商等多個場景。
PixelDance的功能特性
精準的語義理解:
PixelDance 能夠理解復雜的文本提示(Prompt),實現多個主體間的交互和多動作指令。例如,人物的交互、背景的動態行為都能通過一個簡單的提示完成。
- 多個主體之間的交互
- 遵從復雜prompt
- 時序性多拍動作指令
強大動態與炫酷運鏡并存:
針對高動態的復雜場景視頻,模型設計了高效的DiT融合計算單元,使生成視頻的動作更靈動,鏡頭更多樣,表情更豐富,細節更豐滿。支持超多鏡頭語言,靈活控制視角,帶來真實世界的體驗。
一致性多鏡頭生成:
全新設計的擴散模型訓練方法使得模型具備一鍵生成故事性多鏡頭短片的能力,并且成功攻克了多鏡頭切換時一致性的技術挑戰,可10秒講述一個起承轉合的故事。在一個prompt內實現多個鏡頭切換,同時保持主體,風格,氛圍的一致性,讓更多用戶可以使用模型一鍵制作短片,實現導演自由。
多風格、多比例兼容:
深度優化后的Transformer結構,大大提升了視頻生成的泛化能力,支持包括黑白、3d動畫、2d動畫、國畫、水彩、水粉等多種風格,包含1:1、3:4、4:、16:9、9:16、21:9六個比例,帶你領略更自由的世界。

PixelDance的應用場景
- 電商營銷:用于制作吸引人的電商廣告視頻,展示產品在各種自然和現代設計元素中的效果。
- 動畫教育:創造教育內容,例如動畫故事,以吸引和教育兒童。
- 城市文旅:制作旅游宣傳視頻,展示城市的自然風光和現代建筑。
- 微劇本(音樂MV、微電影、短劇等):用于創作音樂視頻、微電影和短劇等,通過動態鏡頭和場景設計來增強故事表現力。

如何使用PixelDance?
1、個人用戶體驗地址
PixelDance已上線到抖音旗下的即夢AI平臺,需要申請測試資格。
個人用戶申請地址:https://bytedance.larkoffice.com/share/base/form/shrcnTPmPPxn9j6bw2AH3kdP6Fd
2、企業客戶體驗地址
PixelDance目前已上線到字節跳動旗下火山引擎平臺,目前免費體驗,每周 10 次體驗機會,周一 00:00 自動刷新,本次免費體驗有效期至2024年10月31日結束。
PixelDance體驗地址:https://console.volcengine.com/ark/region:ark+cn-beijing/model/detail?Id=doubao-pixeldance

