PixelDance是什么？
PixelDance V1.4是ByteDance Research團(tuán)隊(duì)開發(fā)的 DiT 結(jié)構(gòu)的視頻生成大模型，同時(shí)支持文生視頻和圖生視頻，能夠一次性生成長(zhǎng)達(dá)10秒的精彩視頻片段。模型具備出色的語義理解能力，無論是復(fù)雜的故事敘述，還是細(xì)膩的情感表達(dá)，PixelDance V1.4 都能輕松應(yīng)對(duì)。模型可完成時(shí)序性多拍動(dòng)作，支持多主體復(fù)雜交互，還擁有豐富的運(yùn)鏡效果，多風(fēng)格多比例兼容性強(qiáng)，能快速生成優(yōu)質(zhì)的視頻片段，賦能影視創(chuàng)作，廣告?zhèn)髅剑桃曨l，直播，電商等多個(gè)場(chǎng)景。
PixelDance的功能特性
精準(zhǔn)的語義理解：
PixelDance 能夠理解復(fù)雜的文本提示（Prompt），實(shí)現(xiàn)多個(gè)主體間的交互和多動(dòng)作指令。例如，人物的交互、背景的動(dòng)態(tài)行為都能通過一個(gè)簡(jiǎn)單的提示完成。
- 多個(gè)主體之間的交互
- 遵從復(fù)雜prompt
- 時(shí)序性多拍動(dòng)作指令
強(qiáng)大動(dòng)態(tài)與炫酷運(yùn)鏡并存：
針對(duì)高動(dòng)態(tài)的復(fù)雜場(chǎng)景視頻，模型設(shè)計(jì)了高效的DiT融合計(jì)算單元，使生成視頻的動(dòng)作更靈動(dòng)，鏡頭更多樣，表情更豐富，細(xì)節(jié)更豐滿。支持超多鏡頭語言，靈活控制視角，帶來真實(shí)世界的體驗(yàn)。
一致性多鏡頭生成：
全新設(shè)計(jì)的擴(kuò)散模型訓(xùn)練方法使得模型具備一鍵生成故事性多鏡頭短片的能力，并且成功攻克了多鏡頭切換時(shí)一致性的技術(shù)挑戰(zhàn)，可10秒講述一個(gè)起承轉(zhuǎn)合的故事。在一個(gè)prompt內(nèi)實(shí)現(xiàn)多個(gè)鏡頭切換，同時(shí)保持主體，風(fēng)格，氛圍的一致性，讓更多用戶可以使用模型一鍵制作短片，實(shí)現(xiàn)導(dǎo)演自由。
多風(fēng)格、多比例兼容：
深度優(yōu)化后的Transformer結(jié)構(gòu)，大大提升了視頻生成的泛化能力，支持包括黑白、3d動(dòng)畫、2d動(dòng)畫、國畫、水彩、水粉等多種風(fēng)格，包含1:1、3:4、4:、16:9、9:16、21:9六個(gè)比例，帶你領(lǐng)略更自由的世界。
PixelDance的應(yīng)用場(chǎng)景
- 電商營(yíng)銷：用于制作吸引人的電商廣告視頻，展示產(chǎn)品在各種自然和現(xiàn)代設(shè)計(jì)元素中的效果。
- 動(dòng)畫教育：創(chuàng)造教育內(nèi)容，例如動(dòng)畫故事，以吸引和教育兒童。
- 城市文旅：制作旅游宣傳視頻，展示城市的自然風(fēng)光和現(xiàn)代建筑。
- 微劇本（音樂MV、微電影、短劇等）：用于創(chuàng)作音樂視頻、微電影和短劇等，通過動(dòng)態(tài)鏡頭和場(chǎng)景設(shè)計(jì)來增強(qiáng)故事表現(xiàn)力。
如何使用PixelDance？
1、個(gè)人用戶體驗(yàn)地址
PixelDance已上線到抖音旗下的即夢(mèng)AI平臺(tái)，需要申請(qǐng)測(cè)試資格。
個(gè)人用戶申請(qǐng)地址：https://bytedance.larkoffice.com/share/base/form/shrcnTPmPPxn9j6bw2AH3kdP6Fd
2、企業(yè)客戶體驗(yàn)地址
PixelDance目前已上線到字節(jié)跳動(dòng)旗下火山引擎平臺(tái)，目前免費(fèi)體驗(yàn)，每周 10 次體驗(yàn)機(jī)會(huì)，周一 00:00 自動(dòng)刷新，本次免費(fèi)體驗(yàn)有效期至2024年10月31日結(jié)束。
PixelDance體驗(yàn)地址：https://console.volcengine.com/ark/region:ark+cn-beijing/model/detail?Id=doubao-pixeldance
