Goku：港大字節(jié)推出的AI視頻生成模型

AIHubAI布道師

Goku是什么？

Goku是香港大學(xué)與字節(jié)跳動合作開發(fā)的視頻生成模型，支持文本到視頻、圖像到視頻、文本到圖像等多種生成任務(wù)。基于Rectified Flow Transformer架構(gòu)，通過多模態(tài)訓(xùn)練，Goku能夠生成自然互動的廣告視頻，顯著降低制作成本。其強大的視頻生成能力為廣告創(chuàng)作、內(nèi)容生產(chǎn)和AI研究提供了創(chuàng)新性解決方案。

Goku的主要功能

文本生成視頻：Goku能夠根據(jù)用戶提供的文本描述生成完整的視頻內(nèi)容。通過理解文本中的細節(jié)和情節(jié)，Goku將其轉(zhuǎn)化為動態(tài)視頻，適用于廣告制作、營銷視頻、短視頻創(chuàng)作等場景。這一功能使得無需拍攝即可快速生成與描述一致的視頻，極大地提升了創(chuàng)作效率。
圖像生成視頻：用戶只需提供一張靜態(tài)圖像，Goku即可基于這張圖片生成動態(tài)視頻。這一功能特別適合電商和品牌推廣，可以將產(chǎn)品圖片轉(zhuǎn)化為生動的廣告視頻，并展示產(chǎn)品的不同角度和特性，增強視覺吸引力。
文本生成圖像：除了視頻生成，Goku還支持根據(jù)文本描述生成靜態(tài)圖像。用戶輸入具體的文字信息，Goku能生成符合描述的高質(zhì)量圖像，廣泛應(yīng)用于創(chuàng)意設(shè)計、廣告、插畫等領(lǐng)域，幫助設(shè)計師快速獲取視覺素材。
高質(zhì)量生成：Goku的圖像與視頻生成效果非常真實，能夠清晰地表現(xiàn)人物情感和細節(jié)，展示出廣告產(chǎn)品的細膩質(zhì)感。

Goku的模型性能

Goku在多個視頻生成基準測試中表現(xiàn)優(yōu)異，特別是在VBench（視頻生成基準）上，Goku-T2V模型以84.85分獲得第二名，超越了許多領(lǐng)先的商業(yè)模型。具體表現(xiàn)如下：

GenEval 和 DPG-Bench：Goku在文本到圖像生成任務(wù)中，分別獲得了0.76和83.65的高分，展示了其在圖像生成領(lǐng)域的卓越性能。
VBench：Goku-T2V在VBench中的綜合得分為84.85，在多個細分指標上都表現(xiàn)突出，包括質(zhì)量評分、采樣評分、樣式一致性、背景一致性、動態(tài)度等。
超越同行：Goku-T2V的表現(xiàn)超過了許多現(xiàn)有的生成模型，如AnimateDiff-V2、VideoCrafter-2.0等，尤其在人類動作和物體關(guān)系的表現(xiàn)上，展現(xiàn)了更高的準確性和一致性。

Goku的應(yīng)用場景

廣告視頻制作：Goku可以根據(jù)文本或圖像生成廣告視頻，極大提升廣告創(chuàng)作的效率和創(chuàng)意表達。通過生成定制化的視頻內(nèi)容，品牌能夠快速制作吸引觀眾的廣告，降低傳統(tǒng)制作流程中的時間與成本。
電商與產(chǎn)品展示：在電商平臺，商家可以通過圖像生成視頻展示產(chǎn)品的各個角度與功能，幫助消費者更直觀地了解商品。Goku的圖像到視頻生成能力，能夠快速將產(chǎn)品圖像轉(zhuǎn)化為生動的展示視頻，提高用戶購買的轉(zhuǎn)化率。
內(nèi)容創(chuàng)作者與短視頻平臺：內(nèi)容創(chuàng)作者可以利用Goku將文本描述轉(zhuǎn)化為視頻內(nèi)容，提升短視頻創(chuàng)作的效率。這對于快速生成符合平臺需求的原創(chuàng)內(nèi)容，尤其是需要大量視頻生產(chǎn)的社交平臺尤為重要。
教育與培訓(xùn)：Goku可以根據(jù)教材內(nèi)容生成教學(xué)視頻，特別是在需要通過視頻講解復(fù)雜概念時。這使得教育資源更加豐富且易于傳播，尤其是在在線教育和遠程培訓(xùn)中，能夠幫助學(xué)習(xí)者更好地理解學(xué)習(xí)內(nèi)容。
虛擬現(xiàn)實與游戲開發(fā)：Goku的多模態(tài)生成能力，也可應(yīng)用于虛擬現(xiàn)實和游戲開發(fā)中，通過生成場景、角色互動視頻來創(chuàng)建沉浸式的虛擬體驗，為玩家和用戶提供更加生動的交互內(nèi)容。
影視制作與動畫創(chuàng)作：Goku能夠根據(jù)腳本或場景描述生成完整的動畫視頻，減少傳統(tǒng)影視制作中的復(fù)雜和高成本環(huán)節(jié)。動畫工作室和影視制作團隊可以使用Goku來快速實現(xiàn)創(chuàng)意構(gòu)思的可視化。

如何體驗Goku？

Goku團隊目前開放了論文，放出了大量視頻demo，感興趣可以前往看看。

項目主頁：https://saiyan-world.github.io/goku/
技術(shù)報告：https://arxiv.org/abs/2502.04896
GitHub：https://github.com/Saiyan-World/goku

?版權(quán)聲明：如無特殊說明，本站所有內(nèi)容均為AIHub.cn原創(chuàng)發(fā)布和所有。任何個人或組織，在未征得本站同意時，禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺。否則，我站將依法保留追究相關(guān)法律責(zé)任的權(quán)利。