Muse 是什么?
Muse 是微軟發(fā)布的首個(gè)專為游戲創(chuàng)意設(shè)計(jì)的生成式AI模型,基于大規(guī)模玩家數(shù)據(jù)訓(xùn)練,能夠生成連貫、多樣化的游戲視覺效果和控制器操作。它支持多模態(tài)生成,可快速生成游戲原型,助力開發(fā)者探索新玩法。微軟開源了Muse的權(quán)重和樣本數(shù)據(jù),并提供WHAM Demonstrator供開發(fā)者實(shí)驗(yàn),推動(dòng)生成式AI在游戲行業(yè)的應(yīng)用與發(fā)展。
Muse 的主要特性
- 高效生成游戲內(nèi)容:Muse能夠基于極少量的輸入(如10幀游戲畫面,相當(dāng)于1秒的游戲視頻)和控制器操作,生成連貫的游戲視覺效果和控制器動(dòng)作。
- 強(qiáng)大的3D游戲世界理解能力:該模型經(jīng)過大規(guī)模人類游戲數(shù)據(jù)訓(xùn)練(超過10億張圖片和手柄動(dòng)作,相當(dāng)于7年的人類游戲時(shí)長(zhǎng)),能夠深度理解游戲物理規(guī)則和玩家操作的反應(yīng)。
- 高度一致性和多樣性:Muse生成的游戲畫面和玩法序列在一致性(保持游戲物理規(guī)則)和多樣性(不同初始條件生成多種玩法)方面表現(xiàn)出色。
- 實(shí)時(shí)交互與創(chuàng)意支持:開發(fā)者可以通過WHAM Demonstrator界面和Xbox手柄實(shí)時(shí)控制角色,Muse會(huì)根據(jù)操作生成相應(yīng)的后續(xù)內(nèi)容,極大地拓展了創(chuàng)意空間。
- 開源與社區(qū)支持:微軟開源了Muse的權(quán)重、樣本數(shù)據(jù)和WHAM Demonstrator,供開發(fā)者在Azure AI Foundry上學(xué)習(xí)和實(shí)驗(yàn),推動(dòng)技術(shù)的廣泛應(yīng)用。
- 多學(xué)科合作與用戶驅(qū)動(dòng)設(shè)計(jì):Muse由微軟研究團(tuán)隊(duì)與Xbox Games Studios的Ninja Theory團(tuán)隊(duì)合作開發(fā),從游戲創(chuàng)作者的需求出發(fā),確保技術(shù)能夠真正服務(wù)于游戲創(chuàng)意。
Muse 的應(yīng)用場(chǎng)景
- 游戲創(chuàng)意與原型開發(fā):Muse能夠基于一張游戲截圖或簡(jiǎn)短的初始畫面,快速生成多個(gè)可能的后續(xù)游戲場(chǎng)景。開發(fā)者可以通過Xbox手柄實(shí)時(shí)控制角色,Muse會(huì)根據(jù)操作生成相應(yīng)的后續(xù)內(nèi)容,極大地提升了游戲創(chuàng)意構(gòu)思和原型開發(fā)的效率。
- 經(jīng)典游戲復(fù)活與優(yōu)化:Muse可用于優(yōu)化經(jīng)典游戲,使其適應(yīng)現(xiàn)代設(shè)備。通過分析大量老游戲數(shù)據(jù),Muse能夠提取游戲精華并提供優(yōu)化建議,幫助經(jīng)典游戲在新平臺(tái)上順利運(yùn)行。
- 游戲測(cè)試與內(nèi)容生成:Muse能夠生成復(fù)雜的游戲玩法序列,支持開發(fā)者快速生成多樣化的游戲場(chǎng)景和角色動(dòng)作。這不僅有助于游戲測(cè)試,還能為游戲開發(fā)者提供豐富的創(chuàng)意靈感。
- 實(shí)時(shí)交互與創(chuàng)意支持:通過WHAM Demonstrator界面,開發(fā)者可以實(shí)時(shí)與Muse交互,探索不同的游戲創(chuàng)意。這種實(shí)時(shí)交互能力為游戲開發(fā)提供了更大的靈活性。
如何使用Muse ?
微軟已開源Muse的權(quán)重、樣本數(shù)據(jù)和WHAM Demonstrator,開發(fā)者可以在Azure AI Foundry上訪問和使用這些資源。
- 模型:https://huggingface.co/microsoft/wham
- 論文:https://www.nature.com/articles/s41586-025-08600-3
- 樣本數(shù)據(jù):https://huggingface.co/datasets/microsoft/bleeding-edge-gameplay-sample
- 官方博客:https://www.microsoft.com/en-us/research/blog/introducing-muse-our-first-generative-ai-model-designed-for-gameplay-ideation/
