Matrix-Zero是什么？
Matrix-Zero 是昆侖萬(wàn)維發(fā)布的世界模型，包含兩款子模型：3D 場(chǎng)景生成大模型和可交互視頻生成大模型。3D 場(chǎng)景生成大模型能將圖片轉(zhuǎn)化為可自由探索的 3D 場(chǎng)景，具備全局一致性、支持不同風(fēng)格輸入、動(dòng)態(tài)場(chǎng)景生成等亮點(diǎn)。可交互視頻生成大模型則提供以用戶輸入為核心的視頻生成方案，支持實(shí)時(shí)互動(dòng)，具備精準(zhǔn)控制的 action model。該模型將推動(dòng)影視制作、游戲開(kāi)發(fā)等領(lǐng)域的創(chuàng)新，提升內(nèi)容生產(chǎn)效率。
Matrix-Zero的主要特性
Matrix-Zero包含兩款子模型：3D 場(chǎng)景生成大模型和可交互視頻生成大模型。
1、3D 場(chǎng)景生成大模型
昆侖萬(wàn)維自研的 3D 場(chǎng)景生成大模型能夠?qū)⒂脩糨斎氲膱D片轉(zhuǎn)化為可自由探索的真實(shí) 3D 場(chǎng)景。其亮點(diǎn)包括：
- 全局一致性：生成的 3D 場(chǎng)景在各個(gè)角度和位置保持一致，不會(huì)出現(xiàn)前后不一致的現(xiàn)象。
- 自由探索：支持在場(chǎng)景中進(jìn)行任意方向的長(zhǎng)距離、大范圍探索，為電影、短劇等場(chǎng)景鏡頭生成提供更多可能性。
- 風(fēng)格遷移：能夠根據(jù)輸入圖片的風(fēng)格（如卡通或?qū)憣?shí)）生成相應(yīng)風(fēng)格的 3D 場(chǎng)景，并支持風(fēng)格遷移。
- 動(dòng)態(tài)場(chǎng)景生成：可生成光照、水花、云霧等動(dòng)態(tài)效果，符合物理規(guī)律，后續(xù)可用于構(gòu)建更真實(shí)的 3D 場(chǎng)景和視頻。
該模型包含兩個(gè)核心模塊：場(chǎng)景布局生成模塊和紋理生成模塊。幾何生成模塊借助可微渲染和擴(kuò)散模型技術(shù)，創(chuàng)造出與輸入圖片一致的 3D 場(chǎng)景布局；紋理生成模塊則在用戶運(yùn)動(dòng)時(shí)不斷補(bǔ)全場(chǎng)景缺失區(qū)域，確保用戶在任何位置、任何角度都能看到合理、一致的場(chǎng)景。
2、可交互視頻生成大模型
昆侖萬(wàn)維的可交互視頻生成大模型建立在先進(jìn)的生成式視頻模型之上，結(jié)合自主研發(fā)的用戶交互模塊，實(shí)現(xiàn)以用戶輸入為核心驅(qū)動(dòng)的空間智能視頻生成方案。其特點(diǎn)包括：
- 精準(zhǔn)控制：能夠根據(jù)用戶實(shí)時(shí)輸入（如鍵盤(pán)、鼠標(biāo)操作）生成互動(dòng)視頻效果，增強(qiáng)對(duì)視頻內(nèi)容中視角移動(dòng)的精確控制。
- 多模塊支持：
- 離散運(yùn)動(dòng)控制模塊：解析用戶輸入的離散控制信號(hào)（如前進(jìn)、跳躍、后退等），轉(zhuǎn)化為運(yùn)動(dòng)軌跡，影響視頻中的對(duì)象行為。
- 連續(xù)視角控制模塊：解析鼠標(biāo)或其他輸入設(shè)備的連續(xù)控制信號(hào)，響應(yīng)實(shí)時(shí)輸入，確保視角變換的平滑性和一致性。
- 3D 場(chǎng)景位置追蹤模塊：基于三維空間定位技術(shù)，提升視角移動(dòng)時(shí)的位置穩(wěn)定性，減少畫(huà)面跳轉(zhuǎn)問(wèn)題。
- 滑動(dòng)窗口機(jī)制：引入時(shí)間序列中的歷史輸入信息，優(yōu)化控制響應(yīng)的平滑度，減少輸入延遲，提高交互流暢性。
該模型能夠高效生成高質(zhì)量的視頻內(nèi)容，確保視頻的流暢性、一致性和合理性，為虛擬環(huán)境、交互式應(yīng)用以及沉浸式體驗(yàn)提供強(qiáng)大支持。
Matrix-Zero 的應(yīng)用場(chǎng)景
- 影視制作：Matrix-Zero可用于快速生成電影、短劇等影視作品的場(chǎng)景，提升創(chuàng)作效率，減少傳統(tǒng) 3D 建模的高成本和耗時(shí)問(wèn)題。
- 游戲開(kāi)發(fā)：Matrix-Zero為 3D 游戲場(chǎng)景的快速建模提供高效解決方案，支持不同風(fēng)格的場(chǎng)景生成，提升游戲開(kāi)發(fā)的效率和質(zhì)量。
- 具身智能：Matrix-Zero可用于模擬場(chǎng)景的快速搭建，為具身智能的訓(xùn)練和測(cè)試提供虛擬環(huán)境。
- 交互式應(yīng)用：Matrix-Zero通過(guò)可交互視頻生成大模型，支持用戶實(shí)時(shí)輸入生成互動(dòng)視頻效果，可用于虛擬環(huán)境、沉浸式體驗(yàn)等場(chǎng)景，提升用戶交互的多樣性。
- 教育與培訓(xùn)：Matrix-Zero可以創(chuàng)建沉浸式的教學(xué)場(chǎng)景，支持不同風(fēng)格的場(chǎng)景生成和動(dòng)態(tài)效果，提升學(xué)習(xí)體驗(yàn)。
- 虛擬旅游：Matrix-Zero為用戶提供可自由探索的虛擬旅游場(chǎng)景，支持不同風(fēng)格的圖片輸入和風(fēng)格遷移，增強(qiáng)旅游體驗(yàn)。
如何體驗(yàn)Matrix-Zero？
據(jù)昆侖萬(wàn)維官方消息，Matrix-Zero世界模型預(yù)計(jì)4月份上線。
