昆侖萬維發布并開源 Matrix-Game 2.0、Matrix-3D 模型
8月12日,昆侖萬維 “SkyWork AI 技術發布周” 已于 8 月 11 日正式開啟,將連續五天發布覆蓋多模態 AI 核心場景的自研模型。今日,昆侖萬維帶來了自研世界模型 Matrix 系列的重要升級版本——Matrix-Game 2.0,并宣布該模型全面開源,成為業內首個在通用場景下實現實時長序列交互生成的世界模型開源方案。
據介紹,Matrix-Game 2.0 在實時生成與長序列能力上實現了“質的飛躍”,專注于低延遲、高幀率的交互性能,能夠在復雜多樣的虛擬場景中以 25 FPS 的速度穩定生成連續視頻內容,生成時長可擴展至分鐘級。相較上一版本,新模型在連貫性與實用性上顯著提升,同時保持了對物理規律與場景語義的精準理解,用戶可通過簡單指令自由探索、操控并實時構建結構清晰、細節豐富且規則合理的虛擬環境。
在同日發布中,昆侖萬維還宣布開源 Matrix-3D 大模型,該模型可從單張圖像生成高質量、軌跡一致的全景視頻,并直接還原可漫游的三維空間,對標李飛飛團隊 WorldLabs 的生成效果,支持更大范圍的虛擬世界探索。
Matrix-3D 包含三大核心模塊:軌跡引導的全景視頻生成:以場景 Mesh 渲染圖為條件輸入,結合視頻擴散模型生成符合給定相機軌跡的全景視頻,顯著改善空間結構一致性,減少遮擋與偽影。雙路徑全景 3D 重建:提供超分與 3DGS 優化路徑,以及基于 Transformer 的前饋網絡路徑,可在保證精度的同時快速預測 3D 幾何屬性,實現高效重建。Matrix-Pano 數據集:包含 11.6 萬條帶有相機軌跡、深度圖與文本注釋的靜態全景視頻序列,為模型訓練提供大規模高質量數據支撐。
隨著 Matrix-Game 2.0 與 Matrix-3D 的開源,昆侖萬維在交互式世界模型與三維生成領域的技術布局進一步加速,也為實時虛擬世界構建、AI 游戲內容生成等應用打開了更大想象空間。