阿里AI宣布開源電影級視頻模型Wan2.2
7月29日,據(jù)報道。繼上周阿里AI三連發(fā)后,阿里又推出新的開源模型——電影級視頻生成模型通義萬相Wan2.2。Wan2.2可將光影、色彩、鏡頭語言三大電影美學元素裝進模型,隨意組合60多個直觀可控的參數(shù),大幅提升電影級畫面的制作效率。
目前,該模型單次可生成5s的高清視頻,用戶可通過多輪提示詞進一步完成短劇制作,未來通義萬相還將繼續(xù)提升單次視頻生成的時長,讓視頻創(chuàng)作更高效。
據(jù)悉,Wan2.2此次開源了文生視頻(Wan2.2-T2V-A14B)、圖生視頻(Wan2.2-I2V-A14B)和統(tǒng)一視頻生成(Wan2.2-TI2V-5B)三款模型,其中文生視頻模型和圖生視頻模型均為業(yè)界首個使用MoE架構的視頻生成模型,總參數(shù)量為27B,激活參數(shù)14B,均由高噪聲專家模型和低噪專家模型組成,分別負責視頻的整體布局和細節(jié)完善,在同參數(shù)規(guī)模下,可節(jié)省約50%的計算資源消耗,有效解決視頻生成處理Token過長導致的計算資源消耗大問題,同時在復雜運動生成、人物交互、美學表達、復雜運動等維度上也取得了顯著提升。
此外,Wan2.2還首創(chuàng)了電影美學控制系統(tǒng),光影、色彩、構圖、微表情等能力媲美專業(yè)電影水平。例如,用戶輸入黃昏、柔光、邊緣光、暖色調、中心構圖等關鍵詞,模型可自動生成金色的落日余暉的浪漫畫面;使用冷色調、硬光、平衡圖、低角度的組合,則可以生成接近科幻片的畫面效果。