Arm推出SME2技術(shù) 安卓手機(jī)AI性能將迎來飛躍
7月11日,芯片設(shè)計(jì)巨頭Arm公司昨日(7月10日)發(fā)布官方博文,宣布推出可擴(kuò)展矩陣擴(kuò)展2(SME2)技術(shù),旨在加速移動(dòng)設(shè)備的AI工作負(fù)載,為生成式AI應(yīng)用提供更強(qiáng)性能支持。Arm表示,該技術(shù)無需開發(fā)者修改代碼即可集成至現(xiàn)有模型和應(yīng)用中,未來將顯著提升安卓手機(jī)的AI體驗(yàn)。
隨著生成式AI的快速發(fā)展,移動(dòng)設(shè)備上的AI應(yīng)用已不再局限于傳統(tǒng)的聊天機(jī)器人或語音助手,而是擴(kuò)展到文本生成、圖像/視頻創(chuàng)作、數(shù)學(xué)推理、群聊摘要等復(fù)雜場(chǎng)景。為滿足這些需求,Arm在2022年推出的SME(可擴(kuò)展矩陣擴(kuò)展)基礎(chǔ)上,進(jìn)一步升級(jí)至SME2,專注于優(yōu)化矩陣數(shù)學(xué)運(yùn)算,以提升AI推理效率。
Arm稱,SME2能夠?qū)崿F(xiàn)移動(dòng)端的實(shí)時(shí)AI推理,包括圖片生成、自然語言處理(NLP)等任務(wù)。例如,在配備SME2的硬件上,Google的Gemma 3模型運(yùn)行速度比未搭載該技術(shù)的硬件快6倍,可在單CPU核心上1秒內(nèi)完成800字文本摘要(具體測(cè)試CPU型號(hào)未披露)。
此前,SME技術(shù)主要面向服務(wù)器和工作站級(jí)處理器,而SME2則通過優(yōu)化可擴(kuò)展性,使其能夠部署在智能手機(jī)、平板電腦和筆記本電腦上。Arm透露,安卓系統(tǒng)已全面支持SME2,該技術(shù)已在Google的XNNPACK庫中啟用,并兼容llama.cpp、阿里巴巴MNN、微軟ONNX等主流AI框架。
Arm的SME2技術(shù)有望進(jìn)一步推動(dòng)端側(cè)AI的普及,減少對(duì)云端算力的依賴,同時(shí)提升隱私性和響應(yīng)速度。隨著生成式AI向移動(dòng)端滲透,智能手機(jī)廠商可能會(huì)將SME2作為下一代旗艦芯片的重要賣點(diǎn)。