【11月5日華為宣布AI推理加速關(guān)鍵技術(shù)UCM開(kāi)源】
11月5日，華為數(shù)據(jù)存儲(chǔ)宣布，針對(duì)AI推理加速的關(guān)鍵技術(shù)——UCM推理記憶數(shù)據(jù)管理正式開(kāi)源。華為介紹，UCM目前具備稀疏注意力、前綴緩存、預(yù)填充卸載、異構(gòu)PD解耦四大能力。該技術(shù)能實(shí)現(xiàn)首Token時(shí)延最高降低90%，系統(tǒng)吞吐最大提升22倍，還可達(dá)到10倍級(jí)上下文窗口擴(kuò)展。
本文由 AI 算法生成，僅作參考，不涉投資建議，使用風(fēng)險(xiǎn)自擔(dān)
本文來(lái)自和訊財(cái)經(jīng)，更多精彩資訊請(qǐng)下載“和訊財(cái)經(jīng)”APP
全部評(píng)論 （0）