高通AI200與AI250芯片以尖端能效實(shí)現(xiàn)更快速、低成本的生成式AI推理。

高通技術(shù)公司正式推出新一代面向推理場(chǎng)景優(yōu)化的解決方案 —— AI200與AI250加速卡及機(jī)架系統(tǒng)，此舉或?qū)⒅厮軘?shù)據(jù)中心AI性能的未來(lái)格局。該系列產(chǎn)品標(biāo)志著高通在向全球企業(yè)提供可擴(kuò)展、高能效、高性能生成式AI能力的進(jìn)程中實(shí)現(xiàn)重大飛躍。基于其在神經(jīng)處理單元（NPU）領(lǐng)域的技術(shù)優(yōu)勢(shì)，新平臺(tái)以卓越內(nèi)存容量實(shí)現(xiàn)機(jī)架級(jí)性能。

高通明確表示，其目標(biāo)是在現(xiàn)代AI基礎(chǔ)設(shè)施的關(guān)鍵指標(biāo) —— 每美元每瓦特性能上實(shí)現(xiàn)突破，以提供快速、經(jīng)濟(jì)的生成式AI推理解決方案。

規(guī)?；?qū)動(dòng)生成式AI

本次發(fā)布的核心產(chǎn)品AI200是專為大規(guī)模語(yǔ)言與多模態(tài)模型工作負(fù)載優(yōu)化的機(jī)架級(jí)AI推理解決方案。每張AI200加速卡支持高達(dá)768GB的LPDDR內(nèi)存，為應(yīng)對(duì)海量AI推理需求提供高度可擴(kuò)展性與靈活性。通過(guò)降低總擁有成本（TCO），高通旨在讓數(shù)據(jù)中心以更低門檻部署生成式AI模型，同時(shí)保障卓越能效。

AI250則進(jìn)一步突破極限，首次采用新型近存計(jì)算架構(gòu)。高通宣稱該架構(gòu)可提供超過(guò)10倍的有效內(nèi)存帶寬，并顯著降低功耗。這項(xiàng)創(chuàng)新支持分解式AI推理，使硬件在滿足嚴(yán)苛性能與成本要求的同時(shí)實(shí)現(xiàn)更高效利用。兩款機(jī)架解決方案均采用直接液冷散熱設(shè)計(jì)，配備PCIe縱向擴(kuò)展與以太網(wǎng)橫向擴(kuò)展接口。160kW的機(jī)架級(jí)功耗設(shè)計(jì)，彰顯高通在提供超大規(guī)模級(jí)性能時(shí)對(duì)可持續(xù)性與運(yùn)營(yíng)優(yōu)化的雙重關(guān)注。

無(wú)縫集成設(shè)計(jì)理念

高通技術(shù)公司技術(shù)規(guī)劃、邊緣解決方案與數(shù)據(jù)中心業(yè)務(wù)高級(jí)副總裁杜爾加·馬拉迪表示：“通過(guò)AI200與AI250，我們正在重新定義機(jī)架級(jí)AI推理的邊界。這些創(chuàng)新AI基礎(chǔ)設(shè)施解決方案使客戶能夠以前所未有的總擁有成本部署生成式AI，同時(shí)滿足現(xiàn)代數(shù)據(jù)中心對(duì)靈活性與安全性的需求。”他補(bǔ)充道，高通豐富的軟件棧與開放生態(tài)支持將幫助開發(fā)者和企業(yè)更輕松地集成、管理及擴(kuò)展已訓(xùn)練的AI模型。該平臺(tái)支持主流AI框架并提供一鍵模型部署功能，實(shí)現(xiàn)“無(wú)縫適配與快速創(chuàng)新”。

端到端AI軟件棧

高通的超大規(guī)模級(jí)AI軟件棧為硬件提供底層支撐，提供從應(yīng)用層到系統(tǒng)軟件層的端到端支持。該軟件棧針對(duì)主流機(jī)器學(xué)習(xí)框架、生成式AI平臺(tái)及推理引擎進(jìn)行深度優(yōu)化。開發(fā)者可通過(guò)高通高效Transformer庫(kù)與AI推理套件，直接部署Hugging Face模型。這些工具專為通過(guò)即用型應(yīng)用、智能體與API實(shí)現(xiàn)AI業(yè)務(wù)化部署而設(shè)計(jì)。

據(jù)悉，AI200預(yù)計(jì)將于2026年投入商用，AI250則計(jì)劃于2027年跟進(jìn)。高通表示將保持?jǐn)?shù)據(jù)中心產(chǎn)品的年度更新節(jié)奏，持續(xù)聚焦AI推理領(lǐng)域的性能提升、能效優(yōu)化與技術(shù)革新。此次發(fā)布使高通正式加入快速演進(jìn)的AI硬件競(jìng)賽，彰顯其立志成為生成式AI基礎(chǔ)設(shè)施時(shí)代領(lǐng)導(dǎo)力量的決心。

如果朋友們喜歡，敬請(qǐng)關(guān)注“知新了了”！