趨勢丨AI推理的未來方向是全系統(tǒng)運(yùn)算解決方案
前言:
4月初,AI基礎(chǔ)設(shè)施領(lǐng)域出現(xiàn)了一筆引人注目的收購。生成式AI推理計算先驅(qū)d-Matrix宣布收購加州卡爾斯巴德GigaIO公司的數(shù)據(jù)中心業(yè)務(wù)。雙方合作始于2025年,彼時d-Matrix將Corsair推理平臺集成至GigaIO的SuperNODE架構(gòu),打造了單節(jié)點支持?jǐn)?shù)十個Corsair加速器的超大規(guī)模方案。
如今,這筆交易將GigaIO的FabreX PCIe內(nèi)存結(jié)構(gòu)與SuperNODE平臺完整納入d-Matrix的產(chǎn)品版圖。創(chuàng)始人兼CEO Sid Sheth對此的定位極為清晰——“推理大于任何單一芯片,它現(xiàn)在是一個系統(tǒng)問題。”
作者 | 方文三
圖片來源 | 網(wǎng) 絡(luò)
從單一芯片到機(jī)架級基礎(chǔ)設(shè)施
什么是“全系統(tǒng)運(yùn)算解決方案”?它意味著AI推理的競爭不再圍繞單一芯片的算力參數(shù)展開,而是轉(zhuǎn)向覆蓋加速器、網(wǎng)絡(luò)、內(nèi)存互聯(lián)、軟件棧乃至整個機(jī)架的端到端能力。這起收購建立在雙方始于2025年的合作基礎(chǔ)上,旨在增強(qiáng)d-Matrix提供系統(tǒng)級AI基礎(chǔ)設(shè)施而非離散硅片的能力。
GigaIO開發(fā)的可組合基礎(chǔ)設(shè)施FabreX,基于PCIe標(biāo)準(zhǔn)的可組合內(nèi)存結(jié)構(gòu),支持跨節(jié)點構(gòu)建解耦的計算與內(nèi)存池,能在機(jī)架或集群級別進(jìn)行動態(tài)配置。這項技術(shù)與d-Matrix原有的Corsair推理加速器、JetStream網(wǎng)絡(luò)和Aviator軟件,以及同博通、Arista聯(lián)合開發(fā)的SquadRack機(jī)架級參考架構(gòu)形成完整閉環(huán)。從更宏觀的產(chǎn)業(yè)視角看,全系統(tǒng)方向已成為頭部企業(yè)的共識。2026年GTC大會上,英偉達(dá)產(chǎn)品形態(tài)已從單一GPU升級為“芯片—機(jī)架—數(shù)據(jù)中心”一體化系統(tǒng),標(biāo)志著算力競爭重心躍遷至數(shù)據(jù)中心級平臺。d-Matrix的收購戰(zhàn)略與這一趨勢完全同頻。
d-Matrix的前瞻判斷:內(nèi)存帶寬才是真正的瓶頸
d-Matrix選擇了一條與GPU陣營截然不同的技術(shù)路徑。當(dāng)英偉達(dá)2019年在AI訓(xùn)練領(lǐng)域確立統(tǒng)治地位后,創(chuàng)始人Sheth沒有押注訓(xùn)練芯片,而是聚焦推理。“除非你有實質(zhì)性的差異化,否則嘗試在那里做些什么將是愚蠢的差事。”
d-Matrix的核心判斷是:對于基于Transformer的推理,瓶頸從來不是計算,而是移動權(quán)重。數(shù)據(jù)在計算核心與內(nèi)存之間的搬運(yùn)構(gòu)成了核心延遲來源。為此,他們研發(fā)了數(shù)字內(nèi)存計算技術(shù)——矩陣乘法直接在內(nèi)存單元內(nèi)發(fā)生,內(nèi)存塊本身充當(dāng)計算塊,通過嵌入式加法器樹完成求和運(yùn)算,為AI推理提供更高效的硬件解決方案。該平臺基于SRAM而非HBM,專為Transformer工作負(fù)載定制,Corsair在芯片內(nèi)部配置了大容量SRAM與LPDDR5X,讓矩陣運(yùn)算盡可能靠近存儲發(fā)生,從而降低數(shù)據(jù)搬運(yùn)的能耗與延遲。此外,d-Matrix還規(guī)劃了3D DRAM內(nèi)存堆疊創(chuàng)新,將內(nèi)存容量擴(kuò)展至3D維度,承諾相比當(dāng)前行業(yè)標(biāo)準(zhǔn)HBM4,能夠?qū)I模型運(yùn)行速度提升10倍,并將能耗降低高達(dá)90%。
這種從底層架構(gòu)層面的重構(gòu),體現(xiàn)的是對推理場景本質(zhì)需求的深刻洞察。正如d-Matrix所表達(dá)的,他們將考慮“三個主要的障礙”來實現(xiàn)快速、高效、高性能的AI推理,而內(nèi)存帶寬正是其中最核心的一道壁壘。Sheth的表述清晰地闡明了全系統(tǒng)方向的演進(jìn)邏輯:“我們知道需要一些特殊的東西,一些更高效的東西,不僅僅解決計算問題,還要解決計算、內(nèi)存、內(nèi)存帶寬、內(nèi)存容量以及所有這些問題。”
市場信號:融資節(jié)奏與客戶卡位
d-Matrix的全系統(tǒng)路線獲得了資本的強(qiáng)烈認(rèn)可。2025年11月,公司完成2.75億美元C輪融資,估值達(dá)20億美元,累計融資4.5億美元,參與方包括歐洲科技投資公司Bullhound Capital、新加坡主權(quán)財富基金淡馬錫等,微軟旗下風(fēng)險投資基金M12、卡塔爾投資局和EDBI也參與了本輪投資。這些頂級投資機(jī)構(gòu)的入局,是對d-Matrix技術(shù)路線和商業(yè)前景的有力背書。
產(chǎn)品層面,Corsair平臺性能參數(shù)已相當(dāng)亮眼。在Llama 70B模型上可實現(xiàn)3萬Token/秒的吞吐量、每Token僅2毫秒延遲;在Llama 8B模型上,單臺服務(wù)器即可實現(xiàn)6萬Token/秒、每Token 1毫秒的極致性能。此外,據(jù)稱其方案相比使用HBM的替代方案,在性能模式下可將交互式延遲降低高達(dá)10倍。Sheth聲稱其解決方案在成本、能效和速度上分別優(yōu)于GPU 2-3倍、5-10倍和近10倍。
目標(biāo)客戶覆蓋超大規(guī)模云廠商、前沿AI實驗室和企業(yè)級部署。超級計算機(jī)等合作伙伴正在將d-Matrix方案推向市場。Sheth預(yù)計收購將加速收入節(jié)奏,并在異構(gòu)系統(tǒng)的機(jī)架配置中支撐新的定價模式。
AI推理的拐點時刻與全系統(tǒng)路徑的戰(zhàn)略意義
這筆收購之所以值得關(guān)注,根本上是因為AI產(chǎn)業(yè)的需求結(jié)構(gòu)正在發(fā)生根本性轉(zhuǎn)變。德勤預(yù)計,全球推理負(fù)載占AI算力的比例將從2023年的約三分之一提升至2026年的約三分之二。英偉達(dá)更是指出,過去兩年全球算力需求因推理任務(wù)快速增長達(dá)100萬倍。
正是在這一結(jié)構(gòu)性拐點面前,全系統(tǒng)運(yùn)算解決方案展現(xiàn)出獨(dú)特優(yōu)勢。當(dāng)推理工作負(fù)載日益分布式化、異構(gòu)化地跨CPU、GPU和推理加速器運(yùn)行時,數(shù)據(jù)必須在芯片、節(jié)點、機(jī)架和整個數(shù)據(jù)中心之間實時高效移動。擁有完整系統(tǒng)棧的企業(yè)能夠提供更低延遲、更高能效和更具成本競爭力的方案。銀河證券明確指出,算力競爭已從芯片層躍遷至數(shù)據(jù)中心級平臺。d-Matrix CEO Sheth的表達(dá)最為精準(zhǔn):“推理大于任何單一芯片。它現(xiàn)在是一個系統(tǒng)問題。”
結(jié)語:
從GigaIO數(shù)據(jù)中心業(yè)務(wù)的收購,到數(shù)字內(nèi)存計算技術(shù)的底層突破,再到推理算力需求的結(jié)構(gòu)性爆發(fā),一切趨勢表明,AI推理的未來在于系統(tǒng)級的整體優(yōu)化,而2026年的這場收購,不過是這場系統(tǒng)性競賽剛剛拉開的序幕。
網(wǎng)絡(luò)援引:
阿里云:《定義2026智算元年:解構(gòu)企業(yè)級人工智能應(yīng)用從“實驗態(tài)”向“生產(chǎn)態(tài)”轉(zhuǎn)型的底層協(xié)議》
智通財經(jīng):《廣發(fā)證券:AI推理效率革新與Agent共振 打開萬億市場空間》
新浪財經(jīng):《數(shù)字經(jīng)濟(jì)周報:GTC2026亮點 AI從芯片競爭邁向系統(tǒng)競爭》
中國科技網(wǎng):《Token爆發(fā)元年!2026中關(guān)村論壇年會分論壇共話AI大規(guī)模推理服務(wù)新圖景》
原文標(biāo)題 : 趨勢丨AI推理的未來方向是全系統(tǒng)運(yùn)算解決方案
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-5.20立即下載>> 【限時免費(fèi)】物理場仿真助力生物醫(yī)學(xué)領(lǐng)域技術(shù)創(chuàng)新
-
精彩回顧立即查看>> 【直播】 智測未來·2026海克斯康春季產(chǎn)品創(chuàng)新日
-
精彩回顧立即查看>> 【線下論壇】新唐科技×芯唐南京 2026 年度研討會
-
精彩回顧立即查看>> OFweek 2026(第十五屆)中國機(jī)器人產(chǎn)業(yè)大會
-
精彩回顧立即查看>> 維科杯· OFweek 2025中國機(jī)器人行業(yè)年度評選
-
精彩回顧立即查看>> 【在線會議】液冷服務(wù)器信號完整性及冷卻液關(guān)鍵電參數(shù)測試
推薦專題
- 1 AI狂歡遇上油價破百,全球股市還能漲多久? | 產(chǎn)聯(lián)看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實測:中文穩(wěn)、細(xì)節(jié)炸,設(shè)計師慌了
- 3 6000億美元估值錨定:字節(jié)跳動的“去單一化”突圍與估值重構(gòu)
- 4 Tesla AI5芯片最新進(jìn)展總結(jié)
- 5 連夜測了一波DeepSeek-V4,我發(fā)現(xiàn)它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續(xù)扣錢!
- 8 2026,人形機(jī)器人只贏了面子
- 9 DeepSeek降價90%:價格屠夫不是身份,是戰(zhàn)略
- 10 AI Infra產(chǎn)業(yè)鏈卡在哪里了?
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市


分享













