亚洲欧洲日韩一区视频,国产精品久久久久久人妻精品,欧美一级性爱大片国产性爱,亚洲欧美日韩电影在线观看

阿里云表示：通過(guò)新的池化系統(tǒng)，Nvidia AI GPU 的使用量減少了 82%

2025-11-14 18:09

阿里云聲稱，在其 Model Studio 市場(chǎng)內(nèi)進(jìn)行的為期數(shù)月的 Beta 測(cè)試中，其全新 Aegaeon 池化系統(tǒng)將服務(wù)大型語(yǔ)言模型所需的 Nvidia GPU 數(shù)量減少了 82%。

該結(jié)果發(fā)表在首爾舉行的 2025 年 ACM 操作系統(tǒng)研討會(huì) (SOSP) 上的一篇同行評(píng)議論文中，表明云提供商或許能夠從現(xiàn)有芯片中提取出更強(qiáng)大的推理能力，尤其是在中國(guó)等 Nvidia 最新 H20 芯片供應(yīng)仍然有限的市場(chǎng)。

減少對(duì) GPU 的依賴

與追求模型質(zhì)量或速度的訓(xùn)練時(shí)間突破不同，Aegaeon 是一個(gè)推理時(shí)間調(diào)度器，旨在最大限度地提高 GPU 在眾多具有突發(fā)性或不可預(yù)測(cè)需求的模型中的利用率。

Aegaeon 并非將一個(gè)加速器綁定到一個(gè)模型，而是在令牌級(jí)別虛擬化 GPU 訪問(wèn)，從而允許其在共享池中調(diào)度微小的工作片段。

這意味著一臺(tái) H20 可以同時(shí)服務(wù)于多個(gè)不同的模型，系統(tǒng)范圍的“有效吞吐量”（衡量有效輸出的指標(biāo)）與舊版無(wú)服務(wù)器系統(tǒng)相比，最高可提升 9 倍。

論文指出，該系統(tǒng)已在生產(chǎn)環(huán)境中測(cè)試了數(shù)月。論文作者來(lái)自北京大學(xué)和阿里巴巴基礎(chǔ)設(shè)施部門(mén)，其中包括首席技術(shù)官周靖人。系統(tǒng)支持?jǐn)?shù)十種不同 LLM（參數(shù)規(guī)模高達(dá) 720 億）所需的 GPU 數(shù)量從 1192 個(gè)減少到僅 213 個(gè)。

雖然該報(bào)沒(méi)有具體說(shuō)明哪些型號(hào)對(duì)節(jié)省的貢獻(xiàn)最大，但《南華早報(bào)》報(bào)道稱，測(cè)試是使用 Nvidia 的 H20 進(jìn)行的，這是根據(jù)現(xiàn)行美國(guó)出口管制規(guī)定，中國(guó)買家仍可合法購(gòu)買的少數(shù)加速器之一。

阿里巴巴表示，這些優(yōu)勢(shì)主要源于兩項(xiàng)技術(shù)：

在每個(gè) GPU 上打包多個(gè)模型；
使用令牌級(jí)自動(dòng)縮放器在輸出生成時(shí)動(dòng)態(tài)分配計(jì)算資源，而不是在請(qǐng)求級(jí)別預(yù)留資源。

模型性能優(yōu)化

阿里云發(fā)現(xiàn)，在實(shí)際的 AI 任務(wù)中，只有少數(shù)模型被頻繁使用。然而，大量的 GPU 資源卻被分配給了很少被調(diào)用的模型，導(dǎo)致資源利用率低下。數(shù)據(jù)顯示，17.7%的 GPU 資源僅承載了總推理請(qǐng)求的 1.35%。

借助 Aegaeon，阿里巴巴通過(guò)池化和智能擴(kuò)展策略解決了這種不平衡問(wèn)題。該系統(tǒng)確保了 GPU 的持續(xù)使用，并避免了不常用模型的閑置處理。阿里巴巴實(shí)現(xiàn)了更高的吞吐量，并提升了企業(yè)部署的硬件效率。

在基準(zhǔn)測(cè)試中，Aegaeon 的實(shí)際吞吐量是 ServerlessLLM 和 MuxServe 的 1.5 倍到 9 倍不等。

戰(zhàn)略轉(zhuǎn)變

華為和寒武紀(jì)等中國(guó)企業(yè)正在加速研發(fā)國(guó)產(chǎn) GPU，以減少對(duì)外國(guó)的依賴。英偉達(dá)首席執(zhí)行官表示，該公司在中國(guó)先進(jìn) AI 芯片市場(chǎng)的份額已降至零。這一趨勢(shì)促使本土企業(yè)進(jìn)行創(chuàng)新，并實(shí)現(xiàn) AI 硬件供應(yīng)鏈的本地化。

阿里巴巴的新策略鞏固了其市場(chǎng)地位，同時(shí)也與國(guó)家科技自給自足戰(zhàn)略相契合。通過(guò)減少對(duì)美國(guó)芯片的依賴，阿里巴巴在中國(guó)不斷發(fā)展的人工智能生態(tài)系統(tǒng)中獲得了更穩(wěn)固的立足點(diǎn)。

這些節(jié)省能否在阿里巴巴堆棧之外發(fā)揮作用還有待觀察。阿里云的論文并未具體說(shuō)明 Beta 測(cè)試中使用的具體網(wǎng)絡(luò)結(jié)構(gòu)，但該公司提供自己的 eRDMA 彈性 RDMA 網(wǎng)絡(luò)，并且擁有構(gòu)建高度集成的 GPU 服務(wù)堆棧的記錄，這表明結(jié)果可能取決于優(yōu)化的垂直集成環(huán)境。

無(wú)論如何，隨著推理需求持續(xù)飆升，這一結(jié)果可能會(huì)吸引其他超大規(guī)模企業(yè)的興趣，他們希望擴(kuò)大稀缺的加速器規(guī)模。

參考資料：

https://www.tomshardware.com/tech-industry/semiconductors/alibaba-says-new-pooling-system-cut-nvidia-gpu-use-by-82-percent

https://coincentral.com/alibaba-group-holding-limited-baba-stock-soars-as-new-ai-pooling-tech-slashes-nvidia-gpu-use-by-82/