給手機“減負”!Facebook發布提高設備AI工作能效的AutoScale

決定AI應用在智能手機上終端還是在云端運行,對于用戶和開發AI應用的企業都十分重要,因為這與運行設備的長期電池壽命息息相關。大多數智能手機都或多或少地嵌入了AI應用,但如果所有的AI工具都在終端運行,有可能導致手機性能下降;而在云端運行,則可能導致較長的調用時間。
為了解決這一問題,近日Facebook和亞利桑那州立大學建立了一個支持AI減輕設備負荷的模型——AutoScale。該模型能夠自動決策部署AI運行的位置,節省了大量成本,將AI工具的能效提高到基線方法的10.8倍;更能準確預測AI應用的合適位置,達到高性能和低能耗兼備的理想效果。
高能效+低負荷
AutoScale:挖掘強化學習算法的潛能
AutoScale會觀察當前的AI工作執行效率,包括算法的架構特征和運行時間差異。它在協同處理器等硬件之間選擇,找到能夠最大限度提高能源效率的硬件,以保證AI助手的服務質量。對選定硬件定義的目標執行推理后,通過觀察其結果,包括演算運行能耗、延遲度和推理精度,以表明選中的硬件是否提高了AI工作效率。

AutoScale模型
AutoScale基于強化學習算法,計算累計獎勵(R值),來選擇AI工具的最佳運行方式。例如:對于給定的處理器,系統使用基于AI能效利用率的模型計算獎勵,假設處理器內核消耗的功率是可變的,內核在繁忙和空閑狀態下花費的處理時間不同,其能源使用情況也各不相同。相比之下,當推理擴展到連接的數據中心時,AutoScale可以借助基于信號強度的模型來計算獎勵,預測傳輸延遲度和網絡消耗的能量。

在適應QoS限制條約的前提下,比起基線模型,AutoScale更能提高能效。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 特斯拉Optimus Gen3量產在即,哪些環節最具確定性?
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實測:中文穩、細節炸,設計師慌了
- 3 AI狂歡遇上油價破百,全球股市還能漲多久? | 產聯看全球
- 4 6000億美元估值錨定:字節跳動的“去單一化”突圍與估值重構
- 5 Tesla AI5芯片最新進展總結
- 6 連夜測了一波DeepSeek-V4,我發現它可能只剩“審美”這個短板了
- 7 熱點丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 8 2026,人形機器人只贏了面子
- 9 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續扣錢!
- 10 AI Infra產業鏈卡在哪里了?


分享













