趨勢丨設計的代價：深度學習已經接近計算極限
爆炸式增長結束，頂部提升有機會
用于深度學習模型的計算能力的爆炸式增長已經結束了，并為各種任務的計算機性能樹立了新的基準。但是這些計算限制的可能影響迫使機器學習轉向比深度學習更高效的技術。
過去算力的提升歸納了兩個原因：
一個是底部的發展，即計算機部件的小型化，其受摩爾定律制約；
另一個是頂部的發展，是上面提到的軟件、算法、硬件架構的統稱。
在后摩爾定律時代，提升計算性能的方法，雖然底部已經沒有太多提升的空間，但頂部還有機會。
在軟件層面，可以通過性能工程（performance engineering）提高軟件的效率，改變傳統軟件的開發策略，盡可能縮短軟件運行時間，而不是縮短軟件開發時間。另外，性能工程還可以根據硬件的情況進行軟件定制，如利用并行處理器和矢量單元。
在算法層面，在已有算法上的改進是不均勻的，而且具有偶然性，大量算法進展可能來源于新的問題領域、可擴展性問題、根據硬件定制算法。
在硬件層面，由于摩爾定律的制約，顯然需要改進的是硬件的架構，主要問題就是如何簡化處理器和利用應用程序的并行性。
通過簡化處理器，可以將復雜的處理核替換為晶體管數量需求更少的簡單處理核。由此釋放出的晶體管預算可重新分配到其他用途上，比如增加并行運行的處理核的數量，這將大幅提升可利用并行性問題的效率。
深度學習時代AI模型需規模化擴展
現代AI模型需要消耗大量電力，而且對電力的需求正以驚人的速度增長。在深度學習時代，構建一流AI模型所需要的計算資源平均每3．4個月翻一番。
在當今以深度學習為中心的研究范式當中，AI的主要進步主要依賴于模型的規模化擴展：數據集更大、模型更大、計算資源更大。
在訓練過程中，神經網絡需要為每一條數據執行一整套冗長的數學運算（正向傳播與反向傳播），并以復雜的方式更新模型參數。
在現實環境中部署并運行AI模型，所帶來的能源消耗量甚至高于訓練過程。實際上，神經網絡全部算力成本中的80％到90％來自推理階段，而非訓練階段。
因此，數據集規模越大，與之對應的算力與能源需求也在飛速增長。模型中包含的參數量越大，推理階段所帶來的電力需求就越夸張。
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 AI狂歡遇上油價破百，全球股市還能漲多久？ | 產聯看全球
- 2 OpenAI深夜王炸！ChatGPT Images 2.0實測：中文穩、細節炸，設計師慌了
- 3 6000億美元估值錨定：字節跳動的“去單一化”突圍與估值重構
- 4 Tesla AI5芯片最新進展總結
- 5 連夜測了一波DeepSeek-V4，我發現它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”：既生OpenClaw，何生Hermes？
- 7 AI界的殺豬盤：9秒刪庫跑路，全員被封號，還繼續扣錢！
- 8 2026，人形機器人只贏了面子
- 9 DeepSeek降價90%：價格屠夫不是身份，是戰略
- 10 AI Infra產業鏈卡在哪里了？
