趨勢丨設計的代價：深度學習已經接近計算極限
2020-07-27 16:49
Ai芯天下
關注
前言：
關于深度學習，它正在快速接近其極限。雖然事實可能的確如此，但我們仍未能在日常生活中感受到全面部署深度學習的影響。
MIT：算力將探底，算法需改革
近日，MIT發出警告：深度學習正在接近現有芯片的算力極限，如果不變革算法，深度學習恐難再進步。
根據麻省理工學院，MIT－IBM Watson AI實驗室，Underwood國際學院和巴西利亞大學的研究人員在最近的研究中發現，持續不斷的進步將需要通過改變現有技術或通過尚未發現的新方法來更有效地使用深度學習方法。
目前深度學習的繁榮過度依賴算力的提升，在后摩爾定律時代可能遭遇發展瓶頸，在算法改進上還需多多努力。
深度學習不是偶然的計算代價，而是設計的代價。共同的靈活性使它能夠出色地建模各種現象，并且性能優于專家模型，這也使其在計算上的成本大大提高。
研究人員估計，三年的算法改進相當于計算能力提高10倍。總體而言，在深度學習的許多領域中，訓練模型的進步取決于所使用的計算能力的大幅度提高。 另一種可能性是，要改善算法本身可能需要互補地提高計算能力。
在研究過程中，研究人員還對預測進行了推斷，以了解達到各種理論基準所需的計算能力以及相關的經濟和環境成本。
即使是最樂觀的計算，要降低ImageNet上的圖像分類錯誤率，也需要進行10的五次方以上的計算。
根據多項式和指數模型的預測，通過深度學習獲得相應性能基準所需的算力（以Gflops為單位），碳排放量和經濟成本，最樂觀的估計，ImageNet分類誤差要想達到1％，需要10＾28 Gflops的算力，這對硬件來說是不小的壓力。
分享
聲明：
本文由入駐維科號的作者撰寫，觀點僅代表作者本人，不代表OFweek立場。如有侵權或其他問題，請聯系舉報。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 AI狂歡遇上油價破百，全球股市還能漲多久？ | 產聯看全球
- 2 OpenAI深夜王炸！ChatGPT Images 2.0實測：中文穩、細節炸，設計師慌了
- 3 6000億美元估值錨定：字節跳動的“去單一化”突圍與估值重構
- 4 Tesla AI5芯片最新進展總結
- 5 連夜測了一波DeepSeek-V4，我發現它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”：既生OpenClaw，何生Hermes？
- 7 AI界的殺豬盤：9秒刪庫跑路，全員被封號，還繼續扣錢！
- 8 2026，人形機器人只贏了面子
- 9 DeepSeek降價90%：價格屠夫不是身份，是戰略
- 10 AI Infra產業鏈卡在哪里了？
