深度學習三巨頭之Yoshua Bengio暢談AI如何才能說“人話”
因果邏輯關系是機器“吃透”人類語言的關鍵
研究發現很多實驗室數據其實是無效的,一旦環境改變了,人工智能就會“一臉懵圈”,背后的原因是關系紐帶的不對,比如圖像識別,實驗者認為引發人工智能做出判斷的因素是圖片的紋理和顏色,而實際上人類在識別圖像時還會考慮因果關系,這就是差別。
為了攻克這方面的缺陷,科學家們提出了深度生成模型,它的優勢在于通過激勵人工智能在訓練中預測未來,從而通過培養模型的因果邏輯性提升輸出的準確性,以及深層對抗模型可以不斷提升輸出的準確性,更重要的是人工智能通過訓練最終具備預測未來以及制定計劃的能力。
在機器學習的訓練中,不僅需要注意因果邏輯,還需要注意用于訓練的樣本數據需要遵循獨立同分布原則(Independent and identically distributed):關注用于訓練的數據集的代表性和遷移性,樣本數據的分布特征必須和測試用數據集、母體數據保持一致,研究發現確保數據分布一致性可強化訓練模型的因果邏輯推理能力。
人工智能娃娃游戲平臺(BabyAIgame)
人工智能娃娃游戲平臺模仿嬰兒的成長過程,設置了‘學習者’和‘人類’的游戲或場景。學習者就是‘babyAI’,我們為學習者設計任務,任務以自然語言的形式出現,比如去某個地方、打開、撿、放等,通過與人類用自然語言互動幫助學習者理解周圍的環境。
從科學實驗的角度出發,項目的實施過程將會是趣味性十足的!
首先,大量的人機交互數據(尤其是語言)將會被收集,隨著玩家(人類)越來越多,數據庫也會越來越大。
另外,游戲甚至允許人類玩家在游戲中自行設計任務,任務難度逐漸提升。
該項目最大的挑戰來自于樣本數據的復雜性,哪怕只是非常簡單的任務,比如讓計算機挪動小件物體,對于訓練用的數據量要求也是非常巨大的,因此我們首先需要海量的數據服務于這個雄心勃勃的計劃:記錄真實世界中成年人與嬰兒之間互動的數據。
“意識先驗”理論:過濾冗余數據,降低算力消耗

圖片來源: Bengio的演講 Challenges for Deep Learning towards Human-Level AI
傳統的深度學習理論需要大量的數據,注意力機制的出現為解決訓練數據容量的難題帶來了解決思路,但僅僅具備無意識的認知能力(第一類認知系統)還遠遠不夠。
為了將機器的推理能力提升到人類水平,我們在現有模型的基礎上,增加預測未來的能力,即意識先驗(The Consciousness Prior),直觀的說就是人工智能看到“下雨”,聯想到“人們會打傘”。
意識先驗借用了注意力機制的部分原理篩選出少量、“高緯”的數據,用作大量的預測訓練,將無意識層次的數據歸類為“低緯數據”,使用少量的、更直接的高層次數據提升了模型預測和推理能力,也減少了訓練用時,最終成為有“意識”的類人腦。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 AI狂歡遇上油價破百,全球股市還能漲多久? | 產聯看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實測:中文穩、細節炸,設計師慌了
- 3 6000億美元估值錨定:字節跳動的“去單一化”突圍與估值重構
- 4 Tesla AI5芯片最新進展總結
- 5 連夜測了一波DeepSeek-V4,我發現它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續扣錢!
- 8 2026,人形機器人只贏了面子
- 9 DeepSeek降價90%:價格屠夫不是身份,是戰略
- 10 AI Infra產業鏈卡在哪里了?


分享













