作者 | 黎   瀾

編輯 | 章漣漪

半年時間，英偉達汽車業務無論是商業化進程，還是技術成熟度，都有了不小進步，這是如何實現的？

近日，GTC 2024大會上，英偉達汽車事業部副總裁吳新宙發表了《加速向 AI 定義的汽車的轉變》主題演講，用時52分鐘，從技術角度給予了解答。

這也是吳新宙入職英偉達后的首次正式對外演講。

作為自動駕駛領域大拿，吳新宙曾在高通工作10余年，主導自動駕駛解決方案。2019年，在何小鵬的盛情邀請下，吳新宙加盟小鵬汽車，全面主導小鵬汽車的ADAS業務，主導實現了NGP、XNGP等項目落地。

同時擁有競爭對手高通，以及自身工程化最好樣本小鵬汽車的高管背景，吳新宙可以說是最適合英偉達的人。

確實，正如黃仁勛所期待的，在吳新宙加盟后，英偉達汽車業務肉眼可見的更有起色。一方面，團隊規模不斷擴大，特別是自動駕駛中國團隊不斷擴充；另一方面，技術不斷取得突破，截止目前，其已經幫助英偉達搭建了自動駕駛全棧自研部門，并且團隊實現將AV1.0（AI Vehicle）升級至AV2.0。

此次大會上，吳新宙對外分享了入職英偉達220多天以來的故事，講述了英偉達如何以更少的代碼、更大規模的模型、更高的算力和更多的數據，實現以AI為中心的自動駕駛汽車 2.0時代到來。

以下是吳新宙演講的主要內容。

01AV2.0的核心技術優勢，在于“雷神”

吳新宙表示，首先，自動駕駛仍然是有商業前景的。

在新能源滲透率穩步提升的大前提下，根據其預測，2030財年L3級別自動駕駛市場仍將呈現顯著上升趨勢。

同時，隨著生成式AI的發展，車載AI也有了長足的發展，經歷了從規則、算法驅動型軟件棧，到AI增強型軟件棧再到端到端AI軟件棧的過程。

而英偉達AV2.0的核心技術優勢，在于擁有Drive Thor（雷神）芯片。在智能駕駛方面，Thor發揮的長處是“低精度運算”，這意味著可以輸入模糊的、多模態的、不確定的數據，通過AI自動生成能力還原出有邏輯的遠算方式。

相比于前代的Orin平臺，Thor在LLAMA-7B的測試環境中能夠實現高達9倍的性能提升。另外，除了黃仁勛高調官宣的Blackwell GPU提供卓越性能以外，處理器中的ARM Neoverse V3AE CPU也提供了強大的單線程性能，這對復雜場景進行快速決策尤為關鍵。在SPECrate®2017_int_base的基準測試中，Thor比Orin預計有2.3倍的性能提升。

相較于上一代Xaiver，Orin實現了七倍的算力提升，達到245TFLOPS ，而Thor則達到了驚人的2000 TSFLOPS浮點算力。

或許，Orin沒有能夠真正實現L5級別的Robotaxi，Thor能夠完成。

硬件的提升必然需要軟件配套設施一同進步。目前，吳新宙團隊研發的AV2.0還可以解決上一代搭載Orin芯片的AV1.0存在的痛點。

原有的AV1.0需要大量數據訓練，新一代車載軟件利用仿真技術模擬各種駕駛場景，降低對真實數據的依賴。

根據吳新宙介紹，傳統的自動駕駛系統只具備幾秒鐘的短期系統記憶，這讓AV1.0的決策可能是缺乏連貫性的。AV2.0利用大語言模型（LLM）邏輯推理的能力，增強了系統決策的連貫性和上下文感知能力。

“英偉達自動駕駛團隊目前還在致力于讓AV系統更具‘可解釋性’，那就是讓自動駕駛不再‘黑箱’，開發出一套降低信息差，方便對外解釋的算法。”在吳新宙看來，這對于消除大眾對自動駕駛的疑慮至關重要。

02AV2.0技術的底層技術創新

活動上，吳新宙還展示了AV2.0技術的底層技術創新：基于VLM的基礎模型（VLM Based Foundation Model，視覺語言模型），由此形成的PARA-Driving，搭建實時自動駕駛的并行化架構。

目前，端到端自動駕駛有兩種技術路線。

一種是UniAD（Unified Autonomous Driving，自動駕駛通用算法框架），這個方案強調同時操控多個模態，使傳感器搜集到的數據在訓練過程中朝著“整體最優”的方向進行。

另一種則是更直接的VLM，實現過程和人類駕駛行為相似：以眼睛作為視覺輸入信號，直接作用在方向盤和剎車油門踏板上。這種直接端到端變相地擴大了模型的搜索空間，需要用更多的數據、更大的模型、更強的算力才能防止在特定場景的過擬合，在駕駛體驗中，多半是“莫名其妙的剎車”。

為了降低干擾，吳新宙團隊對第二種方案進行了優化，將Transformer融合進自動駕駛的基礎模型，形成PARA-Driving的終極答案。下圖是此模型的功能布局。

吳新宙表示，PARA-drive將信息變成Tokens，再放進Transformer模型里分析，化整為零，處理起來更輕松。

據演示，相比于UniAD6 FPS的夜間運行速度，PARA-drive在夜間駕駛的實際應用場景中達到了26 FPS的高幀率，也就是說，夜視效果能達到UniAD的四倍。

當然，這并不意味著要全盤替換原有的系統軟件棧。吳新宙指出，現在的技術還不足以讓VLM為主的基礎模型全量進入使用，初始階段將處于"影子模式"（shadow mode），團隊會通過與人類駕駛行為進行不斷比較而微調。

隨著時間的推移，現有的技術棧將逐漸被淘汰，但出于安全考慮，兩種棧可能需要共存一段時間。

信息搜集處理步驟告一段落，接下來吳新宙開始介紹AV方案中能提供物理模擬引擎的部分。當然，這也是英偉達以游戲顯卡起家的老本行了。仿真模擬（Simulation）的關鍵作用毋庸置疑，這是取代實車測試所需的巨大成本的關鍵一步。

良好模擬的關鍵屬性包括像素保真度（適用于相機、雷達、超聲波、激光雷達等），場景保真度和可擴展性，以及行為保真度。無傳感器操作允許在計算上更具可擴展性。英偉達的AV仿真模擬可以在有或沒有傳感器信息的情況下操作，極大地降低了成本。AV模型模擬的工作流，讓端到端模型與場景庫和功能模塊環環相扣。

總體而言，吳新宙團隊開發的基礎模型的功能如下。

通過云端和車端統一的基礎模型，有三個實現場景，首先最直觀的是車內助手（In-cabin Assistant），使用基礎模型來提供車內助手服務，可能包括語音識別、自然語言處理和用戶交互等功能。

自動標注（Auto-labeling），利用基礎模型來自動標記訓練數據，對于大量的自動駕駛數據來說，可以極大程度地降低成本、提高效率。

最后是安全評估（Safety Evaluation），確保自動駕駛系統的性能和決策符合安全標準。在自動駕駛的安全問題需要得到確認的共識下，吳新宙闡述了NVIDIA DRIVE安全平臺在保障自動駕駛汽車的安全方面的全面舉措。

03全球首個端到端AI安全平臺

安全性，幾乎是全球自動駕駛從業者的共識。英偉達自動駕駛DRIVE平臺是全球汽車生產領域首個也是唯一一個端到端的智能安全平臺。

目前，英偉達Drive平臺有四大支柱，分別是開發過程、硬件、軟件建設和底層架構。

英偉達在人力部署層面足見對安全的重視。據吳新宙介紹，有15000名工程師投入到安全部門的研發工作。

硬件安全機制經過21億個晶體管的安全評估，吳新宙也提到了硬件退化效應的檢測和ASIL D（Automotive Safety Integrity Level）系統性。

軟件與架構是一個全棧功能安全的體系結構，共計500萬行代碼經過安全評估，還有德國技術監督協會認證的DRIVE OS和安全傳感器以及端到端的認證。

底層架構層面，Drive平臺提供安全保障的云服務和工具每日會進行200萬次端到端集成測試，確保了安全的開發和測試以及大規模的項目周期管理。

04授人以魚，不如授人以漁

另外，英偉達還專門召開了中文的專家技術解讀論壇，解釋了吳新宙發言的核心技術亮點、應用場景，以及自動駕駛方案的商業落地。

汽車數據中心業務總監陳曄還做了Q&A，針對的問題是英偉達對國內廠商的服務方式。

陳曄提到，基于中美自動駕駛應用場景的差異化，在美國本土英偉達往往給車企做的是NDAS封裝一站式服務，意味著直接給到完整的自動駕駛解決方案；服務國內的新能源廠商的時候，英偉達更傾向于提供一套更適配的算法，或者干脆成為算法開發過程中的指導者。

還有人對算力所需的硬件配置較為好奇。隨著對算力要求的提升，相應的“卡”的數量也會有一定提升。陳曄表示，在AV1.0時代，領先的客戶需求大概是2000臺，在AV2.0時代，就產生了一萬臺GPU的需求，這種量級的變化對有些車企來說是難以承受的。當然，這是以H100作為算力計算單位，當Blackwell成為主流GPU的時候，企業所需的硬件成本會有所下降。

以及，陳曄表示，GPU 不僅可以用來自動駕駛研發，還可以有其他的應用場景，例如大語言模型、智能座艙等等，未來對“卡”的依賴，只增不減。

陳曄表示，英偉達會幫客戶去做很多加速工作，從數據處理到訓練模型優化到推理計算、以及到仿真，基于神經網絡重建，由英偉達自動駕駛最核心的技術團隊來操盤。

這種個性化定制服務，即英偉達企業NVRE服務，服務方式是AI enterprise。這種個性化設計是基于車企信任英偉達的前提，即愿意分享數據的基礎之上的。

車企給英偉達場景數據，訓練更好的大模型，英偉達再用優化過的模型給車企自動駕駛方案賦能，收集更多維度的數據，這正是所有人工智能相關的產品的終極目標，打造數據飛輪，靠自身商業化落地即可精進。

目前看來，吳新宙來到英偉達“深造”，實際上是更靠近了技術研發所需的算力“水源”，加上從0到1的小鵬智駕經驗，無論對于英偉達，還是對整個行業來說，都有1+1大于2的效果。

       原文標題 : 吳新宙到英偉達后的首秀，說了些什么？