前特斯拉工程師,把類腦計算帶進自動駕駛

作者 | 褚萬博
編輯 | 章漣漪
一種很新的自動駕駛技術路徑,出現了。同樣是端到端,但在感知層面引入包括視覺、聲音、文本等不同類型的信息,通過多形態的感知元素token化輸入,形成多模態感知的的端到端自動駕駛大模型。類似的想法馬斯克在此前也表達過,即將聲音納入自動駕駛的感知,但至今并未實現。最外層保證安全底線的技術,則是引入一個對自動駕駛行業非常陌生的技術——類腦科學,通過模擬生物大腦運行機制和對危險感知規避的天性,代替以規則代碼為主的安全保障層。類腦科學+多模態端到端大模型,當下算是行業內一種少有,或者是沒有過的嘗試。技術方案被叫做Nullmax Intelligence(NI),來自一家此前聲量并不算大的漸進式自動駕駛公司:Nullmax(紐勱)。一個在業內不太顯眼的團隊,做出的沒人見過的方案。這家公司從何而來,有何獨到之處?
01從特斯拉到Nullmax
長久以來,業內關于Nullmax的信息并不多見,這家公司上一次敞開向外界展示技術方案,還是在2019年,等到最近Nullmax Intelligence自動駕駛方案發布,已經過去5年時間。

Nullmax融資情況
融資方面放在同時期的自動駕駛公司中間也并不算出彩,企查查結果顯示,自成立至今,Nullmax經歷5輪融資,累計披露融資金額不到10億元。行事確實低調,但背后團隊履歷相當亮眼。公開信息顯示,Nullmax在2016年成立于美國硅谷,其創始人徐雷,本科畢業于中國科學技術大學計算機科學專業,之后前往美國深造,并取得紐約州立大學布法羅分校計算機科學博士學位。在創立Nullmax前,徐雷曾在高通有過3年的工作經歷,后來加入特斯拉,擔任特斯拉自動駕駛高級計算機視覺工程師。

Nullmax創始人徐雷在特斯拉履職期間,徐雷主要負責的,就是Autopilot視覺研發,擔任Tesla Vision深度學習負責人,曾從零開始組織研發Tesla Vision深度學習網絡。最終在2016年,Autopilot 2.0成功取代Mobileye的視覺系統,在Model X上量產。另一位核心團隊成員宋新雨,同樣來自特斯拉,曾在特斯拉任職研發質量和供應鏈部門高級經理,期間曾是Autopilot及娛樂系統開發團隊核心骨干成員。Autopilot 1.0和Autopilot 2.0系統的研發和產品化之路,宋新雨也有過深度參與。
2016年,正值Autopilot結果之時,在特斯拉相識的徐雷與宋新雨出走特斯拉,成立Nullmax。由徐雷擔任CEO兼CTO職位,主導技術研發工作,宋新雨則出任COO一職,負責公司運營。在這個關鍵時刻離開特斯拉選擇創業,徐雷告訴《賽博汽車》,一是在特斯拉看到了傳統車企以及Tier 1在智能化轉型過程中,一些以AI驅動應用能力的缺失,比如智能駕駛;二則是特斯拉作為一家車企,其本身的愿景是可持續能源的發展。而Nullmax,最終的目標是自動駕駛乃至之后完全的無人駕駛。不過,特斯拉的經歷也對Nullmax最初選擇自動駕駛實現路線產生了重要的影響,即純視覺、漸進式的自動駕駛路線。

Nullmax在2019年發布MAX 1.02019年,Nullmax發布其自動駕駛解決方案(現在來看要歸類于L3以下的智能駕駛)MAX 1.0,方案基于英偉達Xavier 平臺,感知套件采用12個攝像頭+5個毫米波雷達+12個超聲波雷達,可以實現包括泊車、高速上的高階智能駕駛功能。同時,需要注意的是,這套方案并沒有高精地圖。去(激光)雷達,去(高精)地圖這類近兩年爭議才收斂起來的議題,Nullmax確實在2019年的時候就有了前瞻的判斷。等到業內意見基本統一后,時隔5年,Nullmax又帶著一套沒人見過(至少是準量產心態)的方案走來了。依舊是前瞻?
02類腦計算?一種很新的自動駕駛
至少從兩個方面來說,Nullmax此次帶來的自動駕駛方案Nullmax Intelligence,是截止到目前業內發布的方案中的唯一。按照當前端到端大模型的理解,相比此前感知、規控、執行等等模塊化的環節,自動駕駛大模型可以從感知到決策一個模型通路解決,但當下各家除了特斯拉,基本是在感知層面,或者是從傳感器數據輸入到感知結果輸出一個模塊大模型,規控、決策仍然處于小模塊(層層遞進)階段。

Nullmax Intelligence大概邏輯但根據Nullmax現場展示的方案來看,NI是從感知到執行一個大模型解決,并且在此之外,聲音、文本等等環境信息,通過token化可以一起為大模型提供感知。類似的想法馬斯克此前有過發聲,比如將路面環境聲音信息作為感知輸入自動駕駛系統,不過目前來看還停留在想法階段。大模型的輸出端,則包含3個部分:即時的駕駛動作、可視化結果以及延時0.2秒的場景描述(文本)。駕駛動作即執行層面,而場景描述,按照我們的理解,是作為一種模型驗證以及問題回溯的工具出現,也就是解釋修正大模型的作用。這里的一個問題是,多模態感知意味著感知信息的類型增加、數據量提升,這對模型的計算提出了更大的要求,最后落到一個問題上就是,車端計算芯片算力是否足夠。這里需要注意的是,根據Nullmax的說法,這套方案稀疏算力100 TOPS就夠用。對于這個問題,Nullmax表示,其大模型是一個非attention機制的一種語言模型,不同感知信息token化之后進入大模型,對算力的要求是非常低的。

安全類腦概念除了多模態的感知輸入,Nullmax還在最新的自動駕駛方案中引入了一個“安全類腦”的概念。這個概念對于自動駕駛大模型來說可能比較陌生,但類腦計算本身在全世界范圍內的前沿科學中比較火熱。這里簡單介紹一下,所謂類腦計算是借鑒生物神經系統信息處理模式和結構的計算理論、體系結構、芯片設計以及應用模型與算法的總稱。已經是一個非常龐大的學科,但簡單理解,就是借鑒生物大腦的運行方式處理問題。

具體來看,Nullmax在這套方案中,通過解密10萬神經元級別的斑馬魚大腦避險的運作方式,為自動駕駛提供一個安全底線。即在大模型輸出結果后,在判定有誤的情況下快速做出安全動作。在Nullmax的方案中,大模型輸出的結果作為一級仲裁,安全類腦為二級仲裁,兩個結果一致時正常執行,不一致時由二級仲裁。這種機制是大多數自動駕駛玩家的共同選擇,即在大模型輸出結果之外還有另一套負責底線的模型兜底。不過更多的玩家趨向于采用規則代碼這種直觀的方式去作為最后一道安全屏障。引入類腦計算,Nullmax還是第一個。為什么不要規則代碼而用類腦計算?Nullmax認為,規則代碼無法窮盡場景,而類腦計算可以利用生物大腦對于危險情況的反應,快速做出反應。當然,作為自動駕駛公司,橫跨學科有點難度。安全類腦的成果并非Nullmax原創,而是來自巖思類腦研究院的李孟團隊。

安全類腦學術成果發表在《Nature》相關研究研究論文《Internal state dynamics shape brainwide activity and foraging behaviour》曾在《Nature》發表。多模態+類腦計算,在我們能看到的自動駕駛解決方案中,是獨一檔的存在。這種技術方案是否真的有效,是否會比現有端到端大模型的體驗更好,我們不做評判,因為還需要驗證,根據徐雷的透露,這套方案將會在明年初落地。屆時相信會得到答案。拋開這套技術本身,Nullmax這家聲量并不大的自動駕駛公司,或者是智能駕駛方案供應商給了我們另一個話題的啟發。
03智能駕駛方案小廠,怎么活?
事實上,智能駕駛方案供應商中,體量不大的這部分玩家如何生存,已經成了業內熱議的一個話題。現實也確實不那么樂觀,一方面,在主機廠降本增效的大趨勢下,作為供應鏈的一環,利潤寒氣會傳導過來,尤其是體量不大,話語權比較小的小廠;另一方面,融資環境不夠理想的大環境,等待變現的投資人,普遍虧損的經營現狀……如此等等,再加上技術資源和投入劣于大廠,擔憂很多,討論也很多。對于這些問題,Nullmax部分回答了我們。首先是在技術投入上的天然劣勢。當自動駕駛進入端到端大模型階段,有2個關鍵因素比較重要,一是大量真實數據的投喂,二是AI算力的模型訓練支持。一個需要車,一個需要高成本投入。第三方智能駕駛方案公司,尤其是小體量玩家,二者都沒有,這還怎么玩?

Nullmax認為后期虛擬數據占比更多徐雷對此的回答是,在自動駕駛訓練的初期,真實有效數據很關鍵,但隨著模型的逐漸成熟,真實場景數據在模型訓練后期的增益效果以及需要的量會變小,AIGC生成虛擬數據就非常關鍵。而在AI算力方面,徐雷表示,在給定預算下,讓哪些數據先進系統,怎么去在訓練中調它的收斂速度,調參數,能讓系統性能提升更高,這里面是有很多技巧,并不是說多少張卡(AI芯片)多少數據就對應了性能多少的提升。簡而言之,以技巧取勝。其次是作為第三方的供應商,如何低成本開發適配不同需求、車型的產品方案。
Nullmax的做法是,通過MaxOS中間件平臺,實現軟硬件解耦,實現不同計算平臺、不同傳感器配置(包括激光雷達)、不同層級智能駕駛功能,適配同一個軟件算法平臺。當前Nullmax的產品序列在這一套模式下,分成低、中、高3個組合方案,包括:1、1V2T,一個攝像頭,加上一顆德州儀器的2TOPS算力芯片,實現基礎的L2級輔助駕駛;2、5V/6V8T,5/6個攝像頭,利用8TOPS算力,實現高速NOA和記憶泊車,且泊車過程可檢測障礙物;3、11V,實現L2+,包括高速NOA和自主代客泊車。

Nullmax產品方案最后,我們上文提到的“類腦計算”,其實并非是Nullmax原創,而是來自巖思類腦研究院。這個巖思類腦研究院后面的母公司,也是Nullmax的控股母公司巖山科技。就是那個去年10月份斥資7.8億元投資Nullmax的巖山科技。所以還在找出路的智能駕駛方案商們懂了嗎?上市不是當下唯一的選擇,先找棵大樹也不錯。-END-
原文標題 : 前特斯拉工程師,把類腦計算帶進自動駕駛
請輸入評論內容...
請輸入評論/評論長度6~500個字
圖片新聞
最新活動更多
-
精彩回顧立即查看>> 【線下會議】恩智浦創新技術峰會·深圳
-
精彩回顧立即查看>> 【在線直播】可視化神器!VisionSym 賦能汽車光學原型開發
-
精彩回顧立即查看>> 12月16-17日 AMD 嵌入式峰會
-
精彩回顧立即查看>> 恩智浦創新技術峰會
-
精彩回顧立即查看>> 【工程師系列】汽車電子技術在線大會
-
精彩回顧立即查看>> Works With 開發者大會深圳站
推薦專題


分享










