多傳感器數(shù)據(jù)融合的自動(dòng)駕駛汽車
本文整理了多傳感器數(shù)據(jù)融合(Multi-Sensor Data Fusion,MSDF)的要點(diǎn)和基本方法。介紹了Harmonize、Reconcile、Integrate、Synthesize之間的區(qū)別和對(duì)應(yīng)的解決方案。文章主要圍繞什么是MSDF;為什么要MSDF和如何進(jìn)行MSDF展開,希望給對(duì)自動(dòng)駕駛感興趣的小伙伴,提供一些參考。
許多人工智能系統(tǒng)的一個(gè)關(guān)鍵要素是具有多傳感器數(shù)據(jù)融合(Multi-Sensor Data Fusion,MSDF)的能力。在人工智能系統(tǒng)處于一個(gè)特定的環(huán)境時(shí),MSDF需要對(duì)周圍環(huán)境數(shù)據(jù)進(jìn)行Harmonize;Reconcile;Integrate;Synthesize。簡(jiǎn)單來說,傳感器相當(dāng)于眼睛耳朵等輸入感官,而人工智能系統(tǒng)需要以某種方式解釋這些輸入感官收集回來的信息,使其成為在現(xiàn)實(shí)世界可以被解釋且有價(jià)值的信息。在駕駛汽車時(shí),多目標(biāo)跟蹤(Multi-Target Tracking,MTT)也是非常重要的課題——設(shè)想在市中心開車,周圍都是行人和車輛,人類駕駛員要準(zhǔn)確的識(shí)別并躲避他們,自動(dòng)駕駛汽車也是。所以,這要求傳感器融合具備一個(gè)必須的性質(zhì)——實(shí)時(shí)性,就像人類每時(shí)每刻都在大腦中進(jìn)行傳感器融合一樣。盡管人類不會(huì)公開地明確地將想法付諸于行動(dòng),但是這些“傳感器融合”過程都是自然發(fā)生的。
自動(dòng)駕駛的MSDF
首先,需要明確一個(gè)老生常談的概念——SAE對(duì)于自動(dòng)駕駛等級(jí)的劃分。SAE給自動(dòng)駕駛汽車劃分為5個(gè)等級(jí),對(duì)于L5以下的自動(dòng)駕駛汽車,要求必須有一個(gè)人類駕駛員(安全員)在場(chǎng)。目前,人工智能和人類駕駛員共同承擔(dān)駕駛?cè)蝿?wù),而人類駕駛員被認(rèn)定為汽車行為的責(zé)任人。
回到MSDF的話題,下圖展示了人工智能自動(dòng)駕駛汽車如何進(jìn)行MSDF的一些關(guān)鍵要素。

上圖指出了MSDF面臨的主要挑戰(zhàn)是如何將收集來的大量數(shù)據(jù)集中在一起,并做出正確決策。因?yàn)槿绻鸐SDF出錯(cuò),意味著下游階段要么沒有必要的信息,要是使用了錯(cuò)誤的信息做出了錯(cuò)誤的決策。可以看到,一般來說,自動(dòng)駕駛汽車會(huì)通過安裝在車身周圍的攝像頭收集視覺數(shù)據(jù),也會(huì)通過雷達(dá)(激光雷達(dá)、毫米波雷達(dá)等)來收集諸如周圍物體運(yùn)動(dòng)速度的數(shù)據(jù),但是這些數(shù)據(jù)是從不同角度來描述現(xiàn)實(shí)世界的同一樣或不同樣的物體。所以,使用什么類型的傳感器,怎么融合傳感器收集回來的數(shù)據(jù),使用多少傳感器才能實(shí)現(xiàn)基于數(shù)據(jù)的對(duì)客觀世界的描述呢?通常來說,使用越多的傳感器,對(duì)計(jì)算能力的要求就越高,這意味著自動(dòng)駕駛汽車必須搭載更多的計(jì)算機(jī)處理器和內(nèi)存,這也會(huì)增加汽車的重量,需要更多的功率,還會(huì)產(chǎn)生更多的熱量。諸如此類的缺點(diǎn)還有很多。
多傳感器融合(MSDF)的四個(gè)關(guān)鍵方法

圖 Harmonize;Reconcile;Integrate;Synthesize的區(qū)別
Harmonize:
假設(shè)有兩種不同的傳感器,稱它們?yōu)閭鞲衅鱔和傳感器Z。它們都能夠感知自動(dòng)駕駛汽車的外部世界。在現(xiàn)實(shí)世界中存在一個(gè)物體,這個(gè)物體可能是人,也可能是車,甚至是一條狗,傳感器X和傳感器Z都能夠檢測(cè)到這個(gè)物體。這就意味著傳感器對(duì)這個(gè)物體進(jìn)行了雙重檢測(cè),這種雙重檢測(cè)意味著兩種不同類型的傳感器都有關(guān)于該物體的數(shù)據(jù)報(bào)告,對(duì)于該物體有兩個(gè)維度不同地認(rèn)知。假設(shè),傳感器X表示該物體高6英尺,寬2英尺;傳感器Z表示該物體以每秒3英尺的速度正朝著自動(dòng)駕駛車輛方向移動(dòng)。結(jié)合兩個(gè)傳感器采集到的數(shù)據(jù),就可以得出一條相對(duì)準(zhǔn)確的信息:有一個(gè)高約6英尺,寬2英尺的物體正在以每秒鐘3英尺的速度移動(dòng)。假設(shè)這兩自動(dòng)駕駛汽車上只安裝了X傳感器,那么就無法得知該物體的大小;若Z傳感器壞了,那么就只有物體的大小信息,無法檢測(cè)該物體的運(yùn)動(dòng)狀態(tài)。這也就是最近業(yè)內(nèi)廣泛討論的“在自動(dòng)駕駛汽車上應(yīng)該安裝哪些傳感器”的問題。
此前,特斯拉埃隆·馬斯克(Elon Musk)旗幟鮮明地聲稱,特斯拉不會(huì)安裝激光雷達(dá)。盡管馬斯克自己也認(rèn)為,L5自動(dòng)駕駛不會(huì)通過激光雷達(dá)來實(shí)現(xiàn)這個(gè)想法最終可能被驗(yàn)證為錯(cuò)誤的,這依舊沒有改變馬斯克的決定。一些反對(duì)的聲音稱,不配備激光雷達(dá)的特斯拉,無法通過其他的傳感器獲取如同激光雷達(dá)效果相同的感官輸入,也無法提供補(bǔ)償和三角測(cè)量。但是另一些支持者認(rèn)為,激光雷達(dá)不值得話費(fèi)如此高昂的費(fèi)用成本,不值得為其增大計(jì)算能力,也不值得為其增加認(rèn)知時(shí)間。
Reconcile:
在同一個(gè)視場(chǎng)(Field of View,F(xiàn)OV)內(nèi),假設(shè)傳感器X探測(cè)到一個(gè)物體,而傳感器Z沒有探測(cè)到。注意,這與物體完全在傳感器Z的FOV之外的情況有很大的不。一方面,系統(tǒng)會(huì)認(rèn)為傳感器X是正確的,Z是錯(cuò)誤的,可能是因?yàn)閆有故障,或者有模糊探測(cè),或者是其他的一些什么原因。另一個(gè)方面,也許傳感器X是錯(cuò)誤的,X可能是報(bào)告了一個(gè)“幽靈”(實(shí)際上并不存在的東西),而傳感器Z報(bào)告那里沒有東西是正確的。
Integrate:
假設(shè)我們有兩個(gè)物體a和b,分別在傳感器X和傳感器Z的視場(chǎng)FOV內(nèi)(a在X視場(chǎng)內(nèi),b在Z視場(chǎng)內(nèi))。也就是說,Z無法直接檢測(cè)到a,X也無法直接檢測(cè)到b。目前,想要實(shí)現(xiàn)的效果是,能否將X和Z的報(bào)告整合在一起,讓它們?cè)诟髯缘囊晥?chǎng)內(nèi)探測(cè)物體同時(shí),判斷是否為X視場(chǎng)中的物體正在向Z視場(chǎng)移動(dòng),預(yù)先提醒Z將有物體進(jìn)入探測(cè)區(qū)域。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-

落地?zé)o錫!京東首個(gè)物流機(jī)器人超級(jí)工廠來了
-

OpenAI發(fā)布的AI瀏覽器,市場(chǎng)為何反應(yīng)強(qiáng)烈?
-

馬云重返一線督戰(zhàn),阿里重啟創(chuàng)始人模式
-

機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-

存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬
-

長(zhǎng)安汽車母公司突然更名:從“中國(guó)長(zhǎng)安”到“辰致科技”
-

豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-

字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
最新活動(dòng)更多
-
即日-5.20立即下載>> 【限時(shí)免費(fèi)】物理場(chǎng)仿真助力生物醫(yī)學(xué)領(lǐng)域技術(shù)創(chuàng)新
-
精彩回顧立即查看>> 【直播】 智測(cè)未來·2026海克斯康春季產(chǎn)品創(chuàng)新日
-
精彩回顧立即查看>> 【線下論壇】新唐科技×芯唐南京 2026 年度研討會(huì)
-
精彩回顧立即查看>> OFweek 2026(第十五屆)中國(guó)機(jī)器人產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 維科杯· OFweek 2025中國(guó)機(jī)器人行業(yè)年度評(píng)選
-
精彩回顧立即查看>> 【在線會(huì)議】液冷服務(wù)器信號(hào)完整性及冷卻液關(guān)鍵電參數(shù)測(cè)試
推薦專題
- 1 AI狂歡遇上油價(jià)破百,全球股市還能漲多久? | 產(chǎn)聯(lián)看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實(shí)測(cè):中文穩(wěn)、細(xì)節(jié)炸,設(shè)計(jì)師慌了
- 3 6000億美元估值錨定:字節(jié)跳動(dòng)的“去單一化”突圍與估值重構(gòu)
- 4 Tesla AI5芯片最新進(jìn)展總結(jié)
- 5 連夜測(cè)了一波DeepSeek-V4,我發(fā)現(xiàn)它可能只剩“審美”這個(gè)短板了
- 6 熱點(diǎn)丨AI“瑜亮之爭(zhēng)”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫(kù)跑路,全員被封號(hào),還繼續(xù)扣錢!
- 8 2026,人形機(jī)器人只贏了面子
- 9 DeepSeek降價(jià)90%:價(jià)格屠夫不是身份,是戰(zhàn)略
- 10 AI Infra產(chǎn)業(yè)鏈卡在哪里了?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市


分享





