面向智能車的自然誘發(fā)駕駛員情緒面部表情數(shù)據(jù)集!
DEFE數(shù)據(jù)集
為了解決現(xiàn)有駕駛員情緒分析數(shù)據(jù)集的局限性,我們建立了一個駕駛員情緒面部表情數(shù)據(jù)集(DEFE),以研究基于面部視覺數(shù)據(jù)的駕駛員情緒識別。在表2中,我們描述了收集駕駛員真實面部表達(dá)的實驗細(xì)節(jié),以及數(shù)據(jù)集中的情感標(biāo)簽。DEFE數(shù)據(jù)集共有60位參加者(43位男性),每位參加者在觀看完經(jīng)選擇的刺激材料后,在相同的駕駛場景下完成駕駛?cè)蝿?wù),并分別從維度情緒和離散情緒兩方面評價了他們在這一駕駛過程中的情緒反應(yīng),這些度量包括喚醒,效價和掌控力以及情感類別和強度,實驗數(shù)據(jù)采集及駕駛場景如圖1所示。

表2. DEFE數(shù)據(jù)集小結(jié)


圖1. DEFE實驗數(shù)據(jù)集實驗采集及駕駛場景
我們還比較了使用DEFE數(shù)據(jù)集進(jìn)行駕駛員情緒識別的結(jié)果。DEFE數(shù)據(jù)集可以分別從維度情緒(喚醒,效價和掌控力)和離散情緒(情感類別和強度)兩方面對駕駛員情緒進(jìn)行識別,以準(zhǔn)確度和F1分?jǐn)?shù)建立了數(shù)據(jù)集的基線結(jié)果。除了DEFE數(shù)據(jù)集的情緒識別外,我們還選擇了DEAP和CK+數(shù)據(jù)集作為靜態(tài)生活場景下的比較數(shù)據(jù)集,比較結(jié)果如表3所示(DEAP數(shù)據(jù)集因為采集過程中面部存在隨機電極片遮擋,可能是造成識別結(jié)果較低的主要原因)。


表3.DEFE數(shù)據(jù)集情緒識別結(jié)果
圖2顯示了DEFE數(shù)據(jù)集的樣例圖片。我們觀察到面部表達(dá)隨情感的種類而變化,但是在駕駛中這種變化是特別微弱的。例如,消極情緒(憤怒)和中性狀態(tài)的差異非常小。在大多數(shù)視頻剪輯中我們很難觀察到峰值表情,這種現(xiàn)象很可能是因為情緒的面部表達(dá)受到了駕駛?cè)蝿?wù)的影響。

圖2. DEFE數(shù)據(jù)集中3種情緒類別的樣例圖像:第一行憤怒,第二行快樂和第三行中性。
動態(tài)駕駛場景和靜態(tài)生活場景下面部表情的差異
進(jìn)一步的,我們基于DEFE和JAFFE數(shù)據(jù)集對動態(tài)駕駛和靜態(tài)生活條件之間的面部表情進(jìn)行了差異分析。圖3顯示了在面部動作編碼系統(tǒng)(FACS)中憤怒和開心的動作單元(AU)編碼以及描述。通過比較兩個數(shù)據(jù)集中不同情緒的動作單元出現(xiàn)(AU presence),如表4所示,我們發(fā)現(xiàn)兩種場景下AU presence存在顯著差異。

圖3. FACS可用于描述成人的面部表情。(a)和(b)分別顯示常見的FACS憤怒和快樂編碼,(c)呈現(xiàn)AU的憤怒和快樂的內(nèi)容描述

表4.動態(tài)駕駛和靜態(tài)生活場景下的AU presence差異分析
對于邏輯回歸結(jié)果,動態(tài)駕駛和靜態(tài)生活場景下也有顯著性差異。對于憤怒情緒,動態(tài)駕駛場景下的邏輯回歸結(jié)果顯示只有AU4和憤怒情緒相關(guān)且顯著,而在靜態(tài)生活場景下AU4,AU5和AU23都和憤怒情緒相顯著相關(guān)。對于開心情緒,動態(tài)駕駛場景下的回歸結(jié)果顯示沒有任何AU和開心顯著相關(guān),但是在靜態(tài)生活場景下的結(jié)果顯示AU12和開心情緒顯著相關(guān)。

表5.動態(tài)駕駛和靜態(tài)生活場景下的AU presence回歸分析
以上結(jié)果表明駕駛場景中的人類面部情感表達(dá)與其他生活場景不同。這可能是由于駕駛員需要在駕駛過程中保持專注,這降低了面部肌肉運動的頻率和幅度。關(guān)于這些結(jié)果的解釋性研究可能需要進(jìn)一步探索。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-5.20立即下載>> 【限時免費】物理場仿真助力生物醫(yī)學(xué)領(lǐng)域技術(shù)創(chuàng)新
-
精彩回顧立即查看>> 【直播】 智測未來·2026海克斯康春季產(chǎn)品創(chuàng)新日
-
精彩回顧立即查看>> 【線下論壇】新唐科技×芯唐南京 2026 年度研討會
-
精彩回顧立即查看>> OFweek 2026(第十五屆)中國機器人產(chǎn)業(yè)大會
-
精彩回顧立即查看>> 維科杯· OFweek 2025中國機器人行業(yè)年度評選
-
精彩回顧立即查看>> 【在線會議】液冷服務(wù)器信號完整性及冷卻液關(guān)鍵電參數(shù)測試
推薦專題
- 1 AI狂歡遇上油價破百,全球股市還能漲多久? | 產(chǎn)聯(lián)看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實測:中文穩(wěn)、細(xì)節(jié)炸,設(shè)計師慌了
- 3 6000億美元估值錨定:字節(jié)跳動的“去單一化”突圍與估值重構(gòu)
- 4 Tesla AI5芯片最新進(jìn)展總結(jié)
- 5 連夜測了一波DeepSeek-V4,我發(fā)現(xiàn)它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續(xù)扣錢!
- 8 2026,人形機器人只贏了面子
- 9 DeepSeek降價90%:價格屠夫不是身份,是戰(zhàn)略
- 10 AI Infra產(chǎn)業(yè)鏈卡在哪里了?
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市


分享













