動(dòng)態(tài)生成掩膜預(yù)測(cè)網(wǎng)絡(luò)生成模型CondInst,助力FCN重奪實(shí)例檢測(cè)顛峰
CondInst的主要架構(gòu),C表示主干網(wǎng)絡(luò)的特征圖,P則為FPN的特征圖。Fmask是對(duì)應(yīng)的特征圖。head被作用于各個(gè)特征圖P得到分類結(jié)果和對(duì)應(yīng)的網(wǎng)絡(luò)頭生成參數(shù)(動(dòng)態(tài)生成的maskFCN個(gè)數(shù)與實(shí)例個(gè)數(shù)相同)。
CondInst中使用了依賴實(shí)例的濾波器,隱式地將實(shí)例概念編碼到了mask頭的參數(shù)中去,更為靈活的處理。針對(duì)非規(guī)則形狀可以比規(guī)則的bbox更好的進(jìn)行處理,這是相較于ROI方法的優(yōu)勢(shì)之一。
CondInst構(gòu)建與目標(biāo)檢測(cè)架構(gòu)FCOS上,充分利用其簡(jiǎn)單和靈活性。去除了FCOS的錨分支減少計(jì)算量。上圖中顯示了模型充分利用了特征金字塔,在每一層級(jí)都會(huì)有上圖虛線框中表示的功能層來進(jìn)行實(shí)例相關(guān)的預(yù)測(cè),計(jì)算出目標(biāo)類別的實(shí)例和動(dòng)態(tài)生成濾波器的參數(shù)。上圖中還包括了mask分支從P3層引出來計(jì)算特征圖。
最終輸出的掩膜大小是原始圖像的1/8.為了獲取高分辨率的實(shí)例掩膜,利用4倍上采樣來得到最終的掩膜圖像。
實(shí) 驗(yàn)
為了充分研究這一模型的有效性,研究人員在COCO數(shù)據(jù)集上對(duì)模型進(jìn)行了訓(xùn)練。首先測(cè)試了mask端的寬度和深度,來選擇最為合適的架構(gòu)大小。

實(shí)驗(yàn)表明深度為1效果最差,這是由于模型沒有足夠的容量,而達(dá)到3后則增加不明顯甚至下降。針對(duì)模型的寬度研究發(fā)現(xiàn),這一因素對(duì)于模型的性能影響較小。針對(duì)寬度為8深度為3的基線mask head模型,在V100上其運(yùn)行時(shí)間僅僅需要4.5mm/100個(gè)實(shí)例,僅需要169個(gè)參數(shù)。這說明這種動(dòng)態(tài)生成方法對(duì)主干網(wǎng)絡(luò)造成的額外開銷非常少,與之對(duì)比的是Mask R-CNN的mask head則包含有2.3M個(gè)參數(shù)。
在選擇完合適的參數(shù)后,研究人員將設(shè)計(jì)好的架構(gòu)與多種先進(jìn)的方法進(jìn)行了比較,下表中可以看到這種方法在性能上超過了傳統(tǒng)的實(shí)例分割算法:

其中1x 代表90k迭代訓(xùn)練。aug代表了數(shù)據(jù)增強(qiáng)。w/sem是指利用了輔助的語義分割任務(wù)。
最后來一起看看這種緊湊高效的網(wǎng)絡(luò)結(jié)果,性能優(yōu)異速度又快,真香!

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-

落地?zé)o錫!京東首個(gè)物流機(jī)器人超級(jí)工廠來了
-

OpenAI發(fā)布的AI瀏覽器,市場(chǎng)為何反應(yīng)強(qiáng)烈?
-

馬云重返一線督戰(zhàn),阿里重啟創(chuàng)始人模式
-

機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-

存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬
-

長(zhǎng)安汽車母公司突然更名:從“中國(guó)長(zhǎng)安”到“辰致科技”
-

豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-

字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
最新活動(dòng)更多
-
即日-5.20立即下載>> 【限時(shí)免費(fèi)】物理場(chǎng)仿真助力生物醫(yī)學(xué)領(lǐng)域技術(shù)創(chuàng)新
-
精彩回顧立即查看>> 【直播】 智測(cè)未來·2026海克斯康春季產(chǎn)品創(chuàng)新日
-
精彩回顧立即查看>> 【線下論壇】新唐科技×芯唐南京 2026 年度研討會(huì)
-
精彩回顧立即查看>> OFweek 2026(第十五屆)中國(guó)機(jī)器人產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 維科杯· OFweek 2025中國(guó)機(jī)器人行業(yè)年度評(píng)選
-
精彩回顧立即查看>> 【在線會(huì)議】液冷服務(wù)器信號(hào)完整性及冷卻液關(guān)鍵電參數(shù)測(cè)試
推薦專題
- 1 AI狂歡遇上油價(jià)破百,全球股市還能漲多久? | 產(chǎn)聯(lián)看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實(shí)測(cè):中文穩(wěn)、細(xì)節(jié)炸,設(shè)計(jì)師慌了
- 3 6000億美元估值錨定:字節(jié)跳動(dòng)的“去單一化”突圍與估值重構(gòu)
- 4 Tesla AI5芯片最新進(jìn)展總結(jié)
- 5 連夜測(cè)了一波DeepSeek-V4,我發(fā)現(xiàn)它可能只剩“審美”這個(gè)短板了
- 6 熱點(diǎn)丨AI“瑜亮之爭(zhēng)”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫跑路,全員被封號(hào),還繼續(xù)扣錢!
- 8 2026,人形機(jī)器人只贏了面子
- 9 DeepSeek降價(jià)90%:價(jià)格屠夫不是身份,是戰(zhàn)略
- 10 AI Infra產(chǎn)業(yè)鏈卡在哪里了?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市


分享





