科大訊飛、北航新研究入選ACM MM 2022，首個(gè)X光下的小樣本檢測(cè)基準(zhǔn)和弱特征增強(qiáng)網(wǎng)絡(luò)

“百尺竿頭須進(jìn)步，十方世界是全身。”科大訊飛X光安檢系統(tǒng)自2018年至今，已斬獲業(yè)界多個(gè)榮譽(yù)獎(jiǎng)項(xiàng)，研發(fā)技術(shù)團(tuán)隊(duì)在科研之路上久久為功，孜孜不倦地進(jìn)行技術(shù)研發(fā)和驗(yàn)證。近日，科大訊飛X光安檢團(tuán)隊(duì)與北航合作的論文被ACM MM2022接收，是雙方合作的階段性成果之一。未來(lái)，科大訊飛研究院還將繼續(xù)在X光安檢領(lǐng)域深耕，研發(fā)前沿技術(shù)，積累科研成果，也會(huì)以實(shí)際需求作為驅(qū)動(dòng)力，探索更多技術(shù)落地的應(yīng)用場(chǎng)景。

近日，計(jì)算機(jī)多媒體頂級(jí)會(huì)議ACM Multimedia 2022接收論文結(jié)果已經(jīng)正式公布，會(huì)議接收了一篇由北京航空航天大學(xué)、科大訊飛研究院共同完成的工作。這項(xiàng)工作以X光安檢場(chǎng)景為例，針對(duì)一些危險(xiǎn)品類別出現(xiàn)頻率較低導(dǎo)致樣本難以獲取的現(xiàn)實(shí)情況，構(gòu)建了X-ray FSOD數(shù)據(jù)集，為X光下小樣本檢測(cè)任務(wù)提供模型檢測(cè)能力評(píng)估基準(zhǔn)。

研究者在構(gòu)建評(píng)估基準(zhǔn)的基礎(chǔ)上提出了微弱特征增強(qiáng)網(wǎng)絡(luò)，利用原型學(xué)習(xí)和特征調(diào)和的思想緩解微弱特征帶來(lái)的性能損失，為小樣本檢測(cè)帶來(lái)新的思考。

小樣本檢測(cè)任務(wù)（few-shot detection）旨在解決真實(shí)工業(yè)場(chǎng)景中樣本獲取困難情況下模型泛化能力差的痛點(diǎn)，嘗試通過(guò)少量的訓(xùn)練樣本獲得具有泛化能力的模型。小樣本檢測(cè)任務(wù)一直是學(xué)術(shù)界研究的焦點(diǎn)，傳統(tǒng)的方法主要聚焦于自然光數(shù)據(jù)，在常見(jiàn)的COCO數(shù)據(jù)集上進(jìn)行評(píng)估。由于自然光數(shù)據(jù)樣本通常具有顏色鮮艷、目標(biāo)清晰等特點(diǎn)，即便樣本數(shù)量有限，卷積神經(jīng)網(wǎng)絡(luò)依然可以提取到較為可靠的辨識(shí)度特征。

在真實(shí)的工業(yè)場(chǎng)景下，例如X光安檢場(chǎng)景，由于一些危險(xiǎn)品類別的出現(xiàn)頻率較低，導(dǎo)致樣本獲取十分困難，是一個(gè)典型的小樣本檢測(cè)問(wèn)題。然而，由于X光成像的特殊性，樣本普遍具有色彩單調(diào)、目標(biāo)模糊等特點(diǎn)，這些因素使得真實(shí)工業(yè)場(chǎng)景下的小樣本檢測(cè)任務(wù)面臨新的困境，即低辨識(shí)度導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)提取到的微弱特征難以支撐決策。目前，真實(shí)工業(yè)場(chǎng)景下的小樣本檢測(cè)任務(wù)很少被研究者們關(guān)注到。

開(kāi)源鏈接：https://github.com/wytbwytb/WEN

一、X光下小樣本檢測(cè)評(píng)估基準(zhǔn)（X-ray FSOD數(shù)據(jù)集）

評(píng)估基準(zhǔn)的構(gòu)建對(duì)于一項(xiàng)任務(wù)的研究是必不可少的。本文針對(duì)X光安檢場(chǎng)景下的小樣本檢測(cè)任務(wù)，提出了首個(gè)工業(yè)場(chǎng)景下的小樣本檢測(cè)任務(wù)評(píng)估基準(zhǔn)，X-ray FSOD 數(shù)據(jù)集。

在構(gòu)建基準(zhǔn)的過(guò)程中，本文遵循了經(jīng)典的小樣本檢測(cè)數(shù)據(jù)集Pascal VOC的設(shè)置（類別總數(shù)為20，其中15類為基類，5類為新類），從現(xiàn)有公開(kāi)的數(shù)據(jù)集中選擇了14個(gè)類別，其中5個(gè)類來(lái)自O(shè)PIXray數(shù)據(jù)集（ACM MM2020），5個(gè)類來(lái)自HiXray數(shù)據(jù)集（ICCV 2021），剩余4個(gè)類來(lái)自EDS數(shù)據(jù)集（CVPR 2022），并新貢獻(xiàn)了額外的6個(gè)類別，組建了一個(gè)總計(jì)20個(gè)類別的X光安檢場(chǎng)景下的標(biāo)準(zhǔn)小樣本檢測(cè)任務(wù)評(píng)估基準(zhǔn)。X-ray FSOD數(shù)據(jù)集中各個(gè)類別在自然光和X光下的對(duì)照?qǐng)D如圖1所示。

二、微弱特征增強(qiáng)網(wǎng)絡(luò)

由于遮擋嚴(yán)重、顏色匱乏等原因，X光下的小樣本檢測(cè)任務(wù)面臨著目標(biāo)特征非常微弱的問(wèn)題。由于判別信息微弱，傳統(tǒng)的小樣本檢測(cè)方法在該場(chǎng)景下很難達(dá)到令人滿意的效果。受原型學(xué)習(xí)聚合辨識(shí)度信息的啟發(fā)，本文提出的微弱特征增強(qiáng)網(wǎng)絡(luò)。微弱特征增強(qiáng)網(wǎng)絡(luò)包含兩個(gè)核心模塊，即原型感知模塊（PA）和特征調(diào)和模塊（FR）。原型感知模塊對(duì)待檢測(cè)目標(biāo)周圍的關(guān)鍵區(qū)域進(jìn)行聚合，進(jìn)而提取目標(biāo)本身的可依據(jù)特征，并建立類別原型庫(kù)以生成每個(gè)類別的可依據(jù)特征。特征調(diào)和模塊自適應(yīng)地調(diào)整不同類別相對(duì)應(yīng)原型的影響程度，將原型感知模塊提取出的辨識(shí)度信息選擇性地融合至特定對(duì)象本身的特征中。

原型感知模塊（PA）

原型感知模塊的主要任務(wù)是通過(guò)聚合生成類別原型，建立全局原型庫(kù)的方式，來(lái)提取出不同類別的可依據(jù)特征。首先，該模塊將屬于不同目標(biāo)的候選框特征根據(jù)與目標(biāo)真實(shí)標(biāo)注框的IoU值加權(quán)聚合，形成目標(biāo)的特征原型，公式如下：

隨后，該模塊將屬于相同類別的目標(biāo)特征原型聚合。緊接著，利用得到的類別原型集合建立并更新全局原型庫(kù)中對(duì)應(yīng)類別的原型，公式如下：

為了進(jìn)一步增強(qiáng)不同類別之間提取出可依據(jù)特征的區(qū)別，研究者們對(duì)全局原型庫(kù)設(shè)計(jì)了損失函數(shù)，計(jì)算每?jī)蓚€(gè)類別特征原型之間余弦相似度的平均值，通過(guò)最小化損失函數(shù)可以讓不同類別原型的特征向量趨于正交，公式如下：

特征調(diào)和模塊（FR）

特征調(diào)和模塊（FR）所做的是將原型庫(kù)中存儲(chǔ)的類別原型特征與候選框特征進(jìn)行不同程度融合，從而增強(qiáng)主干網(wǎng)絡(luò)提取出的表示特征。

調(diào)和過(guò)程首先需要確定的是由主干網(wǎng)絡(luò)生成的候選框特征需要融合全局原型庫(kù)中對(duì)應(yīng)的哪一種類別特征原型。研究者們采取的類別選取方式為：在訓(xùn)練階段，將候選框特征所屬目標(biāo)的類別標(biāo)簽作為融合類別；在測(cè)試階段，計(jì)算候選框特征f_R與全局原型庫(kù)中每個(gè)類別特征原型之間的余弦相似度并比較，將相似度最高的類別原型作為融合類別。

類別特征原型的融合方式采用了兩種方式，第一種是樸素融合方式，公式如下：

而由于X光場(chǎng)景下不同類別的信息丟失程度不同，因此不同類別對(duì)類別原型中包含的可依據(jù)特征的需求程度也不同，因此僅僅用樸素的融合方式很難達(dá)到令人滿意的效果，該模塊設(shè)計(jì)了卷積的融合方式，公式如下：

三、實(shí)驗(yàn)

實(shí)驗(yàn)部分首先在VOC輪廓數(shù)據(jù)集上證明了微弱特征會(huì)導(dǎo)致少樣本目標(biāo)檢測(cè)模型的性能下降（微弱特征影響實(shí)驗(yàn)）；其次，在真實(shí)弱特征場(chǎng)景（X-ray FSOD數(shù)據(jù)集）、模擬弱特征（VOC輪廓數(shù)據(jù)集）以及傳統(tǒng)場(chǎng)景（Pascal VOC數(shù)據(jù)集）下進(jìn)行了對(duì)比試驗(yàn)，充分說(shuō)明了模型的有效性；最后進(jìn)行分離實(shí)驗(yàn)。實(shí)驗(yàn)對(duì)比的模型包括TFA（ICML 2020）、FSCE(CVPR 2021)、DeFRCN(ICCV 2021)、DCNet(CVPR 2021)等SOTA方法。

微弱特征影響實(shí)驗(yàn)

對(duì)比試驗(yàn)

（1）X-ray FSOD數(shù)據(jù)集

（2）VOC輪廓數(shù)據(jù)集

（3）Pascal VOC數(shù)據(jù)集

分離實(shí)驗(yàn)

四、總結(jié)

本文中，研究者們指出X光場(chǎng)景下的小樣本檢測(cè)任務(wù)往往面臨著由于遮擋嚴(yán)重、顏色

匱乏等原因?qū)е碌哪繕?biāo)特征非常微弱的困境。因此，傳統(tǒng)的小樣本檢測(cè)方法在這些場(chǎng)景下存在嚴(yán)重性能下降的問(wèn)題。

為了給上述重要問(wèn)題的研究提供支持，來(lái)自北航、訊飛的研究人員構(gòu)建了首個(gè)X光場(chǎng)景下的小樣本檢測(cè)數(shù)據(jù)集——X-ray FSOD數(shù)據(jù)集。同時(shí)，提出了微弱特征增強(qiáng)網(wǎng)絡(luò)，通過(guò)聚合目標(biāo)周圍的關(guān)鍵區(qū)域來(lái)提取目標(biāo)本身的可依據(jù)特征，并建立類別原型庫(kù)以生成每個(gè)類別的可依據(jù)特征，再將提取出的類別可依據(jù)特征融合至特定對(duì)象本身的特征中。研究者們?cè)?X 光場(chǎng)景下的 X-ray FSOD數(shù)據(jù)集與常見(jiàn)場(chǎng)景下的 Pascal VOC 數(shù)據(jù)集上做了大量的實(shí)驗(yàn)，并證明了提出的 WEN 模型優(yōu)于其他小樣本檢測(cè)模型。

五、參考文獻(xiàn)

Renshuai Tao, Hainan Li, Tianbo Wang, Yanlu Wei, Yifu Ding, Bowei Jin, Hongping Zhi, Xianglong Liu, Aishan Liu. Exploring Endogenous Shift for Cross-domain Detection: A Large-scale Benchmark and Perturbation Suppression Network. IEEE CVPR 2022.

Renshuai Tao, Yanlu Wei, Xiangjian Jiang, Hainan Li, Haotong Qin, Jiakai Wang, Yuqing Ma, Libo Zhang, Xianglong Liu. Towards Real-world X-ray Security Inspection: A High-Quality Benchmark And Lateral Inhibition Module For Prohibited Items Detection. IEEE ICCV 2021.

Renshuai Tao, Tianbo Wang, Ziyang Wu, Cong Liu, Aishan Liu, Xianglong Liu. Few-shot X-ray Prohibited Item Detection: A Benchmark and Weak-feature Enhancement Network. ACM MM 2022.

Yanlu Wei, Renshuai Tao, Zhangjie Wu, Yuqing Ma, Libo Zhang, Xianglong Liu. Occluded Prohibited Items Detection: An X-ray Security Inspection Benchmark and De-occlusion Attention Module. ACM Multimedia 2020.

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。