全球計算機視覺頂會CVPR 2020論文出爐：騰訊優(yōu)圖17篇論文入選

全球計算機視覺頂級會議CVPR2020 (IEEE Conference on Computer Vision and Pattern Recognition，即IEEE國際計算機視覺與模式識別會議) 即將于2020年6月14日-19日在美國西雅圖召開。本屆大會總共錄取來自全球論文1470篇，騰訊優(yōu)圖實驗室入選17篇。

作為計算機視覺領域世界三大頂會之一，CVPR 的論文投稿量近三年持續(xù)大漲，CVPR官網(wǎng)顯示，今年大會論文有效投稿數(shù)量6656篇，最終錄取1470篇，錄取率僅為22%，相比去年降低3個百分點。

本屆大會涵蓋人體識別、基于圖像建模、計算攝影與圖像、視頻分析與事件識別、臉部和手勢分析、文件分析、統(tǒng)計方法與學習等多個主題。騰訊被收錄的論文涉及主題廣泛，涵蓋類比學習、人臉識別、物體檢測、行人重識別等熱門及前沿領域，這些最新科研成果展示了騰訊在計算機視覺領域的技術實力，同時也將對計算機視覺算法落地化應用起到助推作用。

以下為部分騰訊優(yōu)圖入選CVPR2020的論文：

1、神經(jīng)網(wǎng)絡的濾波器嫁接技術

Filter Grafting for Deep Neural Networks

神經(jīng)網(wǎng)絡存在天然的無效濾波器，濾波器剪枝(filter pruning)技術主要對無效的濾波器進行移除使網(wǎng)絡的推理速度增加。然而在這篇文章中，優(yōu)圖提出濾波器嫁接(filter grafting)技術。和pruning相反，優(yōu)圖并不是移除網(wǎng)絡的無效濾波器，而是通過引入外部信息的方法來激活無效濾波器使之重新發(fā)揮作用。激活的方式為將其他網(wǎng)絡的有效濾波器的參數(shù)嫁接到無效濾波器上。為了更好地發(fā)揮grafting的性能，優(yōu)圖同時提出了信息熵相關的指標評估濾波器的好壞，并用自適應的方式來平衡嫁接網(wǎng)絡和被嫁接網(wǎng)絡的參數(shù)。通過大量的實驗，表明grafting后的網(wǎng)絡在有效濾波器的數(shù)量上和模型性能上均有大幅度的提高。

2、類比學習：基于變換的無監(jiān)督光流估計

Learning by Analogy: Reliable Supervision from Transformations for Unsupervised Optical Flow Estimation

利用視圖合成，進行光流的無監(jiān)督學習，逐漸成為替代光流監(jiān)督學習的一類方法。但是在一些劇烈變化的場景上，可能會違背無監(jiān)督學習的目標，反而導致學習效果不好。這篇文章中，優(yōu)圖提出了一種稱為“增廣正則化”的學習框架。該框架在一些常規(guī)學習框架基礎上，利用增廣變換的數(shù)據(jù)多做一次前向，并利用原始數(shù)據(jù)的變換預測作為監(jiān)督。在文章中，優(yōu)圖進一步拓展網(wǎng)絡，支持共享光流解碼器的多視圖輸入。在多個benchmark上，與其它的無監(jiān)督方法比，以顯著的效果提升，取得了當前最好的正確率。另外，優(yōu)圖提出的無監(jiān)督方法，使用更少的參數(shù)量，就可以媲美最近一些監(jiān)督方法的效果。

3、面向密集多角度物體檢測的動態(tài)修正網(wǎng)絡

Dynamic Refinement Network for Oriented and Densely Packed Object Detection

目前主流的物體檢測?方法在旋轉(rotated)及密集排列(densely packed)?標場景下，檢測性能顯著下降。騰訊優(yōu)圖認為主要原因是:深度神經(jīng)?網(wǎng)絡中同層神經(jīng)元感受野、形狀、?角度單一，不適合處理多?度、多形狀的目標;模型學到的一般性知識不具備針對特定樣本?適應調整的能力。針對以上兩點，優(yōu)圖提出動態(tài)修正?絡(Dynamic Refinement Network，圖1)。具體說來:(1) 設計了自適應感受野調整模塊，使模型能夠根據(jù)目標形狀、旋轉角度?適應地調整感受野，緩解單一的感受野與多變的?標之間的矛盾。(2)針對分類與回歸任務設計了動態(tài)修正分類器 (圖2(左))與動態(tài)修正回歸器(圖2(右))，使模型兼顧靜態(tài)知識(statistic knowledge)和動態(tài)知識(dynamic knowledge)的學習，賦予模型依據(jù)樣本自適應調整的能?。結合以上兩點， 優(yōu)圖設計了統(tǒng)一的動態(tài)修正網(wǎng)絡。在當前著名的密集旋轉目標檢測數(shù)據(jù)集 (DOTA、HRSC2016、 SKU110K)上，該?法均取得了新的最佳性能。

4、自適應課程學習人臉識別函數(shù)

CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition

人臉識別中常用損失函數(shù)主要包括兩類，基于間隔或者難樣本挖掘。前一類方法對所有樣本都采用一個固定的間隔值，忽略了樣本自身的難易信息。后一種方法則在整個網(wǎng)絡訓練周期都強調困難樣本，可能導致網(wǎng)絡無法收斂問題。在工作中，優(yōu)圖基于課程學習的思路，提出了一種新的自適應課程學習損失函數(shù)。在訓練初始階段，方法主要關注容易的樣本;隨著訓練進行，逐漸關注較難的樣本。同時，在同一個訓練階段，不同的樣本根據(jù)其難易程度被賦予不同的權值。在常用的多個人臉識別benchmark上，該方法相較于SOTA方法都取得了穩(wěn)定一致的提升。

5、基于注意力卷積二叉神經(jīng)樹的細粒度視覺分類

AttentionConvolutionalBinaryNeuralTree for Fine-Grained Visual Categorization

本文由騰訊優(yōu)圖實驗室和中科院軟件所聯(lián)合提出。細粒度視覺分類(Fine-Grained Visual Categorization，F(xiàn)GVC)因樣本類間差異更加細微，往往只能借助微小的局部差異才能區(qū)分出不同的類別，使其成為一項重要但具有挑戰(zhàn)性的任務。本文提出了一種基于注意力機制的卷積二叉神經(jīng)樹結構。具體來說，將傳統(tǒng)的決策樹與神經(jīng)網(wǎng)絡結合，在樹的內部節(jié)點中使用路由來確定樹內從根到葉的計算路徑，并且在樹的邊上添加了卷積操作增強表示學習，最終決策融合了所有葉節(jié)點的預測。該模型以一種由粗到細的層次方式學習具有判別力的特征。此外，采用非對稱的策略來增加多尺度特征提取，增強樣本的區(qū)分性特征表示。采用SGD優(yōu)化方法以端到端的方式訓練整個網(wǎng)絡。該方法在CUB-200-2011，Stanford Cars 和 Aircraft數(shù)據(jù)集上進行了評估，顯著優(yōu)于當前其他的弱監(jiān)督細粒度方法。

6、基于注意力機制及多關系檢測器的小樣本物體檢測

Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector

本文由香港科技大學和騰訊優(yōu)圖實驗室聯(lián)合提出。目標檢測網(wǎng)絡已經(jīng)被廣泛應用到安保，自動駕駛，醫(yī)學圖像等各個領域。然而傳統(tǒng)的目標檢測網(wǎng)絡需要使用大量高質量的訓練樣本對模型進行訓練。這些訓練樣本需要大量的人力物力進行標注，往往無法快速獲得，所以無法將目標檢測模型快速部署到新樣本的檢測中，而小樣本目標檢測方法可以很好地解決這一問題。聯(lián)合團隊提出了一種基于深度孿生網(wǎng)絡的小樣本目標檢測模型，通過基于注意力機制的候選框網(wǎng)絡，多關系檢測器以及三元組對比訓練方法對網(wǎng)絡進行改進，使得網(wǎng)絡能夠不對新物體重新訓練即可應用于新類別檢測。此外，文章中提供了一個1000類的小樣本物體檢測數(shù)據(jù)集，希望可以方便該領域的研究。

該聯(lián)合團隊的工作主要有以下貢獻：首先，使用注意力機制對物體檢測候選框進行篩選。將待檢測新物體的特征作為濾波器在輸入圖片上進行卷積，以此找出潛在的候選框區(qū)域。然后，使用多關系檢測器對這些候選框進行分類以及位置調整。多關系檢測器對候選框和新物體進行像素級、區(qū)域級和全圖級的多級關系匹配，以此找出匹配程度最高的區(qū)域作為檢測輸出。最后，構建(目標樣本，正樣本，負樣本)訓練樣本三元組對模型進行訓練，使得網(wǎng)絡能夠同時學習到相同物體間的相似性和不同物體間的差異性，從而大大提升網(wǎng)絡在新樣本上的檢測性能。該方法在多個數(shù)據(jù)集上均取得了最好的結果，且無需在新物體上進行任何訓練。其基本框架圖如下：

7、基于顯著性引導級聯(lián)抑制網(wǎng)絡的行人重識別

Salience-Guided Cascaded Suppression Network for Person Re-identification

本文由北京大學、騰訊優(yōu)圖和南方科技大學聯(lián)合提出。利用注意力機制對全局和局部特征進行建模，作為最終的行人表征，已成為行人再識別(Re-ID)算法的主流趨勢。這些方法潛在的局限性是，它們側重于提取最突出的特征(顯著性特征)，但重新識別一個人可能依賴于不同情況下顯著性特征所掩蓋的各種其他的線索，比如身體、衣服甚至鞋子等。為了解決這一局限性，聯(lián)合團隊提出了一種新的顯著性引導級聯(lián)抑制網(wǎng)絡(SCSN)，該網(wǎng)絡使模型能夠挖掘多樣化的顯著性特征，并通過級聯(lián)的方式將這些特征集成融合到最終的特征表示中。

聯(lián)合團隊的工作主要有以下貢獻：第一、我們觀察到，以前網(wǎng)絡學習到的顯著性特征可能會阻礙網(wǎng)絡學習其他重要信息。為了解決這一局限性，引入了級聯(lián)抑制策略，該策略使網(wǎng)絡能夠逐級挖掘被其他顯著特征掩蓋的各種潛在的、有用的特征，并融合各級提取的特征作為最后的特征表示; 第二、提出一個顯著特征提取(SFE)單元，該單元可以抑制在上一級聯(lián)階段學習到的顯著特征，然后自適應地提取其他潛在的顯著特征，以獲得行人的不同線索;第三、開發(fā)了一種有效的特征聚合策略，充分增強了網(wǎng)絡提取潛在顯著特征的能力。實驗結果表明，該方法在四個大規(guī)模數(shù)據(jù)集上的性能優(yōu)于現(xiàn)有最好的方法。特別是，該方法在CUHK03數(shù)據(jù)集上比目前最好的方法提升7.4%。其基本框架圖如下：

8、概念歸因的卷積神經(jīng)網(wǎng)絡的全局解釋

Towards Global Explanations of Convolutional Neural Networks with Concept Attribution

本文由騰訊優(yōu)圖實驗室和香港中文大學合作完成。卷積神經(jīng)網(wǎng)絡(CNN)的廣泛應用，使得解釋其行為變得越來越重要。其中，全局解釋因其有助于理解整個樣本類別的模型預測，最近引起了極大關注。但是，現(xiàn)有方法絕大多數(shù)都依賴于模型的局部逼近和對單個樣本預測的獨立研究，這使得它們無法反映出卷積神經(jīng)網(wǎng)絡的真實推理過程。聯(lián)合團隊提出了一種創(chuàng)新的兩階段框架，即對可解釋性的攻擊(AfI)，以更忠實地解釋卷積神經(jīng)網(wǎng)絡。 AfI根據(jù)用戶定義的概念的重要性來解釋模型決策。它首先進行特征遮擋分析，該過程類似于攻擊模型以得出不同特征的重要性的過程，于是有能力學習全局解釋。然后，通過語義任務將特征重要性映射到概念重要性，下圖展示了AfI的框架結構。實驗結果證實了AfI的有效性及其相比于現(xiàn)有方案的優(yōu)越性。本文中還演示了其在提供卷積神經(jīng)網(wǎng)絡理解方面的用例，例如基礎模型預測和模型認知中的偏差。

9、基于注意力機制提高對抗可遷移性

Boosting the Transferability of Adversarial Samples via Attention

本文由騰訊優(yōu)圖實驗室和香港中文大學合作完成。 深度學習模型的廣泛部署使得在實踐中評估模型的魯棒性成為必需，尤其是對于安防領域和安全敏感領域例如自動駕駛和醫(yī)療診斷。攻擊是一種重要的衡量模型魯棒性的方式，其中針對深度網(wǎng)絡圖像分類器生成對抗圖像是最基本和公認的任務之一。 最近，針對圖像分類器的基于遷移的黑盒攻擊引起了越來越多的興趣。這種攻擊方式，攻擊者需要基于本地代理模型來制作對抗性圖像，而沒有來自遠端實際目標的反饋信息。 在這種具有挑戰(zhàn)性的設置下，由于對所使用的本地模型的過度擬合，合成的對抗性樣本通常無法獲得良好的成績。因此，文章中提出了一種新穎的機制來減輕過度擬合的問題，從而增強黑盒攻擊的可遷移性。不同的網(wǎng)絡架構例如VGG16，ResNet，Inception在識別圖片時會有相似的圖像注意力，比如都傾向于注意貓臉來識別貓?；诖?，通過模型提取特征的注意力梯度來規(guī)范對抗性示例的搜索。 這種基于注意力規(guī)約的對抗樣本搜索使得聯(lián)合團隊可以優(yōu)先考慮攻擊可能被各種體系結構共同關注的關鍵特征，從而促進結果對抗實例的可遷移性。在ImageNet分類器上進行的大量實驗證實了文章中策略的有效性，進一步在白盒和黑盒兩種條件下對比了最新方法，該攻擊策略都表現(xiàn)出了一致的優(yōu)越性。下圖呈現(xiàn)了我們的基于注意力機制的模型攻擊框架。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。