計(jì)算機(jī)視覺(jué)的研究人員在利用現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)解決問(wèn)題時(shí)常常會(huì)無(wú)奈地感受到其對(duì)數(shù)據(jù)的龐大需求，當(dāng)前很多先進(jìn)的CNN模型都需要在像OpenImages和Places這樣包含上百萬(wàn)張標(biāo)注圖片的數(shù)據(jù)集上進(jìn)行訓(xùn)練。然而對(duì)于很多領(lǐng)域的應(yīng)用來(lái)說(shuō)，收集如此海量的數(shù)據(jù)其時(shí)間和經(jīng)濟(jì)成本幾乎是常人無(wú)法承受的。
為了解決計(jì)算機(jī)視覺(jué)領(lǐng)域缺乏數(shù)據(jù)的問(wèn)題，人們提出了預(yù)訓(xùn)練模型的遷移學(xué)習(xí)方法，通過(guò)在大規(guī)模的通用數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練而后再?gòu)?fù)用到目標(biāo)任務(wù)上，用少量數(shù)據(jù)對(duì)模型進(jìn)行適應(yīng)性調(diào)優(yōu)。盡管預(yù)訓(xùn)練模型在實(shí)踐中十分有效，但它仍不足以迅速地在新場(chǎng)景下掌握概念并進(jìn)行深入的理解，在工程實(shí)踐中還面臨著一系列問(wèn)題。由于大規(guī)模的預(yù)訓(xùn)練使得BERT和T5等方法在語(yǔ)言領(lǐng)域取得了巨大的進(jìn)展，研究人員堅(jiān)信大規(guī)模的預(yù)訓(xùn)練可以有效提升計(jì)算機(jī)視覺(jué)任務(wù)的性能。
為了充分研究大規(guī)模預(yù)訓(xùn)練和遷移學(xué)習(xí)的內(nèi)在機(jī)理和規(guī)律，來(lái)自谷歌的研究人員發(fā)表了一篇名為BigTransfer的論文，探索了如何有效利用超常規(guī)的圖像數(shù)據(jù)規(guī)模來(lái)對(duì)模型進(jìn)行預(yù)訓(xùn)練，并對(duì)訓(xùn)練過(guò)程進(jìn)行的系統(tǒng)深入的研究。研究人員發(fā)現(xiàn)，隨著預(yù)訓(xùn)練數(shù)據(jù)的增加，恰當(dāng)?shù)剡x擇歸一化層、拓展模型架構(gòu)的容量對(duì)于預(yù)訓(xùn)練的結(jié)果至關(guān)重要。
在有效的調(diào)整和訓(xùn)練后，這種方法展示了多個(gè)領(lǐng)域的視覺(jué)任務(wù)上展現(xiàn)了前所未有的適應(yīng)性和先進(jìn)的性能，包括小樣本是識(shí)別任務(wù)和最近提出的真實(shí)數(shù)據(jù)基準(zhǔn)ObjectNet上都取得了非常優(yōu)異的成績(jī)。
預(yù)訓(xùn)練
為了探索數(shù)據(jù)規(guī)模對(duì)于模型性能的影響，研究人員重新審視了目前常用的預(yù)訓(xùn)練配置（包括激活函數(shù)和權(quán)重的歸一化，模型的寬度和深度以及訓(xùn)練策略），同時(shí)利用了三個(gè)不同規(guī)模的數(shù)據(jù)集包括：ILSVRC－2012 （1000類(lèi)128萬(wàn)張圖像）， ImageNet－21k （2．1萬(wàn)類(lèi)的1400萬(wàn)張圖像） 和 JFT （1．8萬(wàn)類(lèi)的三億張圖像），更重要的是基于這些數(shù)據(jù)研究人員可以探索先前未曾涉足的數(shù)據(jù)規(guī)模。
研究人員首先探索了數(shù)據(jù)集規(guī)模和模型容量間的關(guān)系，選擇了ResNet不同的變體進(jìn)行訓(xùn)練。從標(biāo)準(zhǔn)大小的“R50x1”到x4倍寬度的，再到更深度152層“R152x4”，都在上面的數(shù)據(jù)集上進(jìn)行了訓(xùn)練。隨后研究人員獲得了關(guān)鍵的發(fā)現(xiàn)，如果想要充分利用大數(shù)據(jù)的優(yōu)勢(shì)，就必須同時(shí)增加模型的容量。
下圖左半部分箭頭開(kāi)頭的擴(kuò)大顯示了這一結(jié)論，數(shù)據(jù)量增大的情況下容量更大的模型性能增加更大，而容量小的模型反而會(huì)有一定程度地下降。
左半部分顯示了隨著數(shù)據(jù)量的增加需要擴(kuò)充模型的容量，紅色箭頭的擴(kuò)大意味著小模型架構(gòu)在大數(shù)據(jù)集下變差，而大模型架構(gòu)則得到改善。右圖顯示了在大數(shù)據(jù)集下的預(yù)訓(xùn)練并不一定改善，而是需要提高訓(xùn)練時(shí)間和計(jì)算開(kāi)銷(xiāo)來(lái)充分利用大數(shù)據(jù)的優(yōu)勢(shì)。
其次，訓(xùn)練的時(shí)間對(duì)模型性能也具有關(guān)鍵的作用。如果在大規(guī)模數(shù)據(jù)集上沒(méi)有進(jìn)行充分地訓(xùn)練調(diào)整計(jì)算開(kāi)銷(xiāo)的話，性能會(huì)有顯著下降（上圖中有半部分紅色點(diǎn)到藍(lán)色點(diǎn)下降），但通過(guò)適當(dāng)?shù)卣{(diào)整模型訓(xùn)練時(shí)間就能得到顯著的性能提升。在探索的過(guò)程中研究人員還發(fā)現(xiàn)了適當(dāng)?shù)臍w一化可以有效提升性能。下圖中展示了將批歸一化BN替換為組歸一化GN后可以有效提升預(yù)訓(xùn)練模型在大規(guī)模數(shù)據(jù)集上的性能，其原因主要來(lái)源于兩個(gè)方面。
首先在從預(yù)訓(xùn)練遷移到目標(biāo)任務(wù)時(shí)BN的狀態(tài)需要進(jìn)行調(diào)整，而GN卻是無(wú)狀態(tài)的從而避開(kāi)了需要調(diào)整的困難；其次，BN利用每一批次的統(tǒng)計(jì)信息，但這對(duì)于每個(gè)設(shè)備上的小批量來(lái)說(shuō)這種統(tǒng)計(jì)信息會(huì)變得不可靠，而對(duì)于大型模型來(lái)說(shuō)多設(shè)備上的訓(xùn)練不可避免。由于GN不需要計(jì)算每個(gè)批次的統(tǒng)計(jì)信息，又一次成功避開(kāi)了這一問(wèn)題。
圖中展示了預(yù)訓(xùn)練策略，在標(biāo)準(zhǔn)ResNet基礎(chǔ)上增加寬度和深度，將BN替換為GN和權(quán)重標(biāo)準(zhǔn)化，并在非常大規(guī)模數(shù)據(jù)集上訓(xùn)練更長(zhǎng)的時(shí)間。
12下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
