標(biāo)題：Meta新模型WebSSL：視覺(jué)學(xué)習(xí)的顛覆性認(rèn)知
Meta公司近日發(fā)布的WebSSL系列模型，引發(fā)了業(yè)界對(duì)于視覺(jué)學(xué)習(xí)領(lǐng)域的深度思考。這一系列模型以無(wú)語(yǔ)言監(jiān)督學(xué)習(xí)為特色，旨在探索視覺(jué)自監(jiān)督學(xué)習(xí)的潛力。與OpenAI的CLIP相比，WebSSL模型在多個(gè)維度上展現(xiàn)了其獨(dú)特的優(yōu)勢(shì)和潛力。
首先，WebSSL模型采用了聯(lián)合嵌入學(xué)習(xí)（DINOv2）和掩碼建模（MAE）兩種視覺(jué)自監(jiān)督學(xué)習(xí)范式。模型僅使用MetaCLIP數(shù)據(jù)集中的20億張圖像子集進(jìn)行訓(xùn)練，排除了語(yǔ)言監(jiān)督的影響。這一設(shè)計(jì)思路，使得模型能夠在純視覺(jué)環(huán)境下進(jìn)行訓(xùn)練，從而避免了數(shù)據(jù)和模型規(guī)模限制帶來(lái)的挑戰(zhàn)。
其次，WebSSL模型在五個(gè)容量層級(jí)（ViT-1B 至 ViT-7B）上進(jìn)行了訓(xùn)練，評(píng)估基于Cambrian-1基準(zhǔn)測(cè)試，涵蓋了通用視覺(jué)理解、知識(shí)推理、OCR和圖表解讀等16個(gè)視覺(jué)問(wèn)答任務(wù)。這一大規(guī)模訓(xùn)練和評(píng)估過(guò)程，揭示了參數(shù)規(guī)模對(duì)模型性能的影響，以及模型在無(wú)語(yǔ)言監(jiān)督下的表現(xiàn)潛力。
值得注意的是，WebSSL模型在OCR和圖表任務(wù)中的表現(xiàn)尤為突出。通過(guò)僅用1.3%的富文本圖像進(jìn)行訓(xùn)練，WebSSL模型在OCRBench和ChartQA任務(wù)中的提升高達(dá)13.6%。這一結(jié)果無(wú)疑挑戰(zhàn)了現(xiàn)有的視覺(jué)學(xué)習(xí)模型在無(wú)語(yǔ)言監(jiān)督下的表現(xiàn)極限。
此外，高分辨率（518px）微調(diào)進(jìn)一步縮小了與SigLIP等高分辨率模型的差距，在文檔任務(wù)中表現(xiàn)尤為出色。這表明WebSSL模型在處理高分辨率圖像時(shí)，具有更強(qiáng)的適應(yīng)性和表現(xiàn)力。
更為值得一提的是，WebSSL模型在傳統(tǒng)基準(zhǔn)測(cè)試（如ImageNet-1k分類、ADE20K分割）上保持強(qiáng)勁表現(xiàn)，部分場(chǎng)景甚至優(yōu)于MetaCLIP和DINOv2。這一結(jié)果無(wú)疑增強(qiáng)了我們對(duì)WebSSL模型的信心，也讓我們看到了其在未來(lái)視覺(jué)學(xué)習(xí)領(lǐng)域的無(wú)限可能。
那么，WebSSL模型能否挑戰(zhàn)OpenAI的CLIP呢？從目前的結(jié)果來(lái)看，WebSSL在無(wú)語(yǔ)言監(jiān)督下的表現(xiàn)潛力巨大，其在OCR和圖表任務(wù)中的表現(xiàn)甚至超越了CLIP。然而，我們也需要認(rèn)識(shí)到，CLIP作為一款里程碑式的模型，其在語(yǔ)言和視覺(jué)的雙模態(tài)特性上具有無(wú)可比擬的優(yōu)勢(shì)。因此，WebSSL要想挑戰(zhàn)CLIP，需要在保持其純視覺(jué)特性的同時(shí)，進(jìn)一步挖掘其語(yǔ)言特性，以實(shí)現(xiàn)更廣泛的應(yīng)用和更深入的理解。
總的來(lái)說(shuō)，Meta的WebSSL模型為我們提供了一個(gè)全新的視角來(lái)理解和處理視覺(jué)數(shù)據(jù)。通過(guò)無(wú)語(yǔ)言監(jiān)督的學(xué)習(xí)方式，WebSSL有望為我們帶來(lái)更強(qiáng)大、更靈活的視覺(jué)表征學(xué)習(xí)模型。我們期待著WebSSL在未來(lái)能夠帶來(lái)更多的驚喜和突破。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
