過半電商網(wǎng)站訪問量來自爬蟲！“爬蟲AI化”給防控威脅帶來新挑戰(zhàn)

8月6日消息，近日，負責支持和保護網(wǎng)絡生活的云服務提供商Akamai發(fā)布的最新SOTI報告《侵蝕您的利潤：網(wǎng)絡爬蟲程序?qū)﹄娚绦袠I(yè)有何影響》顯示，在針對電商網(wǎng)站的69億次請求進行分析時發(fā)現(xiàn)，人類訪問行為占據(jù)了49%，即接近一半的訪問量來自真實用戶，而剩余的略多于一半則是由各類機器人“爬蟲”完成的。其中，高風險類別的爬蟲占據(jù)了總爬蟲活動的27%，它們對企業(yè)的運營構(gòu)成了嚴重威脅，可能執(zhí)行諸如撞庫、數(shù)據(jù)竊取、庫存惡意抓取等惡意行為。

爬蟲是“Robot”（機器人）的縮寫，它是一段能夠模擬正常用戶行為的代碼。與瀏覽器不同，爬蟲在執(zhí)行任務時更為高效且針對性強，能夠迅速抓取目標信息。

業(yè)內(nèi)根據(jù)爬蟲行為性質(zhì)與影響，將爬蟲分為幾大類：善意的爬蟲如搜索引擎，它們?yōu)樾畔⒘魍ㄅc檢索提供了便利；中性爬蟲往往很嘈雜，盡管它們?nèi)匀皇呛戏ǖ?；它們實際上是好機器人的一個子類別，包括不斷發(fā)送請求的合作伙伴機器人和其他頻繁調(diào)用程序API的機器人；而有害的爬蟲，則可能從事撞庫攻擊、庫存抓取等惡意行為，嚴重損害企業(yè)利益與安全。

那么，在電商環(huán)境中，不法分子如何利用爬蟲技術從中獲利呢？

通過爬蟲技術來搶購“全網(wǎng)最低價”商品，進而倒賣賺取差價，是其中重要的一種獲利方式。首先，爬蟲會廣泛搜集銷售這些產(chǎn)品的網(wǎng)站數(shù)據(jù)，包括價格、庫存等關鍵信息。隨后，通過對比分析，找出價格最優(yōu)、優(yōu)惠力度最大的電商平臺。基于這些信息，不法分子可能在另一個平臺上開設店鋪，以準新或全新未開封的產(chǎn)品進行轉(zhuǎn)售，利用價格優(yōu)勢實現(xiàn)盈利。

當然，爬蟲帶來的問題遠不止于此。對于電商網(wǎng)站而言，由于爬蟲與真實用戶的訪問量相當，且爬蟲通常部署在云端或高性能服務器上，其訪問效率遠超普通用戶。這導致電商網(wǎng)站在處理爬蟲請求時可能消耗大量資源，進而影響正常用戶的訪問體驗，降低網(wǎng)站轉(zhuǎn)化率。此外，爬蟲還可能干擾市場營銷分析工具的數(shù)據(jù)收集，導致決策依據(jù)失真。更糟糕的是，某些爬蟲專注于抓取特定產(chǎn)品頁面的深層鏈接，可能導致這些頁面因請求量過大而無法正常服務。

Akamai北亞區(qū)技術總監(jiān) 劉燁

Akamai北亞區(qū)技術總監(jiān)劉燁向TechWeb表示，電商領域爬蟲如此活躍背后，有幾個原因：

一是，在電商領域，設計或編寫一個爬蟲程序已變得相當便捷，得益于互聯(lián)網(wǎng)上廣泛提供的“爬蟲即服務”（Scraper as a Service, SaaS）模式。這些服務不僅簡化了爬蟲的開發(fā)流程，還提供了豐富的功能選項，從內(nèi)容抓取到數(shù)據(jù)分析一應俱全。盡管它們中的大多數(shù)聚焦于中性爬蟲應用，旨在幫助用戶進行市場調(diào)研、競品分析等非惡意活動，但同時也需警惕其潛在的濫用風險。

二是，隨著技術的進步，爬蟲服務日益智能化，融入了AI和機器學習技術，Bot變成了AI Botnets，它們能夠自動從多個數(shù)據(jù)源抓取內(nèi)容，通過預設的邏輯進行數(shù)據(jù)抽取與分析，最終輔助用戶制定競爭策略、優(yōu)化產(chǎn)品定位及價格策略等。這種一站式解決方案，無論是對于尋求業(yè)務增長的合法用戶，還是意圖不當?shù)膼阂馐褂谜撸继峁┝藰O大的便利。

需要注意的是，爬蟲越來越難以識別。特別是采用“無頭瀏覽器”等技術的爬蟲，能夠模擬人類訪問行為，使得傳統(tǒng)安全手段難以有效識別與攔截。同時，很多Botnets，尤其是AI Botnets，采用了多種“反封禁”策略，導致技術上識別變得更加困難。此外，爬蟲會不斷變化，防住一次后，下一次可能會出現(xiàn)變種，這對企業(yè)構(gòu)成了巨大的挑戰(zhàn)。傳統(tǒng)安全手段難以有效識別與攔截。這要求電商網(wǎng)站必須采取更為先進的策略來區(qū)分正常訪問與惡意爬蟲。

對于企業(yè)和安全廠商來說，最大挑戰(zhàn)就是識別爬蟲的難度加大，管理和封禁這些爬蟲的難度也隨之增加。

對此，劉燁給電商企業(yè)利用和防控爬蟲技術提出兩步走建議：首先，要能夠識別Bot；其次，針對不同類型的Bot，采取相應的應對措施。

Akamai提出了雙重應對策略：首先，在邊緣網(wǎng)絡層面，我們利用預定義的訪問異常特征和協(xié)議指紋來快速識別并限制惡意爬蟲。其次，通過深入分析訪問行為（如鼠標移動軌跡、鍵盤敲擊模式）和設備指紋，結(jié)合機器學習模型，進一步細化識別精度，確保對潛在威脅的精準打擊。例如，對于掃描漏洞、抓取內(nèi)容或竊取用戶信息的惡意爬蟲，采用更為嚴格的防護機制；而對于那些有助于提升網(wǎng)站質(zhì)量或服務的良性爬蟲，則采取更加靈活的管理策略。同時，Akamai采取更多自動化策略。當出現(xiàn)新的攻擊類型時，不需要人為干預，策略引擎能夠自動部署新的策略，有針對性地阻止這些新攻擊。這是應對快速變化的攻擊類型和產(chǎn)品演進的重要措施。

Akamai以雙重應對策略、邊緣網(wǎng)絡快速識別及機器學習精細化識別技術，不僅能夠有效抵御惡意爬蟲的侵害，還確保了電商網(wǎng)站的穩(wěn)定運行與數(shù)據(jù)安全。隨著網(wǎng)絡威脅的不斷演變，Akamai將持續(xù)創(chuàng)新，為企業(yè)提供更加智能、高效的安全解決方案，引領行業(yè)安全標準的新高度。（果青）

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。