【一、項(xiàng)目背景】
博海拾貝是一支互聯(lián)網(wǎng)從業(yè)者在線(xiàn)教育的團(tuán)隊(duì),扎根于中國(guó)教育行業(yè)以及互聯(lián)網(wǎng)行業(yè)的創(chuàng)新和眼球中,打造專(zhuān)業(yè)體系化的互聯(lián)網(wǎng)人在線(xiàn)教育平臺(tái)。精心創(chuàng)作許多精彩的文章,提供了很多有趣的圖片。
今天來(lái)教大家如何使用Python來(lái)爬取博海拾貝的圖片,分類(lèi)保存,寫(xiě)入文檔。
【二、項(xiàng)目目標(biāo)】
創(chuàng)建一個(gè)文件夾, 分類(lèi)保存所有文章圖片。下載成功,結(jié)果顯示控制臺(tái)。
【三、項(xiàng)目分析】
1、如何找到真正訪(fǎng)問(wèn)的地址,多網(wǎng)頁(yè)請(qǐng)求?
滑動(dòng)鼠標(biāo),觀察網(wǎng)站,右鍵F12 。鼠標(biāo)滾輪滑動(dòng)加載新內(nèi)容。如圖:
點(diǎn)開(kāi)隨機(jī)網(wǎng)頁(yè) , 點(diǎn)開(kāi)Request URL ,觀察網(wǎng)址的規(guī)律。
https://bh.sb/page/1/
https://bh.sb/page/2/
https://bh.sb/page/3/
https://bh.sb/page/4/
觀察到,每增加一頁(yè)page/{}/自增加1,用{}代替變換的變量,再用for循環(huán)遍歷這網(wǎng)址,實(shí)現(xiàn)多個(gè)網(wǎng)址請(qǐng)求。
2. 反爬處理
1)獲取正常的 http請(qǐng)求頭,并在requests請(qǐng)求時(shí),設(shè)置這些常規(guī)的http請(qǐng)求頭。
2)使用 fake_useragent ,產(chǎn)生隨機(jī)的UserAgent進(jìn)行訪(fǎng)問(wèn)。
123下一頁(yè)>(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )