一篇文章教會你利用Python網絡爬蟲獲取分類圖片
【四、涉及的庫和網站】
1、網址如下:
https://www.doutula.com/photo/list/?page={}
2、涉及的庫:requests、lxml、fake_useragent、time、os
3、軟件:PyCharm
【五、項目實施】
1、我們定義一個class類繼承object,然后定義init方法繼承self,再定義一個主函數main繼承self。導入需要的庫和網址,創建保存文件夾。import requests, osfrom lxml import etreefrom fake_useragent import UserAgentimport timeclass bnotiank(object): def __init__(self): os.mkdir("圖片") # 在創建文件夾 記住只有第一次運行加上,如果多次運行請注釋掉本行。 def main(self): passif __name__ == '__main__': Siper=bnotiank() Siper.main()
2、隨機UserAgent ,構造請求頭,防止反爬。 ua = UserAgent(verify_ssl=False) for i in range(1, 50): self.headers = { 'User-Agent': ua.random }
3、發送請求 ,獲取響應,頁面回調,方便下次請求。 '''發送請求 獲取響應''' def get_page(self, url): res = requests.get(url=url, headers=self.headers) html = res.content.decode("utf-8") return html
4、定義parse_page函數,獲取二級頁面地址,for遍歷獲取需要的字段。
def parse_page(self, html): parse_html = etree.HTML(html) image_src_list = parse_html.xpath('//p/a/@href') # print(image_src_list)
5、對二級頁面發生請求,xpath解析數據,獲取大圖片鏈接。
reo = parse_html1.xpath('//div//div[@class="content"]') #父結點 for j in reo: d = j.xpath('.//article[@class="article-content"]//p/img/@src')[0] text = parse_html1.xpath('//h1[@class ="article-title"] //a/text()')[0].strip()
6、請求圖片地址,寫入文檔。
html2 = requests.get(url=d, headers=self.headers).content dirname = "./d/" + text + ".jpg" #定義圖命名 with open(dirname, 'wb') as f: f.write(html2) print("%s 【下載成功!!!!】" % text)
7、調用方法,實現功能。 url = self.url.format(page) print(url) html = self.get_page(url) self.parse_page(html)
8、設置延時。(防止ip被封)。
time.sleep(1) """時間延時"""
【六、效果展示】
1、點擊綠色小三角運行輸入起始頁,終止頁。

2、將下載成功信息顯示在控制臺。

請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 AI狂歡遇上油價破百,全球股市還能漲多久? | 產聯看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實測:中文穩、細節炸,設計師慌了
- 3 6000億美元估值錨定:字節跳動的“去單一化”突圍與估值重構
- 4 Tesla AI5芯片最新進展總結
- 5 連夜測了一波DeepSeek-V4,我發現它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續扣錢!
- 8 2026,人形機器人只贏了面子
- 9 DeepSeek降價90%:價格屠夫不是身份,是戰略
- 10 AI Infra產業鏈卡在哪里了?


分享













