免费久久国产&夜夜毛片&亚洲最大无码中文字幕&国产成人无码免费视频之奶水&吴家丽查理三级做爰&国产日本亚欧在线观看

3、用xpath進行數據分析

  3．1、chrome＿Xpath插件安裝

  1） 這里用到一個插件。能夠快速檢驗我們爬取的信息是否正確。具體安裝方法如下。

  2） 百度下載chrome＿Xpath＿v2．0．2．crx， chrome瀏覽器輸入：chrome：／／extensions／

  3） 直接將chrome＿Xpath＿v2．0．2．crx拖動至該擴展程序頁面 ；

  4） 如果安裝失敗，彈框提示“無法從該網站添加應用、擴展程序和用戶腳本”，遇到這個問題，解決方法 是：打開開發者模式，將crx文件（直接或后綴修改為rar）并解壓成文件夾，點擊開發者模式的加載已解壓的擴展程序，選擇解壓后的文件夾，點擊確定，安裝成功；

  3．2、chrome＿Xpath插件使用

  上面我們已經安裝好了chrome＿Xpath插件，接下來我們即將使用它。    1） 打開瀏覽器，按下快捷鍵F12 。    2） 選擇元素，如下圖所示。

  3） 右鍵，然后選擇，“Copy XPath”，如下圖所示。

  3．3、編寫代碼，獲取鏈接函數。

  上面我們已經獲取到鏈接函數的Xpath路徑，接下來定義一個獲取鏈接函數get＿tlink，并繼承self，實現多頁抓取。

＇＇＇獲取鏈接函數＇＇＇
   def get＿tlink（self， url）：        xpath ＝ ＇／／div［＠class＝＂threadlist＿lz clearfix＂］／div／a／＠href＇        t＿list ＝ self．get＿parse＿page（url， xpath）        ＃ print（len（t＿list））        for t in t＿list：            t＿link ＝ ＂http：／／www．tieba．com＂ ＋ t            ＇＇＇接下來對帖子地址發送請求  將保存到本地＇＇＇            self．write＿image（t＿link）
4、保存數據

這里定義一個write＿image方法來保存數據，如下所示。

＇＇＇保存到本地函數＇＇＇
def write＿image（self， t＿link）：      xpath ＝ ＂／／div［＠class＝＇d＿post＿content j＿d＿post＿content clearfix＇］／img［＠class＝＇BDE＿Image＇］／＠src ｜ ／／div［＠class＝＇video＿src＿wrapper＇］／embed／＠data－video＂        img＿list ＝ self．get＿parse＿page（t＿link， xpath）               for img＿link in img＿list：              html ＝ requests．get（url＝img＿link， headers＝self．headers）．content            filename ＝ ＂百度／＂＋img＿link［－10：］                     with open（filename， ＇wb＇） as f：                f．write（html）                print（＂％s下載成功＂ ％ filename）

注：＠data－video是網址中的視頻，如下圖所示。

【六、效果展示】

  1、點擊運行，如下圖所示（請輸入你要查詢的信息）：

  2、以吳京為例輸入，回車：

  3、將圖片下載保存在一個名為“百度”文件夾下，這個文件夾需要你提前在本地新建好。務必記得提前在當前代碼的同級目錄下，新建一個名為“百度”的文件夾，否則的話系統將找不到該文件夾，會報找不到“百度”這個文件夾的錯誤。

  4、下圖中的MP4就是評論區的視頻。

【七、總結】

1、不建議抓取太多數據，容易對服務器造成負載，淺嘗輒止即可。

2、本文基于Python網絡爬蟲，利用爬蟲庫，實現百度貼吧評論區爬取。就Python爬取百度貼吧的一些難點， 進行詳細的講解和提供有效的解決方案。3、歡迎大家積極嘗試，有時候看到別人實現起來很簡單，但是到自己動手實現的時候，總會有各種各樣的問題，切勿眼高手低，勤動手，才可以理解的更加深刻。學習requests 庫的使用以及爬蟲程序的編寫。4、通過本項目可以更快的去獲取自己想要的信息。