Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)總結

  • 時間:2018-09-04 21:51 作者:電腦編程 來源:電腦編程 閱讀:229
  • 掃一掃,手機訪問
摘要:前幾天小編連續寫了四篇關于Python選擇器的文章,分別使用正則表達式、BeautifulSoup、Xpath、CSS選擇器分別抓取京東網的商品信息。今天小編來給大家總結一下這四個選擇器,讓大家更加深刻的了解和熟習Python選擇器。文章后面也給大家整理了Python很全面的資料和教程可以下載,適合

前幾天小編連續寫了四篇關于Python選擇器的文章,分別使用正則表達式、BeautifulSoup、Xpath、CSS選擇器分別抓取京東網的商品信息。今天小編來給大家總結一下這四個選擇器,讓大家更加深刻的了解和熟習Python選擇器。

文章后面也給大家整理了Python很全面的資料和教程可以下載,適合正在學習Python的朋友。

一、正則表達式

正則表達式為我們提供了抓取數據的快捷方式。盡管該正則表達式更容易適應未來變化,但又存在難以構造、可讀性差的問題。當在爬京東網的時候,正則表達式如下圖所示:

Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)總結

利使用正則表達式實現對目標信息的精準采集

此外 ,我們都知道,網頁時常會產生變更,導致網頁中會發生少量微小的布局變化時,此時也會使得之前寫好的正則表達式無法滿足需求,而且還不太好調試。當需要匹配的內容有很多的時候,用正則表達式提取目標信息會導致程序運行的速度減慢,需要消耗更多內存。

二、BeautifulSoup

BeautifulSoup是一個非常流行的 Pyhon 板塊。該板塊可以解析網頁,并提供定位內容的便捷接口。通過'pip install beautifulsoup4'即可以實現該板塊的安裝了。

Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)總結

利使用美麗的湯去提取目標信息

用 BeautifulSoup的第一步是將己下載的 HTML 內容解析為 soup文檔。由 于大多 數網 頁都不具有良好的HTML 格式,因而BeautifulSoup需要對實際格式進行確定。BeautifulSoup能夠正確解析缺失的引號并閉合標簽,此外還會增加<html >和<body>標簽使其成為完整的HTML文檔。通常用find() 和find_all()方法來定位我們需要的元素。假如你想理解BeautifulSoup一律方法和參數,可以查閱BeautifulSoup的官方文檔。盡管BeautifulSoup在代碼的了解上比正則表達式要復雜少量,但是其更加容易構造和了解。

三、Lxml

Lxml板塊用 C語言編寫,其解析速度比 BeautiflSoup更快,而且其安裝過程也更為復雜,在此小編就不贅述啦。XPath 用路徑表達式在 XML 文檔中選取節點。節點是通過沿著路徑或者者 step 來選取的。

Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)總結

Xpath

用 lxml 板塊的第一步和BeautifulSoup一樣,也是將有可能不合法的HTML 解析為 統一格式。 盡管Lxml可以正確解析屬性兩側缺失的引號,并閉合標簽,不過該板塊沒有額外增加<html >和<body>標簽 。

在線復制Xpath表達式可以很方便的復制Xpath表達式。但是通過該方法得到的Xpath表達式放在程序中一般不能使用,而且長的沒法看。所以Xpath表達式一般還是要自己親身上手。

四、CSS

CSS選擇器表示選擇元素所用 的模式。BeautifulSoup整合了CSS選擇器的語法和自身方便用API。在網絡爬蟲的開發過程中,對于熟習CSS選擇器語法的人,用CSS選擇器是個非常方便的方法。

Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)總結

下面是少量常使用的選擇器示例。

  • 選擇所 有標簽: *
  • 選擇<a>標 簽: a
  • 選擇所有class=”link” 的元素: .l in k
  • 選擇 class=”link” 的<a>標簽: a.link
  • 選擇 id= " home ” 的<a>標簽: a Jhome
  • 選擇父元素為<a>標簽的所有< span>子標簽: a > span
  • 選擇<a>標簽內部的所有<span>標簽: a span
  • 選擇title屬性為” Home ” 的所有<a>標簽: a [title=Home]

五、性能比照

lxml 和正則表達式板塊都是C語言編寫的,而BeautifulSoup則是純Python 編寫的。下表總結了每種抓取方法的優缺點。

Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)總結

需要注意的是。lxml在內部實現中,實際上是將CSS選擇器轉換為等價的Xpath選擇器。

六、總結

假如你的爬蟲瓶頸是下載網頁,而不是抽取數據的話,那么用較慢的方法(如BeautifulSoup) 也不成問題。假如只要抓取一些數據,并且想要避免額外依賴的話,那么正則表達式可能更加適合。不過,通常情況下,l xml是抓取數據的最好選擇,這是由于該方法既快速又健壯,而正則表達式和BeautifulSoup只在某些特定場景下有使用。

最后呢,分享少量Python的資料和教程給大家,如下圖,關注頭條號之后私信回復“資料”就可下載了。

Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)總結

  • 全部評論(0)
最新發布的資訊信息
【系統環境|服務器應用】在CentOS 7上如何安裝Gogs 0.11.53(2020-02-10 10:14)
【系統環境|】淘碼庫,據消息稱已被調查。淘碼庫源碼網,已經無法訪問!(2020-01-14 04:13)
【系統環境|服務器應用】Discuz隱藏后臺admin.php網址修改路徑(2019-12-16 16:48)
【系統環境|服務器應用】2020新網站如何讓百度快速收錄網站首頁最新方法,親測有用!免費(2019-12-16 16:46)
【系統環境|服務器應用】Discuz發布帖子時默認顯示第一個主題分類的修改方法(2019-12-09 00:13)
【系統環境|軟件環境】Android | App內存優化 之 內存泄漏 要點概述 以及 處理實戰(2019-12-04 14:27)
【系統環境|軟件環境】MySQL InnoDB 事務(2019-12-04 14:26)
【系統環境|軟件環境】vue-router(單頁面應用控制中心)常見用法(2019-12-04 14:26)
【系統環境|軟件環境】Linux中的Kill命令(2019-12-04 14:26)
【系統環境|軟件環境】Linux 入門時必學60個文件解決命令(2019-12-04 14:26)
手機二維碼手機訪問領取大禮包
返回頂部
澳洲幸运10精准人工计划