Java 爬蟲工具Jsoup詳解

Jsoup是一款 Java 的 HTML 解析器，可直接解析某個 URL 地址、HTML 文本內容。它提供了一套非常省力的 API，可通過 DOM，CSS 以及類似于 jQuery 的操作方法來取出和操作數據。

jsoup 的主要功能如下：

1. 從一個 URL，文件或字符串中解析 HTML；
2. 使用 DOM 或 CSS 選擇器來查找、取出數據；
3. 可操作 HTML 元素、屬性、文本；

jsoup 是基于 MIT 協議發布的，可放心使用于商業項目。

jsoup 可以從包括字符串、URL 地址以及本地文件來加載 HTML 文檔，并生成 Document 對象實例。

簡單而言，Jsoup就是先取html頁面代碼然后解析這些頁面通過Jsoup攜帶的滿足我們絕大多數需求的各種選擇器從這個頁面中獲取我們所需要的重要數據的一款功能強大的html解析器，但也只是相對而言，這里的頁面這是死的靜態頁面，如果你想獲取動態生成的頁面數據那么你得用到其他的java 爬蟲技術，我會不定時更新這些技術一起探討。下面我們來具體談談如何運用Jsoup

一、如何取頁面

Jsoup提供了用來解析html頁面的方法 parse(),我們通過解析它可以獲取整個頁面的dom對象，通過這個對象來獲取你所需要的頁面所須有的參數。獲取頁面的方法有很多，這里就簡單的列舉幾個：

① 通過Jsoup攜帶的connect()方法

這個方法說需要的參數就是一個String類型的url鏈接，但是你的注意把這些鏈接的protrol加上，以免問題， 其實這個方法解決了我們很多問題，我們完全可以把Jsoup解析html抽取成一段通用工具類,然后通過改變拼接的url參數獲取到很多我們想要的東西，舉個例子:京東和淘寶的商品鏈接都是固定的，通過改變其三方商品ID來獲取商品詳情參數。

通過改變他的三方商品ID你就可以獲取這個頁面一些基本數據，像商品的圖片和標題什么的都可以輕松獲取，而價格因為做了一些相關方面的處理得動態的獲取，這里先不做說明，后面慢慢會講解。

②通過httpclient直接獲取這個頁面的靜態頁面

先貼一部分httpclient獲取頁面工具

通過get()方法就可以獲取html頁面的String類型數據

二、解析頁面獲取需要的數據

當你獲取到頁面的dom對象后，那么下面的操作就非常簡單了，你只需要通過操作這個dom對象來獲取頁面所有的靜態資源，動態加載的資源不在此列，后面在做講解。

先貼一段百度網頁的源代碼：

在貼上Jsoup自身攜帶的常用的幾個獲取dom對象具體元素的方法：

比如說我現在要獲取百度首頁這個title,那么我們得先確定這玩意在哪，通過查看我們發現它是id=”u”的div標簽的一個子元素，那么不管那么多我們先通過這個Id取到這個對象然后在獲取這個Title,下面是具體操作

又或者我需要獲取頁面《手機百度》這個數據：

這就是一個很簡單的爬蟲編寫工具，Jsoup功能很強大，對直接爬取沒有動態加載的靜態資源頁面再適合不過。

感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！

原文鏈接：http://blog.csdn.net/smile_miracle/article/details/70677570