本文實例為大家分享了一個基于JAVA的知乎爬蟲，抓取知乎用戶基本信息，基于HttpClient 4.5，供大家參考，具體內(nèi)容如下
詳細內(nèi)容：
抓取90W+用戶信息（基本上活躍的用戶都在里面）
大致思路：
1.首先模擬登錄知乎，登錄成功后將Cookie序列化到磁盤，不用以后每次都登錄（如果不模擬登錄，可以直接從瀏覽器塞入Cookie也是可以的）。
2.創(chuàng)建兩個線程池和一個Storage。一個抓取網(wǎng)頁線程池，負責(zé)執(zhí)行request請求，并返回網(wǎng)頁內(nèi)容，存到Storage中。另一個是解析網(wǎng)頁線程池，負責(zé)從Storage中取出網(wǎng)頁內(nèi)容并解析，解析用戶資料存入數(shù)據(jù)庫，解析該用戶關(guān)注的人的首頁，將該地址請求又加入抓取網(wǎng)頁線程池。一直循環(huán)下去。
3.關(guān)于url去重，我是直接將訪問過的鏈接md5化后存入數(shù)據(jù)庫，每次訪問前，查看數(shù)據(jù)庫中是否存在該鏈接。
到目前為止，抓了100W用戶了，訪問過的鏈接220W+?，F(xiàn)在抓取的用戶都是一些不太活躍的用戶了。比較活躍的用戶應(yīng)該基本上也抓完了。
項目地址：https://github.com/wycm/mycrawler
實現(xiàn)代碼：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
|
作者：臥顏沉默鏈接：https://www.zhihu.com/question/36909173/answer/97643000來源：知乎著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。 /** * * @param httpClient Http客戶端 * @param context Http上下文 * @return */public boolean login(CloseableHttpClient httpClient, HttpClientContext context){String yzm = null;String loginState = null;HttpGet getRequest = new HttpGet("https://www.zhihu.com/#signin");HttpClientUtil.getWebPage(httpClient,context, getRequest, "utf-8", false);HttpPost request = new HttpPost("https://www.zhihu.com/login/email");List<NameValuePair> formParams = new ArrayList<NameValuePair>();yzm = yzm(httpClient, context,"https://www.zhihu.com/captcha.gif?type=login");//肉眼識別驗證碼formParams.add(new BasicNameValuePair("captcha", yzm));formParams.add(new BasicNameValuePair("_xsrf", ""));//這個參數(shù)可以不用formParams.add(new BasicNameValuePair("email", "郵箱"));formParams.add(new BasicNameValuePair("password", "密碼"));formParams.add(new BasicNameValuePair("remember_me", "true"));UrlEncodedFormEntity entity = null;try {entity = new UrlEncodedFormEntity(formParams, "utf-8");} catch (UnsupportedEncodingException e) {e.printStackTrace();}request.setEntity(entity);loginState = HttpClientUtil.getWebPage(httpClient,context, request, "utf-8", false);//登錄JSONObject jo = new JSONObject(loginState);if(jo.get("r").toString().equals("0")){System.out.println("登錄成功");getRequest = new HttpGet("https://www.zhihu.com");HttpClientUtil.getWebPage(httpClient,context ,getRequest, "utf-8", false);//訪問首頁HttpClientUtil.serializeObject(context.getCookieStore(),"resources/zhihucookies");//序列化知乎Cookies，下次登錄直接通過該cookies登錄return true;}else{System.out.println("登錄失敗" + loginState);return false;}}/** * 肉眼識別驗證碼 * @param httpClient Http客戶端 * @param context Http上下文 * @param url 驗證碼地址 * @return */public String yzm(CloseableHttpClient httpClient,HttpClientContext context, String url){HttpClientUtil.downloadFile(httpClient, context, url, "d:/test/", "1.gif",true);Scanner sc = new Scanner(System.in);String yzm = sc.nextLine();return yzm;} |
效果圖：
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助。
