分析登錄過程
這幾天研究百度登錄和貼吧簽到，這百度果然是互聯網巨頭，一個登錄過程都弄得復雜無比，簡直有毒。我研究了好幾天仍然沒搞明白。所以還是先挑一個軟柿子捏捏，就選擇CSDN了。
過程很簡單，我也不截圖了。直接打開瀏覽器，然后打開Fiddler，然后登錄CSDN。然后Fiddler顯示瀏覽器向https://passport.csdn.net/account/login?ref=toolbar發送了一個POST請求，這個請求包含了登錄表單，而且還是未加密的。當然CSDN本身還是使用了HTTPS，所以安全性還行。
請求體如下，username和password當然是用戶名和密碼了。
|
1
|
username=XXXXX&password=XXXXXX&rememberMe=true<=LT-461600-wEKpWAqbfZoULXmFmDIulKPbL44hAu&execution=e4s1&_eventId=submit |
lt參數我不知道是干啥的，結果直接在頁面中一看原來全在表單里頭，這下直接全了。CSDN很貼心的連注釋都給出了。另外如果你打開百度首頁的話，還會發現瀏覽器的log中還會輸出百度的招聘信息。
HTML截圖
登錄代碼
這些信息全有了，這樣我們就可以登錄了。不說廢話，直接上代碼。先說說我遇到的幾個坑。
首先是一個參數錯誤，其實邏輯沒問題，但是代碼我復制粘貼之后忘了改名字了，就登錄表單那里，三個參數全弄成了lt，結果登錄返回來的頁面是錯誤頁面。我還以為是沒有附帶什么請求頭，瞎整了大半天。最后用Fiddler調試了好多遍才發現。
第二個問題就是CSDN雞賊的跳轉。由于瀏覽器自帶了JS引擎，所以我們在瀏覽器中輸入網址，到達頁面這一過程不一定就是一個請求。可能中間用了什么JS代碼先跳轉到中間頁面，最后才跳轉到實際頁面。代碼里的_validate_redirect_url(self)函數就是干這個的，登錄完了第一次請求會得到一個中間頁面，它包含了一堆JS代碼，其中有個重定向網址。我們獲取到這個重定向網址，還得請求一次，獲得200OK之后，后續請求才能獲得實際頁面。
第三個問題就是正則表達式匹配頁面的空格問題了。獲取文章首先得知道文章總數，這個好辦，直接獲取頁面里的文章數就行了。它類似100條共20頁這個。那么該怎么獲取呢？一開始我用的(\d+)條共(\d+)頁這個正則，但是結果沒匹配到，然后我仔細看了一下頁面，原來這兩個詞之間不是一個空格，而是兩個空格！其實這個問題倒是也好辦，改一下正則(\d+)條\s*共(\d+)頁就行了。所以以后如果遇到空格問題，直接用\s匹配，不要想著自己輸入一個空格還是兩個空格。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
|
import requestsfrom bs4 import BeautifulSoupimport reimport urllib.parse as parseclass CsdnHelper: """登錄CSDN和列出所有文章的類""" csdn_login_url = 'https://passport.csdn.net/account/login?ref=toolbar' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36', } blog_url = 'http://write.blog.csdn.net/postlist/' def __init__(self): self._session = requests.session() self._session.headers = CsdnHelper.headers def login(self, username, password): '''登錄主函數''' form_data = self._prepare_login_form_data(username, password) response = self._session.post(CsdnHelper.csdn_login_url, data=form_data) if 'UserNick' in response.cookies: nick = response.cookies['UserNick'] print(parse.unquote(nick)) else: raise Exception('登錄失敗') def _prepare_login_form_data(self, username, password): '''從頁面獲取參數，準備提交表單''' response = self._session.get(CsdnHelper.csdn_login_url) login_page = BeautifulSoup(response.text, 'lxml') login_form = login_page.find('form', id='fm1') lt = login_form.find('input', attrs={'name': 'lt'})['value'] execution = login_form.find('input', attrs={'name': 'execution'})['value'] eventId = login_form.find('input', attrs={'name': '_eventId'})['value'] form = { 'username': username, 'password': password, 'lt': lt, 'execution': execution, '_eventId': eventId } return form def _get_blog_count(self): '''獲取文章數和頁數''' self._validate_redirect_url() response = self._session.get(CsdnHelper.blog_url) blog_page = BeautifulSoup(response.text, 'lxml') span = blog_page.find('div', class_='page_nav').span print(span.string) pattern = re.compile(r'(\d+)條\s*共(\d+)頁') result = pattern.findall(span.string) blog_count = int(result[0][0]) page_count = int(result[0][1]) return (blog_count, page_count) def _validate_redirect_url(self): '''驗證重定向網頁''' response = self._session.get(CsdnHelper.blog_url) redirect_url = re.findall(r'var redirect = "(\S+)";', response.text)[0] self._session.get(redirect_url) def print_blogs(self): '''輸出文章信息''' blog_count, page_count = self._get_blog_count() for index in range(1, page_count + 1): url = f'http://write.blog.csdn.net/postlist/0/0/enabled/{index}' response = self._session.get(url) page = BeautifulSoup(response.text, 'lxml') links = page.find_all('a', href=re.compile(r'http://blog.csdn.net/u011054333/article/details/(\d+)')) print(f'----------第{index}頁----------') for link in links: blog_name = link.string blog_url = link['href'] print(f'文章名稱:《{blog_name}》 文章鏈接:{blog_url}')if __name__ == '__main__': csdn_helper = CsdnHelper() username = input("請輸入用戶名") password = input("請輸入密碼") csdn_helper.login(username, password) csdn_helper.print_blogs() |
當然，這里最重要的的就是登錄過程了。我們登錄之后，才可以做其他事情。比方說，下一步還能寫一個備份工具，把CSDN博客的所有文章和圖片下載到本地。有興趣的同學可以試一試。
總結
以上就是本文關于Python登錄并獲取CSDN博客所有文章列表代碼實例的全部內容，希望對大家有所幫助。感興趣的朋友可以繼續參閱本站其他相關專題，如有不足之處，歡迎留言指出。感謝朋友們對本站的支持！
原文鏈接：https://www.jianshu.com/p/c20544c42b4a
