一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

腳本之家,腳本語言編程技術及教程分享平臺!
分類導航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服務器之家 - 腳本之家 - Python - 玩轉python爬蟲之URLError異常處理

玩轉python爬蟲之URLError異常處理

2020-08-12 09:49崔慶才 Python

這篇文章主要介紹了python爬蟲的URLError異常處理,詳細探尋一下URL\HTTP異常處理的相關內(nèi)容,通過一些具體的實例來分析一下,非常的簡單,但是卻很實用,感興趣的小伙伴們可以參考一下

本節(jié)在這里主要說的是URLError還有HTTPError,以及對它們的一些處理。

1.URLError

首先解釋下URLError可能產(chǎn)生的原因:

  • 網(wǎng)絡無連接,即本機無法上網(wǎng)
  • 連接不到特定的服務器
  • 服務器不存在

在代碼中,我們需要用try-except語句來包圍并捕獲相應的異常。下面是一個例子,先感受下它的風騷

?
1
2
3
4
5
6
7
import urllib2
 
requset = urllib2.Request('http://www.xxxxx.com')
try:
  urllib2.urlopen(requset)
except urllib2.URLError, e:
  print e.reason

我們利用了 urlopen方法訪問了一個不存在的網(wǎng)址,運行結果如下:

?
1
[Errno 11004] getaddrinfo failed

它說明了錯誤代號是11004,錯誤原因是 getaddrinfo failed

2.HTTPError

HTTPError是URLError的子類,在你利用urlopen方法發(fā)出一個請求時,服務器上都會對應一個應答對象response,其中它包含一個數(shù)字”狀態(tài)碼”。舉個例子,假如response是一個”重定向”,需定位到別的地址獲取文檔,urllib2將對此進行處理。

其他不能處理的,urlopen會產(chǎn)生一個HTTPError,對應相應的狀態(tài)嗎,HTTP狀態(tài)碼表示HTTP協(xié)議所返回的響應的狀態(tài)。下面將狀態(tài)碼歸結如下:

  • 100:繼續(xù)  客戶端應當繼續(xù)發(fā)送請求。客戶端應當繼續(xù)發(fā)送請求的剩余部分,或者如果請求已經(jīng)完成,忽略這個響應。
  • 101: 轉換協(xié)議  在發(fā)送完這個響應最后的空行后,服務器將會切換到在Upgrade 消息頭中定義的那些協(xié)議。只有在切換新的協(xié)議更有好處的時候才應該采取類似措施。
  • 102:繼續(xù)處理   由WebDAV(RFC 2518)擴展的狀態(tài)碼,代表處理將被繼續(xù)執(zhí)行。
  • 200:請求成功      處理方式:獲得響應的內(nèi)容,進行處理
  • 201:請求完成,結果是創(chuàng)建了新資源。新創(chuàng)建資源的URI可在響應的實體中得到    處理方式:爬蟲中不會遇到
  • 202:請求被接受,但處理尚未完成    處理方式:阻塞等待
  • 204:服務器端已經(jīng)實現(xiàn)了請求,但是沒有返回新的信 息。如果客戶是用戶代理,則無須為此更新自身的文檔視圖。    處理方式:丟棄
  • 300:該狀態(tài)碼不被HTTP/1.0的應用程序直接使用, 只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。    處理方式:若程序中能夠處理,則進行進一步處理,如果程序中不能處理,則丟棄
  • 301:請求到的資源都會分配一個永久的URL,這樣就可以在將來通過該URL來訪問此資源    處理方式:重定向到分配的URL
  • 302:請求到的資源在一個不同的URL處臨時保存     處理方式:重定向到臨時的URL
  • 304:請求的資源未更新     處理方式:丟棄
  • 400:非法請求     處理方式:丟棄
  • 401:未授權     處理方式:丟棄
  • 403:禁止     處理方式:丟棄
  • 404:沒有找到     處理方式:丟棄
  • 500:服務器內(nèi)部錯誤  服務器遇到了一個未曾預料的狀況,導致了它無法完成對請求的處理。一般來說,這個問題都會在服務器端的源代碼出現(xiàn)錯誤時出現(xiàn)。
  • 501:服務器無法識別  服務器不支持當前請求所需要的某個功能。當服務器無法識別請求的方法,并且無法支持其對任何資源的請求。
  • 502:錯誤網(wǎng)關  作為網(wǎng)關或者代理工作的服務器嘗試執(zhí)行請求時,從上游服務器接收到無效的響應。
  • 503:服務出錯   由于臨時的服務器維護或者過載,服務器當前無法處理請求。這個狀況是臨時的,并且將在一段時間以后恢復。
  •  

HTTPError實例產(chǎn)生后會有一個code屬性,這就是是服務器發(fā)送的相關錯誤號。
因為urllib2可以為你處理重定向,也就是3開頭的代號可以被處理,并且100-299范圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。

下面我們寫一個例子來感受一下,捕獲的異常是HTTPError,它會帶有一個code屬性,就是錯誤代號,另外我們又打印了reason屬性,這是它的父類URLError的屬性。

?
1
2
3
4
5
6
7
8
import urllib2
 
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
  urllib2.urlopen(req)
except urllib2.HTTPError, e:
  print e.code
  print e.reason

運行結果如下

?
1
2
403
Forbidden

錯誤代號是403,錯誤原因是Forbidden,說明服務器禁止訪問。

我們知道,HTTPError的父類是URLError,根據(jù)編程經(jīng)驗,父類的異常應當寫到子類異常的后面,如果子類捕獲不到,那么可以捕獲父類的異常,所以上述的代碼可以這么改寫

?
1
2
3
4
5
6
7
8
9
10
11
import urllib2
 
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
  urllib2.urlopen(req)
except urllib2.HTTPError, e:
  print e.code
except urllib2.URLError, e:
  print e.reason
else:
  print "OK"

如果捕獲到了HTTPError,則輸出code,不會再處理URLError異常。如果發(fā)生的不是HTTPError,則會去捕獲URLError異常,輸出錯誤原因。

另外還可以加入 hasattr屬性提前對屬性進行判斷,代碼改寫如下

?
1
2
3
4
5
6
7
8
9
10
11
12
import urllib2
 
req = urllib2.Request('http://blog.csdn.net/cqcre')
try:
  urllib2.urlopen(req)
except urllib2.URLError, e:
  if hasattr(e,"code"):
    print e.code
  if hasattr(e,"reason"):
    print e.reason
else:
  print "OK"

首先對異常的屬性進行判斷,以免出現(xiàn)屬性輸出報錯的現(xiàn)象。

以上,就是對URLError和HTTPError的相關介紹,以及相應的錯誤處理辦法

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 精品国产福利一区二区在线 | 王小军怎么了最新消息 | 亚洲国产天堂综合一区 | 艾秋果冻麻豆老狼 | 国产精品成人免费观看 | 日韩欧美一区二区在线观看 | t66y地址一地址二地址三 | 欧美性xxxxxx爱 | 99re8在线精品视频免费播放 | 天天看黄| 操闺蜜| 精品国产品香蕉在线观看75 | 2020最新版的ab片 | 韩国三级理韩国三级理人伦 | 国产一区二区三区四卡 | 羞羞答答影院在线 | 欧美视频一区二区三区在线观看 | 国产高清视频免费最新在线 | 美国玩尿眼道videos | 99国产热| 果冻传媒在线观看的 | 动漫白丝袜美女羞羞 | 欧美成人aletta ocean | 亚裔maricahase和黑人 | 交换性关系中文字幕6 | 日韩一品在线播放视频一品免费 | 欧美成人中文字幕在线看 | 无码11久岁箩筣 | 免费观看一级一片 | 国产日本久久久久久久久婷婷 | 亚洲国产精品ⅴa在线观看 亚洲国产高清一区二区三区 | 奇米影视先锋 | 国产精品一区二区久久不卡 | 国产美女亚洲精品久久久综合 | 久久综合视频网站 | 欧美日韩一二三区免费视频观看 | free性videoxxⅹ印度 | 国产最新进精品视频 | 男人香蕉好大好爽视频 | 日本午夜大片免费观看视频 | 合欢视频免费 |