国内精品久久久久影,久久国产亚洲精品麻豆,在线一区视频

　　前段時間自學(xué)了一段時間的Python，想著濃一點項目來練練手。看著大佬們一說就是爬了100W+的數(shù)據(jù)就非常的羨慕，不過對于我這種初學(xué)者來說，也就爬一爬圖片。

　　我相信很多人的第一個爬蟲程序都是爬去貼吧的圖片，嗯，我平時不玩貼吧，加上我覺得豆瓣挺良心的，我就爬了豆瓣首頁上面的圖片。其實最剛開始是想爬全站，后來一想我這簡直是腦子犯抽，全站的圖片爬下來得有多少，再說這個只是練一下手，所以就只爬取了首頁上的圖片。廢話不多說開始代碼。

　　首先是主文件的代碼：

									import re

									from html_downloder import HtmlDownloader

									from html_downloder import Image

									"'起始URL'"

									url = "https://www.douban.com"

									"'保存目錄'"

									image_path = "F:\source\Python\爬蟲\ImageGet\Image%s.jpg"

									"'定義實體類'"

									downloader = HtmlDownloader()

									html = downloader.download(url)

									"'SaveFile(html, html_path)'"

									html = html.decode('utf-8')

									"'正則表達式'"

									reg1 = r'="(https://img[\S]*?[jpg|png])"'

									"'提取圖片的URL'"

									dbdata = re.findall(reg1, html)

									imgsave = Image()

									"'下載保存圖片'"

									imgsave.ImageGet(dbdata, image_path)

我們打開豆瓣首頁然后看一下里面圖片的url會發(fā)現(xiàn)

Python制作豆瓣圖片的爬蟲

都是以“=”等號開頭，后面接雙引號，中間都是https://img，末尾以雙引號結(jié)束。

因此我們的正則表達式可以寫成 reg1 = r'="(https://img[\S]*?[jpg|png])"'

在這個表達式中"[]"中括號里面的東西會作為一個整體，其中[\S]表示大小寫字母和數(shù)字，[jpg|png]表示以png結(jié)尾或者jpg結(jié)尾（在這次爬蟲中并沒有包括gif，因為打開gif的url發(fā)現(xiàn)是空白）。

然后是html_downloder.py的代碼：

									# file: html_downloader.py

									import urllib.request

									import urllib.error

									import time

									class HtmlDownloader(object):

									 def download(self, url):

									  if url is None:

									   return None

									  try:

									   header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)'}

									   "'發(fā)出請求'"

									   request = urllib.request.Request(url=url, headers=header)

									   "'獲取結(jié)果'"

									   response = urllib.request.urlopen(url)

									  except urllib.error.URLError as e:

									   if hasattr(e, "code"):

									    print(e.code)

									   if hasattr(e, "reason"):

									    print(e.reason)

									  if response.getcode() != 200:

									   return None

									  html = response.read()

									  response.close()

									  return html

									class Image (object):

									 def ImageGet(self, imageurl, image_path):

									  x = 0

									  for li in imageurl:

									   urllib.request.urlretrieve(li, image_path % x)

									   x = x + 1

									   "'休眠5s以免給服務(wù)器造成嚴重負擔(dān)'"

									   time.sleep(5)