本文將介紹使用Python編寫多線程HTTP下載器，并生成.exe可執(zhí)行文件。
環(huán)境：windows/Linux + Python2.7.x
單線程
在介紹多線程之前首先介紹單線程。編寫單線程的思路為：
1.解析url；
2.連接web服務(wù)器；
3.構(gòu)造http請(qǐng)求包；
4.下載文件。
接下來(lái)通過(guò)代碼進(jìn)行說(shuō)明。
解析url
通過(guò)用戶輸入url進(jìn)行解析。如果解析的路徑為空，則賦值為'/'；如果端口號(hào)為空，則賦值為"80”；下載文件的文件名可根據(jù)用戶的意愿進(jìn)行更改（輸入'y'表示更改，輸入其它表示不需要更改）。
下面列出幾個(gè)解析函數(shù)：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
#解析host和pathdef analyHostAndPath(totalUrl): protocol,s1 = urllib.splittype(totalUrl) host, path = urllib.splithost(s1) if path == '': path = '/' return host, path#解析portdef analysisPort(host): host, port = urllib.splitport(host) if port is None: return 80 return port#解析filenamedef analysisFilename(path): filename = path.split('/')[-1] if '.' not in filename: return None return filename |
連接web服務(wù)器
使用socket模塊，根據(jù)解析url得到的host和port連接web服務(wù)器，代碼如下：
|
1
2
3
4
5
6
7
8
|
import socketfrom analysisUrl import port,hostip = socket.gethostbyname(host)s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.connect((ip, port))print "success connected webServer！！" |
構(gòu)造http請(qǐng)求包
根據(jù)解析url得到的path, host, port構(gòu)造一個(gè)HTTP請(qǐng)求包。
|
1
2
3
|
from analysisUrl import path, host, portpacket = 'GET ' + path + ' HTTP/1.1\r\nHost: ' + host + '\r\n\r\n' |
下載文件
根據(jù)構(gòu)造的http請(qǐng)求包，向服務(wù)器發(fā)送文件，抓取響應(yīng)報(bào)文頭部的"Content-Length"。
|
1
2
3
4
5
6
7
8
|
def getLength(self): s.send(packet) print "send success!" buf = s.recv(1024) print buf p = re.compile(r'Content-Length: (\d*)') length = int(p.findall(buf)[0]) return length, buf |
下載文件并計(jì)算下載所用的時(shí)間。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
def download(self): file = open(self.filename,'wb') length,buf = self.getLength() packetIndex = buf.index('\r\n\r\n') buf = buf[packetIndex+4:] file.write(buf) sum = len(buf) while 1: buf = s.recv(1024) file.write(buf) sum = sum + len(buf) if sum >= length: break print "Success!!"if __name__ == "__main__": start = time.time() down = downloader() down.download() end = time.time() print "The time spent on this program is %f s"%(end - start) |
多線程
抓取響應(yīng)報(bào)文頭部的"Content-Length"字段，結(jié)合線程個(gè)數(shù)，加鎖分段下載。與單線程的不同，這里將所有代碼整合為一個(gè)文件，代碼中使用更多的Python自帶模塊。
得到"Content-Length"：
|
1
2
3
4
5
6
|
def getLength(self): opener = urllib2.build_opener() req = opener.open(self.url) meta = req.info() length = int(meta.getheaders("Content-Length")[0]) return length |
根據(jù)得到的Length，結(jié)合線程個(gè)數(shù)劃分范圍：
|
1
2
3
4
5
6
7
8
9
10
|
def get_range(self): ranges = [] length = self.getLength() offset = int(int(length) / self.threadNum) for i in range(self.threadNum): if i == (self.threadNum - 1): ranges.append((i*offset,'')) else: ranges.append((i*offset,(i+1)*offset)) return ranges |
實(shí)現(xiàn)多線程下載，在向文件寫入內(nèi)容時(shí)，向線程加鎖，并使用with lock代替lock.acquire( )...lock.release( );使用file.seek( )設(shè)置文件偏移地址，保證寫入文件的準(zhǔn)確性。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
|
def downloadThread(self,start,end): req = urllib2.Request(self.url) req.headers['Range'] = 'bytes=%s-%s' % (start, end) f = urllib2.urlopen(req) offset = start buffer = 1024 while 1: block = f.read(buffer) if not block: break with lock: self.file.seek(offset) self.file.write(block) offset = offset + len(block) def download(self): filename = self.getFilename() self.file = open(filename, 'wb') thread_list = [] n = 1 for ran in self.get_range(): start, end = ran print 'starting:%d thread '% n n += 1 thread = threading.Thread(target=self.downloadThread,args=(start,end)) thread.start() thread_list.append(thread) for i in thread_list: i.join() print 'Download %s Success!'%(self.file) self.file.close() |
運(yùn)行結(jié)果：
將(*.py)文件轉(zhuǎn)化為(*.exe)可執(zhí)行文件
當(dāng)寫好了一個(gè)工具，如何讓那些沒(méi)有安裝Python的人使用這個(gè)工具呢？這就需要將.py文件轉(zhuǎn)化為.exe文件。
這里用到Python的py2exe模塊，初次使用，所以對(duì)其進(jìn)行介紹：
py2exe是一個(gè)將Python腳本轉(zhuǎn)換成windows上可獨(dú)立執(zhí)行的可執(zhí)行文件（*.exe）的工具，這樣，就可以不用裝Python在windows上運(yùn)行這個(gè)可執(zhí)行程序。
接下來(lái)，在multiThreadDownload.py的同目錄下，創(chuàng)建mysetup.py文件，編寫：
|
1
2
3
4
|
from distutils.core import setupimport py2exesetup(console=["multiThreadDownload.py"]) |
接著執(zhí)行命令：Python mysetup.py py2exe
生成dist文件夾，multiTjhreadDownload.exe文件位于其中，點(diǎn)擊運(yùn)行即可：
demo下載地址：HttpFileDownload.rar
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持服務(wù)器之家。
原文鏈接：http://www.cnblogs.com/ybjourney/p/6387965.html
