一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

腳本之家,腳本語言編程技術及教程分享平臺!
分類導航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服務器之家 - 腳本之家 - Python - Python標準庫之多進程(multiprocessing包)介紹

Python標準庫之多進程(multiprocessing包)介紹

2020-05-15 09:46腳本之家 Python

這篇文章主要介紹了Python標準庫之多進程(multiprocessing包)介紹,本文講解了進程池、共享資源、共享內存、Manager等內容,需要的朋友可以參考下

在初步了解Python多進程之后,我們可以繼續探索multiprocessing包中更加高級的工具。這些工具可以讓我們更加便利地實現多進程。

進程池

進程池 (Process Pool)可以創建多個進程。這些進程就像是隨時待命的士兵,準備執行任務(程序)。一個進程池中可以容納多個待命的士兵。

Python標準庫之多進程(multiprocessing包)介紹

“三個進程的進程池”

比如下面的程序:

 

復制代碼 代碼如下:

import multiprocessing as mul
def f(x):
    return x**2
pool = mul.Pool(5)
rel  = pool.map(f,[1,2,3,4,5,6,7,8,9,10])
print(rel)

 

我們創建了一個容許5個進程的進程池 (Process Pool) 。Pool運行的每個進程都執行f()函數。我們利用map()方法,將f()函數作用到表的每個元素上。這與built-in的map()函數類似,只是這里用5個進程并行處理。如果進程運行結束后,還有需要處理的元素,那么的進程會被用于重新運行f()函數。除了map()方法外,Pool還有下面的常用方法。

apply_async(func,args)  從進程池中取出一個進程執行func,args為func的參數。它將返回一個AsyncResult的對象,你可以對該對象調用get()方法以獲得結果。

close()  進程池不再創建新的進程

join()   wait進程池中的全部進程。必須對Pool先調用close()方法才能join。

練習

有下面一個文件download.txt。

 

復制代碼 代碼如下:

www.sina.com.cn
www.163.com
www.iciba.com
www.cnblogs.com
www.qq.com
www.douban.com

 

使用包含3個進程的進程池下載文件中網站的首頁。(你可以使用subprocess調用wget或者curl等下載工具執行具體的下載任務)

共享資源

我們在Python多進程初步已經提到,我們應該盡量避免多進程共享資源。多進程共享資源必然會帶來進程間相互競爭。而這種競爭又會造成race condition,我們的結果有可能被競爭的不確定性所影響。但如果需要,我們依然可以通過共享內存和Manager對象這么做。

Python標準庫之多進程(multiprocessing包)介紹

共享“資源”

共享內存

在Linux進程間通信中,我們已經講述了共享內存(shared memory)的原理,這里給出用Python實現的例子:

 

復制代碼 代碼如下:

# modified from official documentation
import multiprocessing
def f(n, a):
    n.value   = 3.14
    a[0]      = 5
num   = multiprocessing.Value('d', 0.0)
arr   = multiprocessing.Array('i', range(10))
p = multiprocessing.Process(target=f, args=(num, arr))
p.start()
p.join()
print num.value
print arr[:]

 

這里我們實際上只有主進程和Process對象代表的進程。我們在主進程的內存空間中創建共享的內存,也就是Value和Array兩個對象。對象Value被設置成為雙精度數(d), 并初始化為0.0。而Array則類似于C中的數組,有固定的類型(i, 也就是整數)。在Process進程中,我們修改了Value和Array對象。回到主程序,打印出結果,主程序也看到了兩個對象的改變,說明資源確實在兩個進程之間共享。

Manager

Manager對象類似于服務器與客戶之間的通信 (server-client),與我們在Internet上的活動很類似。我們用一個進程作為服務器,建立Manager來真正存放資源。其它的進程可以通過參數傳遞或者根據地址來訪問Manager,建立連接后,操作服務器上的資源。在防火墻允許的情況下,我們完全可以將Manager運用于多計算機,從而模仿了一個真實的網絡情境。下面的例子中,我們對Manager的使用類似于shared memory,但可以共享更豐富的對象類型。

 

復制代碼 代碼如下:

import multiprocessing
def f(x, arr, l):
    x.value = 3.14
    arr[0] = 5
    l.append('Hello')
server = multiprocessing.Manager()
x    = server.Value('d', 0.0)
arr  = server.Array('i', range(10))
l    = server.list()
proc = multiprocessing.Process(target=f, args=(x, arr, l))
proc.start()
proc.join()
print(x.value)
print(arr)
print(l)

 

Manager利用list()方法提供了表的共享方式。實際上你可以利用dict()來共享詞典,Lock()來共享threading.Lock(注意,我們共享的是threading.Lock,而不是進程的mutiprocessing.Lock。后者本身已經實現了進程共享)等。 這樣Manager就允許我們共享更多樣的對象。

我們在這里不深入講解Manager在遠程情況下的應用。有機會的話,會在網絡應用中進一步探索。

總結

Pool
Shared memory, Manager

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 国产免费一区二区三区免费视频 | 美女脱了内裤打开腿让人桶网站o | 国产精品久久久久久久久免费观看 | 亚洲成人影院在线观看 | 亚洲四虎影院 | 我把校花黑色蕾丝胸罩脱了 | 久久伊人精品青青草原2021 | 日本高清中文字幕 | 青青青国产精品国产精品久久久久 | 亚洲精品一区二区久久久久 | 国产精品福利在线观看秒播 | 91中文字幕yellow字幕网 | 欧美在线一级片 | 肉文np高h| 污小说h | 国产巨大bbbb俄罗斯 | www.99精品视频在线播放 | 秋霞黄色大片 | 美女班主任让我爽了一夜视频 | 99视频在线看 | chinese圣水黄金调教 | 欧美日韩成人在线 | 亚洲国产精品自在自线观看 | 色网免费观看 | 九九九九在线视频播放 | 国产精品久久久久久久久齐齐 | 晓雪老师我要进你里面好爽 | 免费亚洲一区 | 亚洲H成年动漫在线观看不卡 | 被18号每天强行榨干acg | 日本国产成人精品视频 | 2012年中文字幕在线看 | 青青国产成人久久91网 | 亚洲aⅴ男人的天堂在线观看 | 久久精品国产亚洲AV麻豆欧美玲 | 亚洲男人天堂影院 | 四虎2021地址入口 | 国产成人刺激视频在线观看 | 国产一区二区三区免费在线视频 | 欧美同性video | 午夜精品久久久久久中宇 |