python並發編程之多進程

來源:互聯網
上載者:User

標籤:組成   沒有   open   並發   技術分享   idt   存在   開啟   管理   

python並發編程之多進程

一、什麼是進程

進程:進行中的一個過程或者一個任務,執行任務的是CPU。

原理:單核加多道技術

二、進程與程式的區別

進程是指程式的運行過程

需要強調的是:同一個程式執行兩次是兩個進程,比如開啟暴風影音,雖然都是同一個軟體,但是一個可以播放蒼井空,另一個可以播放武藤蘭。

三、並發與並行

無論是並行還是並發,在使用者看來都是‘同時‘啟動並執行,不管是進程還是線程,都只是一個任務而已,真是幹活的是cpu,cpu來做這些任務,而一個cpu同一時刻只能執行一個任務。

(1)並發

並發是偽並行,即看起來是同時運行。單個CPU加多道技術就可以實現並發。

 (2)並行

同時運行,只有具有多個CPU才能實現並行

假如四核,六個任務,這樣同一時間就有四個任務被執行

 多道技術:記憶體中同時存入多道(多個)程式,cpu從一個進程快速切換到另外一個,使每個進程各自運行幾十或幾百毫秒,這樣,雖然在某一個瞬間,一個cpu只能執行一個任務,但在1秒內,cpu卻可以運行多個進程,這就給人產生了並行的錯覺,即偽並發,以此來區分多處理器作業系統的真正硬體並行(多個cpu共用同一個實體記憶體)

 

四、同步與非同步

同步執行:一個進程在執行某個任務時,另外一個進程必須等待其執行完畢,才能繼續執行 非同步執行:一個進程在執行某個任務時,另外一個進程無需等待其執行完畢,就可以繼續執行,當有訊息返回時,系統會通知後者進行處理,這樣可以提高執行效率

舉個例子,打電話時就是同步通訊,發短息時就是非同步通訊。

五、進程的建立

但凡是硬體,都需要有作業系統去管理,只要有作業系統,就有進程的概念,就需要有建立進程的方式,一些作業系統只為一個應用程式設計,比如微波爐中的控制器,一旦啟動微波爐,所有的進程都已經存在。

  而對於通用系統(跑很多應用程式),需要有系統運行過程中建立或撤銷進程的能力,主要分為4中形式建立新的進程

  1. 系統初始化(查看進程linux中用ps命令,windows中用工作管理員,前台進程負責與使用者互動,後台啟動並執行進程與使用者無關,運行在後台並且只在需要時才喚醒的進程,稱為守護進程,如電子郵件、web頁面、新聞、列印)

  2. 一個進程在運行過程中開啟了子進程(如nginx開啟多進程,os.fork,subprocess.Popen等)

  3. 使用者的互動式請求,而建立一個新進程(如使用者雙擊暴風影音)

  4. 一個批次工作的初始化(只在大型主機的批處理系統中應用)

 無論哪一種,新進程的建立都是由一個已經存在的進程執行了一個用於建立進程的系統調用而建立的:

  1. 在UNIX中該系統調用是:fork,fork會建立一個與父進程一模一樣的副本,二者有相同的儲存映像、同樣的環境字串和同樣的開啟檔案(在shell解譯器進程中,執行一個命令就會建立一個子進程)

  2. 在windows中該系統調用是:CreateProcess,CreateProcess既處理進程的建立,也負責把正確的程式裝入新進程。

  關於建立的子進程,UNIX和windows

  1.相同的是:進程建立後,父進程和子進程有各自不同的地址空間(多道技術要求物理層面實現進程之間記憶體的隔離),任何一個進程的在其地址空間中的修改都不會影響到另外一個進程。

  2.不同的是:在UNIX中,子進程的初始地址空間是父進程的一個副本,提示:子進程和父進程是可以有唯讀共用記憶體區的。但是對於windows系統來說,從一開始父進程與子進程的地址空間就是不同的。

六、進程的終止

1. 正常退出(自願,如使用者點擊互動式頁面的叉號,或程式執行完畢調用發起系統調用正常退出,在linux中用exit,在windows中用ExitProcess)

2. 出錯退出(自願,python a.py中a.py不存在)

3. 嚴重錯誤(非自願,執行非法指令,如引用不存在的記憶體,1/0等,可以捕捉異常,try...except...)

4. 被其他進程殺死(非自願,如kill -9)

七、進程的階層

無論UNIX還是windows,進程只有一個父進程,不同的是:

  1. 在UNIX中所有的進程,都是以init進程為根,組成樹形結構。父子進程共同組成一個進程組,這樣,當從鍵盤發出一個訊號時,該訊號被送給當前與鍵盤相關的進程組中的所有成員。

  2. 在windows中,沒有進程層次的概念,所有的進程都是地位相同的,唯一類似於進程層次的暗示,是在建立進程時,父進程得到一個特別的令牌(稱為控制代碼),該控制代碼可以用來控制子進程,但是父進程有權把該控制代碼傳給其他子進程,這樣就沒有層次了。

八、進程的狀態

執行程式tail,開啟一個子進程,執行程式grep,開啟另外一個子進程,兩個進程之間基於管道‘|‘通訊,將tail的結果作為grep的輸入。

  進程grep在等待輸入(即I/O)時的狀態稱為阻塞,此時grep命令都無法運行

  其實在兩種情況下會導致一個進程在邏輯上不能運行,

  1. 進程掛起是自身原因,遇到I/O阻塞,便要讓出CPU讓其他進程去執行,這樣保證CPU一直在工作

  2. 與進程無關,是作業系統層面,可能會因為一個進程佔用時間過多,或者優先順序等原因,而調用其他的進程去使用CPU。

  因而一個進程由三種狀態

 九、進程的實現

進程並發的實現在於,硬體中斷一個正在啟動並執行進程,把此時進程啟動並執行所有狀態儲存下來,為此,作業系統維護一張表格,即進程表(process table),每個進程佔用一個進程表項(這些表項也稱為進程式控制制塊)

  該表存放了進程狀態的重要訊息:程式計數器、堆棧指標、記憶體配置狀況、所有開啟檔案的狀態、帳號和調度資訊,以及其他在進程由運行態轉為就緒態或阻塞態時,必須儲存的資訊,從而保證該進程在再次啟動時,就像從未被中斷過一樣。

  

 

python並發編程之多進程

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.