Python-進程與線程理論基礎-Day10

標籤：div   進程組   集中   creat   存在   http   使用   允許   tab   

進程與線程理論基礎1、背景知識

　 理論基礎：

　　一 作業系統的作用：

       1：隱藏醜陋複雜的硬體介面，提供良好的抽象介面       2：管理、調度進程，並且將多個進程對硬體的競爭變得有序

　　二 多道技術：

       1.產生背景：針對單核，實現並發（現在的主機一般是多核，那麼每個核都會利用多道技術，但是核與核之間沒有使用多道技術切換這麼一說，一個程式io阻塞，會等到io結束再重新調度）       2.時間上的複用（複用一個cpu的時間片）+空間上的複用（如記憶體中同時有多道程式）

2、進程2.1 什麼是進程

進程：進行中的一個過程或者說一個任務。而負責執行任務則是cpu。

2.2 進程與程式的區別

程式僅僅只是一堆代碼而已，而進程指的是程式的運行過程。

2.3 並發與並行

  無論是並行還是並發，在使用者看來都是‘同時‘啟動並執行，不管是進程還是線程，都只是一個任務而已，真是幹活的是cpu，cpu來做這些任務，而一個cpu同一時刻只能執行一個任務  一 並發：是偽並行，即看起來是同時運行。單個cpu+多道技術就可以實現並發，（並行也屬於並發） 二 並行：同時運行，只有具備多個cpu才能實現並行     單核下，可以利用多道技術，多個核，每個核也都可以利用多道技術（多道技術是針對單核而言的）     有四個核，六個任務，這樣同一時間有四個任務被執行，假設分別被分配給了cpu1，cpu2，cpu3，cpu4，     一旦任務1遇到I/O就被迫中斷執行，此時任務5就拿到cpu1的時間片去執行，這就是單核下的多道技術     而一旦任務1的I/O結束了，作業系統會重新調用它(需知進程的調度、分配給哪個cpu運行，由作業系統說了算)，可能被分配給四個cpu中的任意一個去執行

2.4 同步與非同步

同步執行：一個進程在執行某個任務時，另外一個進程必須等待其執行完畢，才能繼續執行

非同步執行：一個進程在執行某個任務時，另外一個進程無需等待其執行完畢，就可以繼續執行，當有訊息返回時，系統會通知後者進行處理，這樣可以提高執行效率

舉個例子，打電話時就是同步通訊，發短息時就是非同步通訊。

2.5 進程的建立

　　但凡是硬體，都需要有作業系統去管理，只要有作業系統，就有進程的概念，就需要有建立進程的方式，一些作業系統只為一個應用程式設計，比如微波爐中的控制器，一旦啟動微波爐，所有的進程都已經存在。

　　而對於通用系統（跑很多應用程式），需要有系統運行過程中建立或撤銷進程的能力，主要分為4中形式建立新的進程

　　1. 系統初始化（查看進程linux中用ps命令，windows中用工作管理員，前台進程負責與使用者互動，後台啟動並執行進程與使用者無關，運行在後台並且只在需要時才喚醒的進程，稱為守護進程，如電子郵件、web頁面、新聞、列印）

　　2. 一個進程在運行過程中開啟了子進程（如nginx開啟多進程，os.fork,subprocess.Popen等）

　　3. 使用者的互動式請求，而建立一個新進程（如使用者雙擊暴風影音）

　　4. 一個批次工作的初始化（只在大型主機的批處理系統中應用）

　　

　　無論哪一種，新進程的建立都是由一個已經存在的進程執行了一個用於建立進程的系統調用而建立的：

　　1. 在UNIX中該系統調用是：fork，fork會建立一個與父進程一模一樣的副本，二者有相同的儲存映像、同樣的環境字串和同樣的開啟檔案（在shell解譯器進程中，執行一個命令就會建立一個子進程）

　　2. 在windows中該系統調用是：CreateProcess，CreateProcess既處理進程的建立，也負責把正確的程式裝入新進程。

　

　　關於建立的子進程，UNIX和windows

　　1.相同的是：進程建立後，父進程和子進程有各自不同的地址空間（多道技術要求物理層面實現進程之間記憶體的隔離），任何一個進程的在其地址空間中的修改都不會影響到另外一個進程。

　　2.不同的是：在UNIX中，子進程的初始地址空間是父進程的一個副本，提示：子進程和父進程是可以有唯讀共用記憶體區的。但是對於windows系統來說，從一開始父進程與子進程的地址空間就是不同的。

2.6 進程的終止

　　1. 正常退出（自願，如使用者點擊互動式頁面的叉號，或程式執行完畢調用發起系統調用正常退出，在linux中用exit，在windows中用ExitProcess）

　　2. 出錯退出（自願，python a.py中a.py不存在）

　　3. 嚴重錯誤（非自願，執行非法指令，如引用不存在的記憶體，1/0等，可以捕捉異常，try...except...）

　　4. 被其他進程殺死（非自願，如kill -9）

2.7 進程的階層

　　無論UNIX還是windows，進程只有一個父進程，不同的是：

　　1. 在UNIX中所有的進程，都是以init進程為根，組成樹形結構。父子進程共同組成一個進程組，這樣，當從鍵盤發出一個訊號時，該訊號被送給當前與鍵盤相關的進程組中的所有成員。

　　2. 在windows中，沒有進程層次的概念，所有的進程都是地位相同的，唯一類似於進程層次的暗示，是在建立進程時，父進程得到一個特別的令牌（稱為控制代碼）,該控制代碼可以用來控制子進程，但是父進程有權把該控制代碼傳給其他子進程，這樣就沒有層次了。
回到頂部

2.8 進程的狀態

　　tail -f access.log |grep ‘404‘

　　執行程式tail，開啟一個子進程，執行程式grep，開啟另外一個子進程，兩個進程之間基於管道‘|‘通訊，將tail的結果作為grep的輸入。

　　進程grep在等待輸入（即I/O）時的狀態稱為阻塞，此時grep命令都無法運行

　　其實在兩種情況下會導致一個進程在邏輯上不能運行，

　　1. 進程掛起是自身原因，遇到I/O阻塞，便要讓出CPU讓其他進程去執行，這樣保證CPU一直在工作

　　2. 與進程無關，是作業系統層面，可能會因為一個進程佔用時間過多，或者優先順序等原因，而調用其他的進程去使用CPU。

　　因而一個進程由三種狀態

2.9 進程並發的實現

　　進程並發的實現在於，硬體中斷一個正在啟動並執行進程，把此時進程啟動並執行所有狀態儲存下來，為此，作業系統維護一張表格，即進程表（process table），每個進程佔用一個進程表項（這些表項也稱為進程式控制制塊）

　　該表存放了進程狀態的重要訊息：程式計數器、堆棧指標、記憶體配置狀況、所有開啟檔案的狀態、帳號和調度資訊，以及其他在進程由運行態轉為就緒態或阻塞態時，必須儲存的資訊，從而保證該進程在再次啟動時，就像從未被中斷過一樣。

3、線程3.1 什麼是線程　　

　　在傳統作業系統中，每個進程有一個地址空間，而且預設就有一個控制線程

　　線程顧名思義，就是一條流水線工作的過程，一條流水線必須屬於一個車間，一個車間的工作過程是一個進程

  車間負責把資源整合到一起，是一個資源單位，而一個車間內至少有一個流水線  流水線的工作需要電源，電源就相當於cpu

　　所以，進程只是用來把資源集中到一起（進程只是一個資源單位，或者說資源集合），而線程才是cpu上的執行單位。

　　多線程（即多個控制線程）的概念是，在一個進程中存在多個控制線程，多個控制線程共用該進程的地址空間，相當於一個車間內有多條流水線，都共用一個車間的資源。

  例如，北京地鐵與上海地鐵是不同的進程，而北京地鐵裡的13號線是一個線程，北京地鐵所有的線路共用北京地鐵所有的資源，比如所有的乘客可以被所有線路拉。

　　建立進程的開銷要遠大於線程？

如果我們的軟體是一個工廠，該工廠有多條流水線，流水線工作需要電源，電源只有一個即cpu（單核cpu）

一個車間就是一個進程，一個車間至少一條流水線（一個進程至少一個線程）

建立一個進程，就是建立一個車間（申請空間，在該空間內建至少一條流水線）

而建線程，就只是在一個車間內造一條流水線，無需申請空間，所以建立開銷小

進程之間是競爭關係，線程之間是協作關係？

車間直接是競爭/搶電源的關係，競爭（不同的進程直接是競爭關係，是不同的程式員寫的程式啟動並執行，迅雷搶佔其他進程的網速，360把其他進程當做病毒乾死）

一個車間的不同流水線式協同工作的關係（同一個進程的線程之間是合作關係，是同一個程式寫的程式內開啟動，迅雷內的線程是合作關係，不會自己幹自己）

3.2 為何要用多線程

　　多線程指的是，在一個進程中開啟多個線程，簡單的講：如果多個任務共用一塊地址空間，那麼必須在一個進程內開啟多個線程。詳細的講分為4點：

  1. 多線程共用一個進程的地址空間  2. 線程比進程更輕量級，線程比進程更容易建立可撤銷，在許多作業系統中，建立一個線程比建立一個進程要快10-100倍，在有大量線程需要動態和快速修改時，這一特性很有用  3. 若多個線程都是cpu密集型的，那麼並不能獲得效能上的增強，但是如果存在大量的計算和大量的I/O處理，擁有多個線程允許這些活動彼此重疊運行，從而會加快程式執行的速度。  4. 在多cpu系統中，為了最大限度的利用多核，可以開啟多個線程（比開進程開銷要小的多）

3.3 多線程的應用舉例

開啟一個文書處理軟體進程，該進程肯定需要辦不止一件事情，比如監聽鍵盤輸入，處理文字，定時自動將文字儲存到硬碟，這三個任務操作的都是同一塊資料，因而不能用多進程。只能在一個進程裡並發地開啟三個線程,如果是單線程，那就只能是，鍵盤輸入時，不能處理文字和自動儲存，自動儲存時又不能輸入和處理文字。

Python-進程與線程理論基礎-Day10