apache2.0 prefork和worker模組效能調優

 

文章來源：http://hi.baidu.com/top2top/blog/item/0bea951600a16050f2de322b.html apache2.0 prefork和worker模組效能調優2007-05-31 18:38

Apache 2.0在效能上的改善最吸引人。在支援POSIX線程的Unix系統上，Apache可以通過不同的MPM運行在一種多進程與多線程相混合的模式下，增強部分配置的可擴充效能。相比於Apache 1.3，2.0版本做了大量的最佳化來提升處理能力和延展性，並且大多數改進在預設狀態下即可生效。但是在編譯和運行時刻，2.0也有許多可以顯著提高效能的選擇。本文不想敘述那些以功能換取速度的指令，如HostnameLookups等，而只是說明在2.0中影響效能的最核心特性：MPM（Multi -Processing Modules，多道處理模組）的基本工作原理和配置指令。 　　毫不誇張地說，MPM的引入是Apache 2.0最重要的變化。大家知道，Apache是基於模組化的設計，而Apache 2.0更擴充了模組化設計到Web伺服器的最準系統。伺服器裝載了一種多道處理模組，負責綁定本機網路連接埠、接受請求，並調度子進程來處理請求。擴充模組化設計有兩個重要好處： 　　◆ Apache可以更簡潔、有效地支援多種作業系統； 　　◆ 伺服器可以按網站的特殊需要進行自定製。 　　在使用者級，MPM看起來和其它Apache模組非常類似。主要區別是在任意時刻只能有一種MPM被裝載到伺服器中。 　　指定MPM的方法 　　下面以Red Hat Linux 9為平台，說明在Apache 2.0中如何指定MPM (Apache採用2.0.45)。先解壓縮原始碼包httpd-2.0.45.tar.gz，產生httpd-2.0.45目錄（Apache 1.3原始碼包的命名規則是apache_1.3.NN.tar.gz，而2.0版則是httpd-2.0.NN.tar.gz，其中NN是次版本號碼）。 　　進入httpd-2.0.45目錄，運行以下代碼： $ ./configure --help|grep mpm   　　顯示如下： --with-mpm=MPM Choose the process model for Apache to use. MPM={beos|worker|prefork|mpmt_os2| perchild|leader|threadpool}   　　上述操作用來選擇要使用的進程模型，即哪種MPM模組。Beos、mpmt_os2分別是BeOS和OS/2上預設的MPM， perchild主要設計目的是以不同的使用者和組的身份來運行不同的子進程。這在運行多個需要CGI的虛擬機器主機時特別有用，會比1.3版中的SuExec 機製做得更好。leader和threadpool都是基於worker的變體，還處於實驗性階段，某些情況下並不會按照預期設想的那樣工作，所以 Apache官方也並不推薦使用。因此，我們主要闡述prefork和worker這兩種和效能關係最大的產品級MPM ( 有關其它的MPM詳細說明，請參見Apache官方文檔：http://httpd.apache.org/docs-2.0/mod/)。 　　prefork的工作原理及配置 　　如果不用“--with-mpm”顯式指定某種MPM，prefork就是Unix平台上預設的MPM。它所採用的預派生子進程方式也是 Apache 1.3中採用的模式。prefork本身並沒有使用到線程，2.0版使用它是為了與1.3版保持相容性；另一方面，prefork用單獨的子進程來處理不同的請求，進程之間是彼此獨立的，這也使其成為最穩定的MPM之一。 　　若使用prefork，在make編譯和make install安裝後，使用“httpd -l”來確定當前使用的MPM，應該會看到prefork.c（如果看到worker.c說明使用的是worker MPM，依此類推）。再查看預設產生的httpd.conf設定檔，裡麵包含如下配置段： <IfModule prefork.c> StartServers 5 MinSpareServers 5 MaxSpareServers 10 MaxClients 150 MaxRequestsPerChild 0 </IfModule>   　　prefork的工作原理是，控制進程在最初建立“StartServers”個子進程後，為了滿足MinSpareServers設定的需要建立一個進程，等待一秒鐘，繼續建立兩個，再等待一秒鐘，繼續建立四個……如此按指數級增加建立的進程數，最多達到每秒32個，直到滿足 MinSpareServers設定的值為止。這就是預派生（prefork）的由來。這種模式可以不必在請求到來時再產生新的進程，從而減小了系統開銷以增加效能。 　　MaxSpareServers設定了最大的空閑進程數，如果空閑進程數大於這個值，Apache會自動kill掉一些多餘進程。這個值不要設得過大，但如果設的值比MinSpareServers小，Apache會自動把其調整為MinSpareServers+1。如果網站負載較大，可考慮同時加大MinSpareServers和MaxSpareServers。 　　MaxRequestsPerChild設定的是每個子進程可處理的請求數。每個子進程在處理了“MaxRequestsPerChild” 個請求後將自動銷毀。0意味著無限，即子進程永不銷毀。雖然預設設為0可以使每個子進程處理更多的請求，但如果設成非零值也有兩點重要的好處： 　　◆ 可防止意外的記憶體流失； 　　◆ 在伺服器負載下降的時侯會自動減少子進程數。 　　因此，可根據伺服器的負載來調整這個值。筆者認為10000左右比較合適。 　　MaxClients是這些指令中最為重要的一個，設定的是Apache可以同時處理的請求，是對Apache效能影響最大的參數。其預設值 150是遠遠不夠的，如果請求總數已達到這個值（可通過ps -ef|grep http|wc -l來確認），那麼後面的請求就要排隊，直到某個已處理請求完畢。這就是系統資源還剩下很多而HTTP訪問卻很慢的主要原因。系統管理員可以根據硬體設定和負載情況來動態調整這個值。雖然理論上這個值越大，可以處理的請求就越多，但Apache預設的限制不能大於256。如果把這個值設為大於256，那麼 Apache將無法起動。事實上，256對於負載稍重的網站也是不夠的。在Apache 1.3中，這是個硬限制。如果要加大這個值，必須在“configure”前手工修改的原始碼樹下的src/include/httpd.h中尋找 256，就會發現“#define HARD_SERVER_LIMIT 256”這行。把256改為要增大的值（如4000），然後重新編譯Apache即可。在Apache 2.0中新加入了ServerLimit指令，使得無須重編譯Apache就可以加大MaxClients。下面是筆者的prefork配置段： <IfModule prefork.c> StartServers 10 MinSpareServers 10 MaxSpareServers 15 ServerLimit 2000 MaxClients 1000 MaxRequestsPerChild 10000 </IfModule>   　　上述配置中，ServerLimit的最大值是20000，對於大多數網站已經足夠。如果一定要再加大這個數值，對位於原始碼樹下server/mpm/prefork/prefork.c中以下兩行做相應修改即可： #define DEFAULT_SERVER_LIMIT 256 #define MAX_SERVER_LIMIT 20000   　　worker的工作原理及配置 　　相對於prefork，worker是2.0 版中全新的支援多線程和多進程混合模型的MPM。由於使用線程來處理，所以可以處理相對海量的請求，而系統資源的開銷要小於基於進程的伺服器。但是， worker也使用了多進程，每個進程又產生多個線程，以獲得基於進程伺服器的穩定性。這種MPM的工作方式將是Apache 2.0的發展趨勢。 　　在configure -with-mpm=worker後，進行make編譯、make install安裝。在預設產生的httpd.conf中有以下配置段： <IfModule worker.c> StartServers 2 MaxClients 150 MinSpareThreads 25 MaxSpareThreads 75 ThreadsPerChild 25 MaxRequestsPerChild 0 </IfModule>   　　worker的工作原理是，由主控制進程產生“StartServers”個子進程，每個子進程中包含固定的ThreadsPerChild 線程數，各個線程獨立地處理請求。同樣，為了不在請求到來時再產生線程，MinSpareThreads和MaxSpareThreads設定了最少和最多的空閑線程數；而MaxClients設定了所有子進程中的線程總數。如果現有子進程中的線程總數不能滿足負載，控制進程將派生新的子進程。 　　MinSpareThreads和MaxSpareThreads的最大預設值分別是75和250。這兩個參數對Apache的效能影響並不大，可以按照實際情況相應調節。 　　ThreadsPerChild是worker MPM中與效能相關最密切的指令。ThreadsPerChild的最大預設值是64，如果負載較大，64也是不夠的。這時要顯式使用 ThreadLimit指令，它的最大預設值是20000。上述兩個值位於源碼樹server/mpm/worker/worker.c中的以下兩行： #define DEFAULT_THREAD_LIMIT 64 #define MAX_THREAD_LIMIT 20000   　　這兩行對應著ThreadsPerChild和ThreadLimit的限制數。最好在configure之前就把64改成所希望的值。注意，不要把這兩個值設得太高，超過系統的處理能力，從而因Apache不起動使系統很不穩定。 　　Worker模式下所能同時處理的請求總數是由子進程總數乘以ThreadsPerChild值決定的，應該大於等於MaxClients。如果負載很大，現有的子進程數不能滿足時，控制進程會派生新的子進程。預設最大的子進程總數是16，加大時也需要顯式聲明ServerLimit（最大值是20000）。這兩個值位於源碼樹server/mpm/worker/worker.c中的以下兩行： #define DEFAULT_SERVER_LIMIT 16 #define MAX_SERVER_LIMIT 20000   　　需要注意的是，如果顯式聲明了ServerLimit，那麼它乘以ThreadsPerChild的值必須大於等於MaxClients，而且MaxClients必須是ThreadsPerChild的整數倍，否則Apache將會自動調節到一個相應值（可能是個非期望值）。下面是筆者的 worker配置段： <IfModule worker.c> StartServers 3 MaxClients 2000 ServerLimit 25 MinSpareThreads 50 MaxSpareThreads 200 ThreadLimit 200 ThreadsPerChild 100 MaxRequestsPerChild 0 </IfModule>   　　通過上面的敘述，可以瞭解到Apache 2.0中prefork和worker這兩個重要MPM的工作原理，並可根據實際情況來配置Apache相關的核心參數，以獲得最大的效能和穩定性。