LINUX ulimit命令

原文連結

linux下預設是不產生core檔案的，要用ulimit -c unlimited放開

概述

系統效能一直是一個受關注的話題，如何通過最簡單的設定來實現最有效效能調優，如何在有限資源的條件下保證程式的運作，ulimit 是我們在處理這些問題時，經常使用的一種簡單手段。ulimit 是一種 linux 系統的內鍵功能，它具有一套參數集，用於為由它產生的 shell 進程及其子進程的資源使用設定限制。本文將在後面的章節中詳細說明 ulimit 的功能，使用以及它的影響，並以具體的例子來詳細地闡述它在限制資源使用方面的影響。

ulimit 的功能和用法

ulimit 功能簡述

假設有這樣一種情況，當一台 Linux 主機上同時登陸了 10 個人，在系統資源無限制的情況下，這 10 個使用者同時開啟了 500 個文檔，而假設每個文檔的大小有 10M，這時系統的記憶體資源就會受到巨大的挑戰。

而實際應用的環境要比這種假設複雜的多，例如在一個嵌入式開發環境中，各方面的資源都是非常緊缺的，對於開啟檔案描述符的數量，分配堆棧的大 小，CPU 時間，虛擬記憶體大小，等等，都有非常嚴格的要求。資源的合理限制和分配，不僅僅是保證系統可用性的必要條件，也與系統上軟體啟動並執行效能有著密不可分的聯 系。這時，ulimit 可以起到很大的作用，它是一種簡單並且有效實現資源限制的方式。

ulimit 用於限制 shell 啟動進程所佔用的資源，支援以下各種類型的限制：所建立的核心檔案的大小、進程資料區塊的大小、Shell 進程建立檔案的大小、記憶體鎖住的大小、常駐記憶體集的大小、開啟檔案描述符的數量、分配堆棧的最大大小、CPU 時間、單個使用者的最大線程數、Shell 進程所能使用的最大虛擬記憶體。同時，它支援硬資源和軟資源的限制。

作為臨時限制，ulimit 可以作用於通過使用其命令登入的 shell 會話，在會話終止時便結束限制，並不影響於其他 shell 會話。而對於長期的固定限制，ulimit 命令語句又可以被添加到由登入 shell 讀取的檔案中，作用於特定的 shell 使用者。

圖 1. ulimit 的使用 

在下面的章節中，將詳細介紹如何使用 ulimit 做相應的資源限制。

如何使用 ulimit

ulimit 通過一些參數選項來管理不同種類的系統資源。在本節，我們將講解這些參數的使用。

ulimit 命令的格式為：ulimit [options] [limit]

具體的 options 含義以及簡單樣本可以參考以下表格。

表 1. ulimit 參數說明

選項 [options]	含義	例子
-H	設定硬資源限制，一旦設定不能增加。	ulimit – Hs 64；限制硬資源，線程棧大小為 64K。
-S	設定軟資源限制，設定後可以增加，但是不能超過硬資源設定。	ulimit – Sn 32；限制軟資源，32 個檔案描述符。
-a	顯示當前所有的 limit 資訊。	ulimit – a；顯示當前所有的 limit 資訊。
-c	最大的 core 檔案的大小， 以 blocks 為單位。	ulimit – c unlimited； 對產生的 core 檔案的大小不進行限制。
-d	進程最大的資料區段的大小，以 Kbytes 為單位。	ulimit -d unlimited；對進程的資料區段大小不進行限制。
-f	進程可以建立檔案的最大值，以 blocks 為單位。	ulimit – f 2048；限制進程可以建立的最大檔案大小為 2048 blocks。
-l	最大可加鎖記憶體大小，以 Kbytes 為單位。	ulimit – l 32；限制最大可加鎖記憶體大小為 32 Kbytes。
-m	最大記憶體大小，以 Kbytes 為單位。	ulimit – m unlimited；對最大記憶體不進行限制。
-n	可以開啟最大檔案描述符的數量。	ulimit – n 128；限制最大可以使用 128 個檔案描述符。
-p	管道緩衝區的大小，以 Kbytes 為單位。	ulimit – p 512；限制管道緩衝區的大小為 512 Kbytes。
-s	線程棧大小，以 Kbytes 為單位。	ulimit – s 512；限制線程棧的大小為 512 Kbytes。
-t	最大的 CPU 佔用時間，以秒為單位。	ulimit – t unlimited；對最大的 CPU 佔用時間不進行限制。
-u	使用者最大可用的進程數。	ulimit – u 64；限制使用者最多可以使用 64 個進程。
-v	進程最大可用的虛擬記憶體，以 Kbytes 為單位。	ulimit – v 200000；限制最大可用的虛擬記憶體為 200000 Kbytes。

 

我們可以通過以下幾種方式來使用 ulimit：

• 在使用者的啟動指令碼中

  如果使用者使用的是 bash，就可以在使用者的目錄下的 .bashrc 檔案中，加入 ulimit – u 64，來限制使用者最多可以使用 64 個進程。此外，可以在與 .bashrc 功能相當的啟動指令碼中加入 ulimt。

• 在應用程式的啟動指令碼中

  如果使用者要對某個應用程式 myapp 進行限制，可以寫一個簡單的指令碼 startmyapp。

  ulimit – s 512 myapp

  以後只要通過指令碼 startmyapp 來啟動應用程式，就可以限制應用程式 myapp 的線程棧大小為 512K。

• 直接在控制台輸入
  

  user@tc511-ui:~>ulimit – p 256

  限制管道的緩衝區為 256K。

使用者進程的有效範圍

ulimit 作為對資源使用限制的一種工作，是有其作用範圍的。那麼，它限制的對象是單個使用者，單個進程，還是整個系統呢？事實上，ulimit 限制的是當前 shell 進程以及其派生的子進程。舉例來說，如果使用者同時運行了兩個 shell 終端進程，只在其中一個環境中執行了 ulimit – s 100，則該 shell 進程裡建立檔案的大小收到相應的限制，而同時另一個 shell 終端包括其上啟動並執行子程式都不會受其影響：

Shell 進程 1

ulimit – s 100 cat testFile > newFile File size limit exceeded

Shell 進程 2

cat testFile > newFile ls – s newFile 323669 newFile

 

那麼，是否有針對某個具體使用者的資源加以限制的方法呢？答案是有的，方法是通過修改系統的 /etc/security/limits 設定檔。該檔案不僅能限制指定使用者的資源使用，還能限制指定組的資源使用。該檔案的每一行都是對限定的一個描述，格式如下：

<domain> <type> <item> <value>

 

domain 表示使用者或者組的名字，還可以使用 * 作為萬用字元。Type 可以有兩個值，soft 和 hard。Item 則表示需要限定的資源，可以有很多候選值，如 stack，cpu，nofile 等等，分別表示最大的堆棧大小，佔用的 cpu 時間，以及開啟的檔案數。通過添加對應的一行描述，則可以產生相應的限制。例如：

* hard noflle 100

 

該行配置語句限定了任意使用者所能建立的最大檔案數是 100。

現在已經可以對進程和使用者分別做資源限制了，看似已經足夠了，其實不然。很多應用需要對整個系統的資源使用做一個總的限制，這時候我們需要修改 /proc 下的設定檔。/proc 目錄下包含了很多系統目前狀態的參數，例如 /proc/sys/kernel/pid_max，/proc/sys/net/ipv4/ip_local_port_range 等等，從檔案的名字大致可以猜出所限制的資源種類。由於該目錄下涉及的檔案眾多，在此不一一介紹。有興趣的讀者可開啟其中的相關檔案查閱說明。

ulimit 管理系統資源的例子

ulimit 提供了在 shell 進程中限制系統資源的功能。本章列舉了一些使用 ulimit 對使用者進程進行限制的例子，詳述了這些限制行為以及對應的影響，以此來說明 ulimit 如何對系統資源進行限制，從而達到調節系統效能的功能。

使用 ulimit 限制 shell 的記憶體使用量

在這一小節裡向讀者展示如何使用 – d，– m 和 – v 選項來對 shell 所使用的記憶體進行限制。

首先我們來看一下不設定 ulimit 限制時調用 ls 命令的情況：

圖 2. 未設定 ulimit 時 ls 命令使用方式 

大家可以看到此時的 ls 命令運行正常。下面設定 ulimit：

>ulimit -d 1000 -m 1000 -v 1000

 

這裡再溫習一下前面章節裡介紹過的這三個選項的含義：

-d：設定資料區段的最大值。單位：KB。

-m：設定可以使用的常駐記憶體的最大值。單位：KB。

-v：設定虛擬記憶體的最大值。單位：KB。

通過上面的 ulimit 設定我們已經把當前 shell 所能使用的最大記憶體限制在 1000KB 以下。接下來我們看看這時運行 ls 命令會得到什麼樣的結果：

haohe@sles10-hehao:~/code/ulimit> ls test -l /bin/ls: error while loading shared libraries: libc.so.6: failed to map segment from shared object: Cannot allocate memory

 

從上面的結果可以看到，此時 ls 運行失敗。根據系統給出的錯誤資訊我們可以看出是由於調用 libc 庫時記憶體配置失敗而導致的 ls 出錯。那麼我們來看一下這個 libc 庫檔案到底有多大：

圖 3. 查看 libc 檔案大小 

從上面的資訊可以看出，這個 libc 庫檔案的大小是 1.5MB。而我們用 ulimit 所設定的記憶體使用量上限是 1000KB，小於 1.5MB，這也就充分證明了 ulimit 所起到的限制 shell 記憶體使用量的功能。

使用 ulimit 限制 shell 建立的檔案的大小

接下來向讀者展示如何使用 -f 選項來對 shell 所能建立的檔案大小進行限制。

首先我們來看一下，沒有設定 ulimit -f 時的情況：

圖 4. 查看檔案 

現有一個檔案 testFile 大小為 323669 bytes，現在使用 cat 命令來建立一個 testFile 的 copy：

圖 5. 未設定 ulimit 時建立複本 

從上面的輸出可以看出，我們成功的建立了 testFile 的拷貝 newFile。

下面我們設定 ulimt – f 100：

> ulimit -f 100

-f 選項的含義是：用來設定 shell 可以建立的檔案的最大值。單位是 blocks。

現在我們再來執行一次相同的拷貝命令看看會是什麼結果：

圖 6. 設定 ulimit 時建立複本 

這次建立 testFile 的拷貝失敗了，系統給出的出錯資訊時檔案大小超出了限制。在 Linux 系統下一個 block 的預設大小是 512 bytes。所以上面的 ulimit 的含義就是限制 shell 所能建立的檔案最大值為 512 x 100 = 51200 bytes，小於 323669 bytes，所以建立檔案失敗，符合我們的期望。這個例子說明了如何使用 ulimit 來控制 shell 所能建立的最大檔案。

使用 ulimit 限制程式所能建立的 socket 數量

考慮一個現實中的實際需求。對於一個 C/S 模型中的 server 程式來說，它會為多個 client 程式請求建立多個 socket 連接埠給與響應。如果恰好有大量的 client 同時向 server 發出請求，那麼此時 server 就會需要建立大量的 socket 串連。但在一個系統當中，往往需要限制單個 server 程式所能使用的最大 socket 數，以供其他的 server 程式所使用。那麼我們如何來做到這一點呢？答案是我們可以通過 ulimit 來實現！細心的讀者可能會發現，通過前面章節的介紹似乎沒有限制 socket 使用的 ulimit 選項。是的，ulimit 並沒有哪個選項直接說是用來限制 socket 的數量的。但是，我們有 -n 這個選項，它是用於限制一個進程所能開啟的檔案描述符的最大值。在 Linux 下一切資源皆檔案，普通檔案是檔案，磁碟印表機是檔案，socket 當然也是檔案。在 Linux 下建立一個新的 socket 串連，實際上就是建立一個新的檔案描述符。如所示（查看某個進程當前開啟的檔案描述符資訊）：

圖 7. 查看進程開啟檔案描述符 

因此，我們可以通過使用 ulimit – n 來限制程式所能開啟的最大檔案描述符數量，從而達到限制 socket 建立的數量。

使用 ulimit 限制 shell 多線程程式堆棧的大小（增加可用線程數量）

在最後一個例子中，向大家介紹如何使用 -s（單位 KB）來對線程的堆棧大小進行限制，從而減少整個多線程程式的記憶體使用量，增加可用線程的數量。這個例子取自於一個真實的案例。我們所遇到的問題是系統對我們的多線程程式有如下的限制：

ulimit -v 200000

根據本文前面的介紹，這意味著我們的程式最多隻能使用不到 200MB 的虛擬記憶體。由於我們的程式是一個多線程程式，程式在運行時會根據需要建立新的線程，這勢必會增加總的記憶體需求量。一開始我們對堆棧大小的限制是 1024 （本例子中使用 1232 來說明）：

# ulimit – s 1232

 

當我們的程式啟動後，通過 pmap 來查看其記憶體使用量情況，可以看到多個佔用 1232KB 的資料區段，這些就是程式所建立的線程所使用的堆棧：

圖 8. 程式線程所使用的堆棧 

每當一個新的線程被建立時都需要新分配一段大小為 1232KB 的記憶體空間，而我們總的虛擬記憶體限制是 200MB，所以如果我們需要建立更多的線程，那麼一個可以改進的方法就是減少每個線程的固定堆棧大小，這可以通過 ulimit – s 來實現：

# ulimit -s 512

 

我們將堆棧大小設定為 512KB，這時再通過 pmap 查看一下我們的設定是否起作用：

圖 9. 設定 ulimit 後堆棧大小 

從上面的資訊可以看出，我們已經成功的將線程的堆棧大小改為 512KB 了，這樣在總記憶體使用量限制不變的情況下，我們可以通過本小節介紹的方法來增加可以建立的線程數，從而達到改善程式的多線程效能。

總結

綜上所述，linux 系統中的 ulimit 指令，對資源限制和系統效能最佳化提供了一條便捷的途徑。從使用者的 shell 啟動指令碼，應用程式啟動指令碼，以及直接在控制台，都可以通過該指令限制系統資源的使用，包括所建立的核心檔案的大小、進程資料區塊的大小、Shell 進程建立檔案的大小、記憶體鎖住的大小、常駐記憶體集的大小、開啟檔案描述符的數量、分配堆棧的最大大小、CPU 時間、單個使用者的最大線程數、Shell 進程所能使用的最大虛擬記憶體，等等方面。本文中的樣本非常直觀的說明了 ulimit 的使用及其產生的效果，顯而易見，ulimit 對我們在 Linux 平台的應用和開發工作是非常實用的。