標籤:style blog http color 使用 os strong 檔案
共用記憶體簡介共用記憶體允許兩個或多個進程共用一給定的儲存區。因為資料不需要在客戶進程和伺服器處理序之間複製,所以這是最快的一種IPC。共用記憶體的方式有兩種:mmap()系統調用和系統V共用記憶體。mmap()系統調用mmap()系統調用使得進程之間通過映射同一個普通檔案實現共用記憶體。普通檔案被映射到進程地址空間後,進程可以向訪問普通記憶體一樣對檔案進行訪問,不必再調用read(),write()等操作。
註:實際上,mmap()系統調用並不是完全為了用於共用記憶體而設計的。它本身提供了不同於一般對普通檔案的訪問方式,進程可以像讀寫記憶體一樣對普通檔案的操作。而Posix或系統V的共用記憶體IPC則純粹用於共用目的,當然mmap()實現共用記憶體也是其主要應用之一。
mmap()系統調用原型如下:
#include <sys/mman.h>void* mmap ( void * addr , size_t len , int prot , int flags , int fd , off_t offset )
addr參數用於指定映射儲存區的起始地址。通常將其設定為0,這表示由系統選擇該映射區的起始地址。此函數的返回地址是該映射區的起始地址。fd指定要被對應檔的描述符。在映射該檔案到一個地址空間之前,要先開啟該檔案。len是映射的位元組數。offset是要映射位元組在檔案中的起始位移。prot參數說明對映射儲存區的保護要求,可取如下幾個值的或:PROT_READ(可讀) , PROT_WRITE (可寫), PROT_EXEC (可執行), PROT_NONE(不可訪問)。flags參數影響映射儲存區的多種屬性,由以下幾個常值指定:MAP_SHARED , MAP_PRIVATE , MAP_FIXED,其中,MAP_SHARED , MAP_PRIVATE必選其一,而MAP_FIXED則不推薦使用。mmap()用於共用記憶體的兩種方式(1)使用普通檔案提供的記憶體映射:適用於任何進程之間; 此時,需要開啟或建立一個檔案,然後再調用mmap();典型調用代碼如下:
fd=open(name, flag, mode);if(fd<0)...ptr=mmap(NULL, len , PROT_READ|PROT_WRITE, MAP_SHARED , fd , 0);
(2)使用特殊檔案提供匿名記憶體映射:適用於具有親緣關係的進程之間; 由於父子進程特殊的親緣關係,在父進程中先調用mmap(),然後調用fork()。那麼在調用fork()之後,子進程繼承父進程匿名映射後的地址空間,同樣也繼承mmap()返回的地址,這樣,父子進程就可以通過映射地區進行通訊了。注意,這裡不是一般的繼承關係。一般來說,子進程單獨維護從父進程繼承下來的一些變數。而mmap()返回的地址,卻由父子進程共同維護。
對於具有親緣關係的進程實現共用記憶體最好的方式應該是採用匿名記憶體映射的方式。此時,不必指定具體的檔案,只要設定相應的標誌即可。
mmap()系統調用小結1、 最終被對應檔的內容的長度不會超過檔案本身的初始大小,即映射不能改變檔案的大小;
2、 可以用於進程通訊的有效地址空間大小大體上受限於被對應檔的大小,但不完全受限於檔案大小。
註:在linux中,記憶體的保護是以頁為基本單位的,
即使被對應檔只有一個位元組大小,核心也會為映射分配一個頁面大小的記憶體。當被對應檔小於一個頁面大小時,進程可以對從mmap()返回地址開始的一個頁面大小進行訪問,而不會出錯;但是,如果對一個頁面以外的地址空間進行訪問,則導致錯誤發生。因此,可用於處理序間通訊的有效地址空間大小不會超過檔案大小及一個頁面大小的和。
3、 檔案一旦被映射後,調用mmap()的進程對返回地址的訪問是對某一記憶體地區的訪問,暫時脫離了磁碟上檔案的影響。
所有對mmap()返回地址空間的操作只在記憶體中有意義,只有在調用了munmap()後或者msync()時,才把記憶體中的相應內容寫回磁碟檔案,所寫內容仍然不能超過檔案的大小。
系統V共用記憶體系統V共用記憶體原理系統V是通過映射特殊檔案系統shm中的檔案實現進程間的共用記憶體通訊。也就是說,每個共用記憶體地區對應特殊檔案系統shm中的一個檔案(這是通過shmid_kernel結構聯絡起來的)。
進程間需要共用的資料被放在一個叫做IPC共用記憶體地區的地方,所有需要訪問該共用地區的進程都要把該共用區域對應到本進程的地址空間中去。系統V共用記憶體通過shmget獲得或建立一個IPC共用記憶體地區,並返回相應的標識符。核心在保證shmget獲得或建立一個共用記憶體區,初始化該共用記憶體區相應的shmid_kernel結構注同時,還將在特殊檔案系統shm中,建立並開啟一個同名檔案,並在記憶體中建立起該檔案的相應dentry及inode結構,新開啟的檔案不屬於任何一個進程(任何進程都可以訪問該共用記憶體區)。所有這一切都是系統調用shmget完成的。
註:每一個共用記憶體區都有一個控制結構struct shmid_kernel,shmid_kernel是共用記憶體地區中非常重要的一個資料結構,它是儲存管理和檔案系統結合起來的橋樑,定義如下:
struct shmid_kernel /* private to the kernel */{struct kern_ipc_permshm_perm;struct file *shm_file;intid;unsigned longshm_nattch;unsigned longshm_segsz;time_tshm_atim;time_tshm_dtim;time_tshm_ctim;pid_tshm_cprid;pid_tshm_lprid;};
該結構中最重要的一個域應該是shm_file,它儲存了將被對應檔的地址。每個共用記憶體區對象都對應特殊檔案系統shm中的一個檔案,一般情況下,特殊檔案系統shm中的檔案是不能用read()、write()等方法訪問的,當採取共用記憶體的方式把其中的檔案對應到進程地址空間後,可直接採用訪問記憶體的方式對其訪問。這裡我們採用[1]中的圖表給出與系統V共用記憶體相關資料結構:正如訊息佇列和號誌一樣,核心通過資料結構struct ipc_ids shm_ids維護系統中的所有共用記憶體地區。中的shm_ids.entries變數指向一個ipc_id結構數組,而每個ipc_id結構數組中有個指向kern_ipc_perm結構的指標。到這裡讀者應該很熟悉了,對於系統V共用記憶體區來說,kern_ipc_perm的宿主是shmid_kernel結構,shmid_kernel是用來描述一個共用記憶體地區的,這樣核心就能夠控制系統中所有的共用地區。同時,在shmid_kernel結構的file類型指標shm_file指向檔案系統shm中相應的檔案,這樣,共用記憶體地區就與shm檔案系統中的檔案對應起來。
在建立了一個共用記憶體地區後,還要將它映射到進程地址空間,系統調用shmat()完成此項功能。由於在調用shmget()時,已經建立了檔案系統shm中的一個同名檔案與共用記憶體地區相對應,因此,調用shmat()的過程相當於對應檔系統shm中的同名檔案過程,原理與mmap()大同小異。系統V共用記憶體API對於系統V共用記憶體,主要有以下幾個API:shmget()、shmat()、shmdt()及shmctl()。
#include <sys/ipc.h>#include <sys/shm.h>int shmget(key_t key, size_t size, int flag);int shmctl(int shmid, int cmd, struct shmid_ds *buf);void *shmat(int shmid, const void *addr, int flag);int shmdt(void *addr);
shmget()用來獲得共用記憶體地區的ID,如果不存在指定的共用地區就建立相應的地區。shmat()把共用記憶體區域對應到調用進程的地址空間中去,這樣,進程就可以方便地對共用地區進行訪問操作。shmdt()調用用來解除進程對共用記憶體地區的映射。shmctl實現對共用記憶體地區的控制操作。這裡我們不對這些系統調用作具體的介紹,讀者可參考相應的手冊頁面,後面的範例中將給出它們的調用方法。
註:shmget的內部實現包含了許多重要的系統V共用記憶體機制;shmat在把共用記憶體區域對應到進程空間時,並不真正改變進程的頁表。當進程第一次訪問記憶體映射地區訪問時,會因為沒有物理頁表的分配而導致一個缺頁異常,然後核心再根據相應的儲存管理機製為共用記憶體映射地區分配相應的頁表。系統V共用記憶體限制在/proc/sys/kernel/目錄下,記錄著系統V共用記憶體的一下限制,如一個共用記憶體區的最大位元組數shmmax,系統範圍內最大共用記憶體區標識符數shmmni等,可以手工對其調整,但不推薦這樣做。系統V共用記憶體小結1、 系統V共用記憶體中的資料,從來不寫入到實際磁碟檔案中去;而通過mmap()映射普通檔案實現的共用記憶體通訊可以指定何時將資料寫入磁碟檔案中。 註:前面講到,系統V共用記憶體機制實際是通過映射特殊檔案系統shm中的檔案實現的,檔案系統shm的安裝點在交換分區上,系統重新引導後,所有的內容都丟失。
2、 系統V共用記憶體是隨核心持續的,即使所有訪問共用記憶體的進程都已經正常終止,共用記憶體區仍然存在(除非顯式刪除共用記憶體),在核心重新引導之前,對該共用記憶體地區的任何改寫操作都將一直保留。
3、 通過調用mmap()映射普通檔案進行處理序間通訊時,一定要注意考慮進程何時終止對通訊的影響。而通過系統V共用記憶體實現通訊的進程則不然。參考文獻http://www.ibm.com/developerworks/cn/linux/l-ipc/part5/index1.html#ibm-pconhttp://www.ibm.com/developerworks/cn/linux/l-ipc/part5/index2.html