處理序間通訊---共用記憶體
進程間的通訊方式我們都熟悉,管道(具名管道)、訊號(signal)、共用記憶體、訊息佇列、通訊端(socket),關於訊號量個人認為應該歸為進程間的同步機制裡。
下面我們就說說共用記憶體的通訊方式。 它是IPC中最快的。一旦記憶體區映射到共用它的進程的地址空間,這些進程間資料的傳遞就不在涉及核心。但是存取資料的時候需要保持同步. 關於共用記憶體權威的參考資料為《unix網路編程卷2》. 在前面我們講解了mmap的核心機制,在posix v的共用記憶體的方式就是這個原理。system v也類似,只不過對介面進行了封裝.
我們先從posix v的方式開始說起,它常用的函數介面:
open/shm_open + mmap 、munmap、msync、shm_unlink等.
既然是open那麼就會對應檔案,當然並不是所有的檔案都可以映射.這裡支援的檔案類型:
1 .普通的磁碟檔案
2. 裝置檔案(除去一些特殊的檔案)
3.記憶體檔案 (例如tmpfs)
4. 匿名映射 (主要用在具有親緣關係的進程間)
先說一下常用的匿名映射,直接open /dev/zero保證映射地區都初始化為0 的匿名映射。 還有可以直接用mmap來映射,而不用開啟任何檔案:
- mmap( NULL,size_of_map,PROT_READ|PROT_WRITE,MAP_SHARED | MAP_ANON, -1,0 );
這裡提示一下mmap的函數原型:
- void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);
匿名映射主要區別是flags 裡多了一個 MAP_ANON標誌,和fd傳遞的為-1. 關於更多mmap的資料請自行查詢.
下面說一下一般mmap方式的共用記憶體需要注意的:
映射的記憶體地區大小和檔案大小,記憶體映射的大小都是頁面的整數倍(PAGESIZE 4096預設) 比如檔案大小為5000,映射了5000 ,那麼可以訪問2*PAGESIZE的記憶體地區,但是大於5000的記憶體寫不會同步到檔案裡。這個記憶體可以訪問的大小跟檔案大小也是有關係的。映射的時候會自動檢查底層的支援即檔案的大小. 但是我們知道mmap的方式的優點就是可以動態改變檔案的大小,函數介面為ftruncate和fstat. 具體用法參考unix網路編程卷2.
下面就簡單總結下它的 特點:
1. 可以隨時改變其大小
操作函數介面:ftruncate 和fstat
2. 必須先建立開啟一個檔案為基礎 ,這個檔案可以是磁碟檔案 或者記憶體檔案比如tmpfs下的檔案;如果共用記憶體的配置需要寫入到磁碟 ,可以選擇開啟磁碟檔案。如果在嵌入式裡用一般會把flash一個檔案作為映射 ,既然需要頻繁的操作檔案 和磁碟讀寫 所以建議還是用shm。 畢竟flash頻繁讀寫影響壽命和容易出現壞塊。
而system v的方式不需要明確的open檔案,但是函數操作介面比較多.
函數介面: shmget、shmat、shmdt、shmctl等。
shm方式有些限制:
shmax 一個共用記憶體區的最大位元組數 (具體系統不太一樣)
shmmnb 一個共用記憶體區的最小位元組數 1
shmmni 系統範圍最大共用記憶體區標識數 128
shmseg 每個進程附接的最大共用記憶體區數 32
這些資訊可以通過proc檔案系統來查看。cat /proc/sys/kernel/shmmax 等. 具體查看映射的記憶體區 可以通過ipcs命令來查看和操作.
我們也總結下它的特點:
1.不需要建立和開啟檔案
2. 如果是多處理序間通訊,需要統一 一個key標示 。動態產生的不一定一致。
3.讀寫的速度高於mmap的方式
4. 共用記憶體空間不能太大,畢竟直接佔用記憶體空間.
不論哪種方式,都會涉及多進程間的通訊、資料互動什麼的,那麼就必須保持互斥和同步,這裡最常用的方式是採用訊號量的方式.
訊號量的介面:sem_init、sem_wait、sem_post. 由於用了訊號量編譯的時候會需要連結線程庫 -lpthread.
下面就具體程式碼範例看看它們的具體用法:
posix v方式:
1. 初始化,之後進入迴圈不停的寫,周期為1s。
- #include
- #include
- #include
- #include
- #include
- #define CLUSTER_SHARED_FILE "/tmp/cluster_share"
- typedef struct{
- char name[4];
- int age;
- }people;
- struct stu {
- sem_t mutex;
- people s[10];
- };
- struct stu t;
- main(int argc, char** argv) // map a normal file as shared mem:
- {
- int fd,i;
- struct stu *p_map;
- char temp;
- fd=open(CLUSTER_SHARED_FILE,O_CREAT|O_RDWR|O_TRUNC,00777);
- lseek(fd,sizeof(t)-1,SEEK_SET);
- write(fd,"",1);
- p_map = (struct stu *) mmap( NULL,sizeof(t),PROT_READ|PROT_WRITE,MAP_SHARED,fd,0 );
- close(fd);
- temp = 'a';
- sem_init(&p_map->mutex,1,1);
- int j=0;
- while(1)
- {
- j++;
- printf("j 1\n");
- sem_wait(&p_map->mutex);
- printf("j 2\n");
- for(i=1; i<10; i++)
- {
- // temp += 1;
-
- memcpy(p_map->s[i].name, &temp,2 );
- p_map->s[i].age = p_map->s[i].age +20+i+j;
- }
- printf("j 3\n");
- sem_post(&p_map->mutex);
- printf("j 4\n");
- sleep(1);
- }
- printf(" initialize over \n ");
- sleep(50);
- munmap( p_map, sizeof(t) );
- printf( "umap ok \n" );
- }
2. 讀取操作:
- #include
- #include
- #include
- #include
- #include
- #include
- #define CLUSTER_SHARED_FILE "/tmp/cluster_share"
- typedef struct{
- char name[4];
- int age;
- }people;
- struct stu {
- sem_t mutex;
- people s[10];
- };
- struct stu t;
- main(int argc, char** argv) // map a normal file as shared mem:
- {
- int fd,i;
- struct stu *p_map;
- char temp;
- fd=open(CLUSTER_SHARED_FILE,O_CREAT|O_RDWR,00777);
- // lseek(fd,sizeof(people)*5-1,SEEK_SET);
- // write(fd,"",1);
- p_map = (struct stu *) mmap( NULL,sizeof(t),PROT_READ|PROT_WRITE,MAP_SHARED,fd,0 );
- close( fd );
- while(1)
- {
- sleep(1);
- printf("2.....s\n");
- sem_wait(&p_map->mutex);
- printf("2.....\n");
- for(i=0; i<10; i++)
- {
- printf("name:%s,age:%d\n",p_map->s[i].name,p_map->s[i].age);
- }
- printf("2.....0\n");
- sem_post(&p_map->mutex);
- printf("2.......1");
- }
- munmap( p_map, sizeof(t));
- printf( "umap ok \n" );
- }
至於並非的寫操作,程式稍微修改一下就可以測試. 多並發沒有問題.
system V的方式,雖然介面不太一樣,但是也很類似。
1. 初始化
- #include
- #include
- #include
- #include
- #include
- #include
- //#include "shmdata.h"
- #define TEXT_SZ 2048
- struct shared_use_st
- {
- sem_t mutex;
- int written;//作為一個標誌,非0:表示可讀,0表示可寫
- char text[TEXT_SZ];//記錄寫入和讀取的文本
- int cnt;
- };
- int main()
- {
- int running = 1;
- void *shm = NULL;
- struct shared_use_st *shared = NULL;
- char buffer[4096]="hello world";
- int shmid;
- int i=0;
- //建立共用記憶體
- #if 0
- //刪除共用記憶體
- if(shmctl(shmid, IPC_RMID, 0) == -1)
- {
- fprintf(stderr, "shmctl(IPC_RMID) failed\n");
- exit(EXIT_FAILURE);
- }
- #endif
- shmid = shmget((key_t)12345, sizeof(struct shared_use_st), 0666|IPC_CREAT);
- if(shmid == -1)
- {
- fprintf(stderr, "shmget failed\n");
- exit(EXIT_FAILURE);
- }
- //將共用記憶體串連到當前進程的地址空間
- shm = shmat(shmid, (void*)0, 0);
- if(shm == (void*)-1)
- {
- fprintf(stderr, "shmat failed\n");
- exit(EXIT_FAILURE);
- }
- printf("Memory attached at %X\n", (int)shm);
- //設定共用記憶體
- shared = (struct shared_use_st*)shm;
- sem_init(&shared->mutex,1,1);
- while(running)//向共用記憶體中寫資料
- {
- strncpy(shared->text, buffer, TEXT_SZ);
- sem_wait(&shared->mutex);
- //shared->cnt = 0;
- shared->cnt = shared->cnt +i;
- sem_post(&shared->mutex);
- i++;
- shared->written = 1;
- sleep(1);
- }
- //把共用記憶體從當前進程中分離
- if(shmdt(shm) == -1)
- {
- fprintf(stderr, "shmdt failed\n");
- exit(EXIT_FAILURE);
- }
- sleep(2);
- exit(EXIT_SUCCESS);
- }
2. 讀取操作
- #include
- #include
- #include
- #include
- //#include "shmdata.h"
- #include
- #define TEXT_SZ 2048
- struct shared_use_st
- {
- sem_t mutex;
- int written;//作為一個標誌,非0:表示可讀,0表示可寫
- char text[TEXT_SZ];//記錄寫入和讀取的文本
- int cnt;
- };
- int main()
- {
- int running = 1;//程式是否繼續啟動並執行標誌
- void *shm = NULL;//分配的共用記憶體的原始首地址
- struct shared_use_st *shared;//指向shm
- int shmid;//共用記憶體標識符
- //建立共用記憶體
- shmid = shmget((key_t)12345, sizeof(struct shared_use_st), 0666);
- if(shmid == -1)
- {
- fprintf(stderr, "shmget failed\n");
- exit(EXIT_FAILURE);
- }
- //將共用記憶體串連到當前進程的地址空間
- shm = shmat(shmid, 0, 0);
- if(shm == (void*)-1)
- {
- fprintf(stderr, "shmat failed\n");
- exit(EXIT_FAILURE);
- }
- printf("\nMemory attached at %X\n", (int)shm);
- //設定共用記憶體
- shared = (struct shared_use_st*)shm;
- // shared->written = 0;
- while(running)//讀取共用記憶體中的資料
- {
- sem_wait(&shared->mutex);
- printf("text:%s,cnt:%d\n",shared->text,shared->cnt);
- sem_post(&shared->mutex);
- sleep(1);
- }
- //把共用記憶體從當前進程中分離
- if(shmdt(shm) == -1)
- {
- fprintf(stderr, "shmdt failed\n");
- exit(EXIT_FAILURE);
- }
- #if 0
- //刪除共用記憶體
- if(shmctl(shmid, IPC_RMID, 0) == -1)
- {
- fprintf(stderr, "shmctl(IPC_RMID) failed\n");
- exit(EXIT_FAILURE);
- }
- #endif
- exit(EXIT_SUCCESS);
- }
整體的用法還算比較簡單. 也很高效方便.