Linux基礎系列-記憶體與I/O操作

該文大部轉自宋寶華老師的文章，自是將它納入自己整理的一個小體系中，這個系列中如果沒有很合適的文章，會用原創補上。

 

 

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

 

對於提供了MMU（儲存管理器，輔助作業系統進行記憶體管理，提供虛真實位址轉換等硬體支援）的處理器而言，Linux提供了複雜的儲存管理系統，使得進程所能訪問的記憶體達到4GB。

進程的4GB記憶體空間被人為的分為兩個部分--使用者空間與核心空間。使用者空間地址分布從0到3GB(PAGE_OFFSET，在0x86中它等於0xC0000000)，3GB到4GB為核心空間，如：

 

 

 

核心空間中，從3G到vmalloc_start這段地址是實體記憶體映射地區（該地區中包含了核心鏡像、物理頁框表mem_map等等），比如我們使用的VMware虛擬系統記憶體是160M，那麼3G～3G+160M這片記憶體就應該映射實體記憶體。在實體記憶體映射區之後，就是vmalloc地區。對於160M的系統而言，vmalloc_start位置應在3G+160M附近（在實體記憶體映射區與vmalloc_start之間還存在一個8M的gap來防止躍界），vmalloc_end的位置接近4G(最後位置系統會保留一片128k大小的地區用於專用頁面映射)，如：

 

 

kmalloc和get_free_page申請的記憶體位於實體記憶體映射地區，而且在物理上也是連續的，它們與真實的物理地址只有一個固定的位移，因此存在較簡單的轉換關係，virt_to_phys()可以實現核心虛擬位址轉化為物理地址：

#define __pa(x) ((unsigned long)(x)-PAGE_OFFSET) extern inline unsigned long virt_to_phys(volatile void * address) { 　return __pa(address); }

 

上面轉換過程是將虛擬位址減去3G（PAGE_OFFSET=0XC000000）。

　　與之對應的函數為phys_to_virt()，將核心物理地址轉化為虛擬位址：

#define __va(x) ((void *)((unsigned long)(x)+PAGE_OFFSET)) extern inline void * phys_to_virt(unsigned long address) { 　return __va(address); }

X86架構的代碼中，virt_to_phys()和phys_to_virt()都定義在include/asm-i386/io.h中。

　　而vmalloc申請的記憶體則位於vmalloc_start～vmalloc_end之間，與物理地址沒有簡單的轉換關係，雖然在邏輯上它們也是連續的，但是在物理上它們不要求連續。

　　我們用下面的程式來示範kmalloc、get_free_page和vmalloc的區別：

 

#include <linux/module.h> #include <linux/slab.h> #include <linux/vmalloc.h> MODULE_LICENSE("GPL"); unsigned char *pagemem; unsigned char *kmallocmem; unsigned char *vmallocmem; int __init mem_module_init(void) { 　//最好每次記憶體申請都檢查申請是否成功 　//下面這段僅僅作為示範的代碼沒有檢查 　pagemem = (unsigned char*)get_free_page(0); 　printk("<1>pagemem addr=%x", pagemem); 　kmallocmem = (unsigned char*)kmalloc(100, 0); 　printk("<1>kmallocmem addr=%x", kmallocmem); 　vmallocmem = (unsigned char*)vmalloc(1000000); 　printk("<1>vmallocmem addr=%x", vmallocmem); 　return 0; } void __exit mem_module_exit(void) { 　free_page(pagemem); 　kfree(kmallocmem); 　vfree(vmallocmem); } module_init(mem_module_init); module_exit(mem_module_exit);

我們的系統上有160MB的記憶體空間，運行一次上述程式，發現pagemem的地址在0xc7997000（約3G+121M）、kmallocmem地址在0xc9bc1380（約3G+155M）、vmallocmem的地址在0xcabeb000（約3G+171M）處，符合前文所述的記憶體布局。

 

 

 

　　接下來，我們討論Linux裝置驅動究竟怎樣訪問外設的I/O連接埠（寄存器）。

　　幾乎操作每一種外設都是通過讀寫裝置上的寄存器來進行的，通常包括控制寄存器、狀態寄存器和資料寄存器三大類，外設的寄存器通常被連續地編址。根據CPU體繫結構的不同，CPU對IO連接埠的編址方式有兩種：

　　（1）I/O映射方式（I/O-mapped）

　　典型地，如X86處理器為外設專門實現了一個單獨的地址空間，稱為"I/O地址空間"或者"I/O連接埠空間"，CPU通過專門的I/O指令（如X86的IN和OUT指令）來訪問這一空間中的地址單元。

 

      （2）記憶體映射方式（Memory-mapped）

　　RISC指令系統的CPU（如ARM、PowerPC等）通常只實現一個物理地址空間，外設I/O連接埠成為記憶體的一部分。此時，CPU可以象訪問一個記憶體單元那樣訪問外設I/O連接埠，而不需要設立專門的外設I/O指令。

　　但是，這兩者在硬體實現上的差異對於軟體來說是完全透明的，驅動程式開發人員可以將記憶體映射方式的I/O連接埠和外設記憶體統一看作是"I/O記憶體"資源。

　　一般來說，在系統運行時，外設的I/O記憶體資源的物理地址是已知的，由硬體的設計決定。但是CPU通常並沒有為這些已知的外設I/O記憶體資源的物理地址預定義虛擬位址範圍，驅動程式並不能直接通過物理地址訪問I/O記憶體資源，而必須將它們映射到核心虛地址空間內（通過頁表），然後才能根據映射所得到的核心虛位址範圍，通過訪內指令訪問這些I/O記憶體資源。Linux在io.h標頭檔中聲明了函數ioremap()，用來將I/O記憶體資源的物理地址映射到核心虛地址空間（3GB－4GB）中，原型如下：

void * ioremap(unsigned long phys_addr, unsigned long size, unsigned long flags);

　　iounmap函數用於取消ioremap（）所做的映射，原型如下：

void iounmap(void * addr);

 

　　這兩個函數都是實現在mm/ioremap.c檔案中。

　　在將I/O記憶體資源的物理地址映射成核心虛地址後，理論上講我們就可以象讀寫RAM那樣直接讀寫I/O記憶體資源了。為了保證驅動程式的跨平台的可移植性，我們應該使用Linux中特定的函數來訪問I/O記憶體資源，而不應該通過指向核心虛地址的指標來訪問。如在x86平台上，讀寫I/O的函數如下所示：

#define readb(addr) (*(volatile unsigned char *) __io_virt(addr)) #define readw(addr) (*(volatile unsigned short *) __io_virt(addr)) #define readl(addr) (*(volatile unsigned int *) __io_virt(addr)) #define writeb(b,addr) (*(volatile unsigned char *) __io_virt(addr) = (b)) #define writew(b,addr) (*(volatile unsigned short *) __io_virt(addr) = (b)) #define writel(b,addr) (*(volatile unsigned int *) __io_virt(addr) = (b)) #define memset_io(a,b,c) memset(__io_virt(a),(b),(c)) #define memcpy_fromio(a,b,c) memcpy((a),__io_virt(b),(c)) #define memcpy_toio(a,b,c) memcpy(__io_virt(a),(b),(c))

 

最後，我們要特彆強調驅動程式中mmap函數的實現方法。用mmap映射一個裝置，意味著使使用者空間的一段地址關聯到裝置記憶體上，這使得只要程式在分配的位址範圍內進行讀取或者寫入，實際上就是對裝置的訪問。

　　宋老師在Linux原始碼中進行包含"ioremap"文本的搜尋，發現真正出現的ioremap的地方相當少。所以宋老師追根索源地尋找I/O操作的物理地址轉換到虛擬位址的真實所在，發現Linux有替代ioremap的語句，但是這個轉換過程卻是不可或缺的。

 

　譬如我們再次摘取S3C2410這個ARM晶片RTC（即時鐘）驅動中的一小段：

static void get_rtc_time(int alm, struct rtc_time *rtc_tm) { 　spin_lock_irq(&rtc_lock); 　if (alm == 1) { 　　rtc_tm->tm_year = (unsigned char)ALMYEAR & Msk_RTCYEAR; 　　rtc_tm->tm_mon = (unsigned char)ALMMON & Msk_RTCMON; 　　rtc_tm->tm_mday = (unsigned char)ALMDAY & Msk_RTCDAY; 　　rtc_tm->tm_hour = (unsigned char)ALMHOUR & Msk_RTCHOUR; 　　rtc_tm->tm_min = (unsigned char)ALMMIN & Msk_RTCMIN; 　　rtc_tm->tm_sec = (unsigned char)ALMSEC & Msk_RTCSEC; 　} 　else { 　　read_rtc_bcd_time: 　　rtc_tm->tm_year = (unsigned char)BCDYEAR & Msk_RTCYEAR; 　　rtc_tm->tm_mon = (unsigned char)BCDMON & Msk_RTCMON; 　　rtc_tm->tm_mday = (unsigned char)BCDDAY & Msk_RTCDAY; 　　rtc_tm->tm_hour = (unsigned char)BCDHOUR & Msk_RTCHOUR; 　　rtc_tm->tm_min = (unsigned char)BCDMIN & Msk_RTCMIN; 　　rtc_tm->tm_sec = (unsigned char)BCDSEC & Msk_RTCSEC; 　　if (rtc_tm->tm_sec == 0) { 　　　/* Re-read all BCD registers in case of BCDSEC is 0. 　　　See RTC section at the manual for more info. */ 　　　goto read_rtc_bcd_time; 　　} 　} 　spin_unlock_irq(&rtc_lock); 　BCD_TO_BIN(rtc_tm->tm_year); 　BCD_TO_BIN(rtc_tm->tm_mon); 　BCD_TO_BIN(rtc_tm->tm_mday); 　BCD_TO_BIN(rtc_tm->tm_hour); 　BCD_TO_BIN(rtc_tm->tm_min); 　BCD_TO_BIN(rtc_tm->tm_sec); 　/* The epoch of tm_year is 1900 */ 　rtc_tm->tm_year += RTC_LEAP_YEAR - 1900; 　/* tm_mon starts at 0, but rtc month starts at 1 */ 　rtc_tm->tm_mon--; }

 

 

I/O操作似乎就是對ALMYEAR、ALMMON、ALMDAY定義的寄存器進行操作，那這些宏究竟定義為什麼呢？

#define ALMDAY bRTC(0x60) #define ALMMON bRTC(0x64) #define ALMYEAR bRTC(0x68)

　　其中藉助了宏bRTC，這個宏定義為：

#define bRTC(Nb) __REG(0x57000000 + (Nb))

 

其中又藉助了宏__REG，而__REG又定義為：

# define __REG(x) io_p2v(x)

 

 

最後的io_p2v才是真正"玩"虛擬位址和物理地址轉換的地方：

#define io_p2v(x) ((x) | 0xa0000000)

 

與__REG對應的有個__PREG：

# define __PREG(x) io_v2p(x)

 

與io_p2v對應的有個io_v2p：

#define io_v2p(x) ((x) & ~0xa0000000)

可見有沒有出現ioremap是次要的，關鍵問題是有無虛擬位址和物理地址的轉換！！

 

下面的程式在啟動的時候保留一段記憶體，然後使用ioremap將它映射到核心虛擬空間，同時又用remap_page_range映射到使用者虛擬空間，這樣一來，核心和使用者都能訪問。如果在核心虛擬位址將這段記憶體初始化串"abcd"，那麼在使用者虛擬位址能夠讀出來：

 

/************mmap_ioremap.c**************/ #include <linux/module.h> #include <linux/kernel.h> #include <linux/errno.h> #include <linux/mm.h> #include <linux/wrapper.h> /* for mem_map_(un)reserve */ #include <asm/io.h> /* for virt_to_phys */ #include <linux/slab.h> /* for kmalloc and kfree */ MODULE_PARM(mem_start, "i"); MODULE_PARM(mem_size, "i"); static int mem_start = 101, mem_size = 10; static char *reserve_virt_addr; static int major; int mmapdrv_open(struct inode *inode, struct file *file); int mmapdrv_release(struct inode *inode, struct file *file); int mmapdrv_mmap(struct file *file, struct vm_area_struct *vma); static struct file_operations mmapdrv_fops = { 　owner: THIS_MODULE, mmap: mmapdrv_mmap, open: mmapdrv_open, release: 　mmapdrv_release, }; int init_module(void) { 　if ((major = register_chrdev(0, "mmapdrv", &mmapdrv_fops)) < 0) 　{ 　　printk("mmapdrv: unable to register character device/n"); 　　return ( - EIO); 　} 　printk("mmap device major = %d/n", major); 　printk("high memory physical address 0x%ldM/n", virt_to_phys(high_memory) / 1024 / 1024); 　reserve_virt_addr = ioremap(mem_start *1024 * 1024, mem_size *1024 * 1024); 　printk("reserve_virt_addr = 0x%lx/n", (unsigned long)reserve_virt_addr); 　if (reserve_virt_addr) 　{ 　　int i; 　　for (i = 0; i < mem_size *1024 * 1024; i += 4) 　　{ 　　　reserve_virt_addr[i] = 'a'; 　　　reserve_virt_addr[i + 1] = 'b'; 　　　reserve_virt_addr[i + 2] = 'c'; 　　　reserve_virt_addr[i + 3] = 'd'; 　　} 　} 　else 　{ 　　unregister_chrdev(major, "mmapdrv"); 　　return - ENODEV; 　} 　return 0; } /* remove the module */ void cleanup_module(void) { 　if (reserve_virt_addr) 　　iounmap(reserve_virt_addr); 　unregister_chrdev(major, "mmapdrv"); 　return ; } int mmapdrv_open(struct inode *inode, struct file *file) { 　MOD_INC_USE_COUNT; 　return (0); } int mmapdrv_release(struct inode *inode, struct file *file) { 　MOD_DEC_USE_COUNT; 　return (0); } int mmapdrv_mmap(struct file *file, struct vm_area_struct *vma) { 　unsigned long offset = vma->vm_pgoff << PAGE_SHIFT; 　unsigned long size = vma->vm_end - vma->vm_start; 　if (size > mem_size *1024 * 1024) 　{ 　　printk("size too big/n"); 　　return ( - ENXIO); 　} 　offset = offset + mem_start * 1024 * 1024; 　/* we do not want to have this area swapped out, lock it */ 　vma->vm_flags |= VM_LOCKED; 　if (remap_page_range(vma, vma->vm_start, offset, size, PAGE_SHARED)) 　{ 　　printk("remap page range failed/n"); 　　return - ENXIO; 　} 　return (0); }

 

remap_page_range函數的功能是構造用於映射一段物理地址的新頁表，實現了核心空間與使用者空間的映射，其原型如下：

 

int remap_page_range(vma_area_struct *vma, unsigned long from, unsigned long to, unsigned long size, pgprot_tprot);

 

使用mmap最典型的例子是顯示卡的驅動，將顯存空間直接從核心映射到使用者空間將可提供顯存的讀寫效率。