深入理解Linux記憶體管理 – 實體記憶體

來源:互聯網
上載者:User

Linux存在於各種體繫結構上,所以描述記憶體需要架構獨立的方法。本章會描述用來管理memory bank,頁框的資料結構以及那些影響VM行為的flags

VM第一個重要的流行概念是Non Uniform Memory Access(NUMA)。對於大型主機來說,不同banks內的記憶體由於和處理器的距離不同,訪問代價也不同。比如,一個記憶體bank可以指定給每一個CPU,或者一個非常適合DMA操作的記憶體bank可以指定給它附近的裝置或者卡。

我們把bank稱為一個node,在linux系統中不管是Non Unifomr Memory Access(NUMA)還是Uniform Memory Access(UMA),都使用struct pglist_data (typedef pg_data_t)來表示一個節點。系統中的每一個節點都存放在鏈表pgdat_list中,node通過pg_data_t->node_next連結到下一個node。對於PC desktops這樣的UMA結構,僅僅有一個稱為contig_page_data的靜態pg_data_t結構。我們將在2.1節繼續討論node

每個node又被劃分為多個記憶體區,這些記憶體區稱之為zone。struct zone_struct用來描述zone,zone有如下類型:ZONE_DMA,ZONE_NORMAL,ZONE_HIGHMEM。不同類型的zone用做不同的場合。ZONE_DMA zone包含低端實體記憶體適合於那些無法訪問超過16MB實體記憶體的裝置。ZONE_NORMAL則被直接映射到kernel線性地址空間的低地址區。我們將在4.1節進一步討論。ZONE_HIGHMEM則是那些無法直接映射到kernel空間的剩餘記憶體。

對於X86機器,記憶體zones如下:

ZONE_DMA            First 16MiB of memory

ZONE_NORMAL    16MiB - 896MiB

ZONE_HIGHMEM   896MiB - End

核心大部分操作都是使用ZONE_NORMAL,所以ZONE_NORMAL是效能最關鍵的zone,在2.2節我們將進一步討論這些zones。 系統記憶體是由固定尺寸的page frames組成,物理page frame由一個struct page表示,這些page structs都儲存在全域mem_map數組中,mem_map通常儲存在ZONE_NORMAL的起始位置或者核心鏡像保留地區的後面。

我們會在2.4節詳細討論struct page,在3.7節詳細討論全域mem_map數組。圖2.1示範了這些資料結構之間的關係。

因為可以被核心直接存取的記憶體數目(ZONE_NORMAL區大小)是有限的,Linux通過high memory支援更多的實體記憶體,high memory我們將在2.7 節討論。在介紹high memory管理之前,先討論nodes,zones和pages是如何表示的。

2.1 Nodes

之前已經提到過,每一個記憶體node由pg_data_t描述,也就是類型strcut pglist_data。當分配一個page時,Linux使用本地節點分配策略從距離當前CPU最近的node分配記憶體,因為進程很有可能也在這個CPU上運行。這個資料結構在<linux/mmzone.h>中定義

struct bootmem_data;typedef struct pglist_data {    struct zone node_zones[MAX_NR_ZONES];    struct zonelist node_zonelists[MAX_ZONELISTS];    int nr_zones;#ifdef CONFIG_FLAT_NODE_MEM_MAP /* means !SPARSEMEM */    struct page *node_mem_map;#ifdef CONFIG_CGROUP_MEM_RES_CTLR    struct page_cgroup *node_page_cgroup;#endif#endif#ifndef CONFIG_NO_BOOTMEM    struct bootmem_data *bdata;#endif#ifdef CONFIG_MEMORY_HOTPLUG    /*     * Must be held any time you expect node_start_pfn, node_present_pages     * or node_spanned_pages stay constant.  Holding this will also     * guarantee that any pfn_valid() stays that way.     *     * Nests above zone->lock and zone->size_seqlock.     */    spinlock_t node_size_lock;#endif    unsigned long node_start_pfn;    unsigned long node_present_pages; /* total number of physical pages */    unsigned long node_spanned_pages; /* total size of physical page                         range, including holes */    int node_id;    wait_queue_head_t kswapd_wait;    struct task_struct *kswapd;    int kswapd_max_order;} pg_data_t;

資料結構成員簡介

node_zones: 是一個數組,包含這個節點內的zones

node_zonelists: 這是node的分配順序,在mm/page_alloc.c中的build_zonelists()函數建立這個node_zonelists,指定了備用節點列表,當前節點沒有可用空間時,在備用節點分配記憶體。比如在ZONE_HIGHMEM分配失敗,會嘗試從ZONE_NORMAL分配,如果ZONE_NORMAL失敗則嘗試從ZONE_DMA分配。

nr_zones: 這個node包含的zone數目,通常是1 ~ 3。並不是所有的node都有三個zones,比如一個bank可能沒有ZONE_DMA。

node_mem_map:node由多個physical frame組成,每一個物理頁框都有一個page結構表示,node_mem_map是第一個物理頁框的page結構,這個page結構在全域mem_map數組的某個位置。

bdata:在系統啟動期間,記憶體管理子系統那個初始化之前,核心也需要使用記憶體。boot memory allocator使用這個成員,我們將在第五章討論boot memory allocator

node_start_pfn:是該節點內第一個頁幀的邏輯編號。系統中所有節點的頁幀是依次編號的,每個頁幀號也是全域唯一的。

node_present_pages:指定了節點中頁幀的數目,

node_spanned_pages:該節點包含的頁幀範圍,包括holes。

系統中所有的nodes都通過list pgdat_list維護。在初始化函數init_bootmem_core()中建立這個list,我們將在5.3節討論pgdat_list的初始化。在kernel 2.4.18之前,遍曆pgdat_list鏈表的代碼如下:

pg_data_t *pgdat;pgdat = pgdat_list;do {    /* do something with pgdata_t */} while ((pgdat = pgdat->node_next));

在最近的kernel版本,宏for_each_pgdat提供了遍曆pgdat_list的功能。

2.2 Zones

每個zone通過struct zone_struct描述,struct zone_struct儲存著頁面使用的統計資訊,空閑資訊和locks,這個結構在<linux/mmzone.h>中聲明:

typedef struct zone_struct {    spinlock_t       lock;    unsigned long    free_pages;    unsigned long    pages_min, pages_low, pages_high;    int              need_balance;    free_area_t      free_area[MAX_ORDER];    wait_queue_head_t *wait_table;    unsigned long    wait_table_size;    unsigned long    wait_table_shift;    struct pglist_data *zone_pgdat;    struct page      *zone_mem_map;    unsigned long    zone_start_paddr;    unsigned long    zone_start_mapnr;    char             *name;    unsigned long    size;} zone_t;

資料結構成員簡介:

lock:一個spinlock,保護對zone的並發訪問

free_pages:zone內空閑pages的總數

pages_min, page_low, pages_high:這個zone的watermark,這三個值會影響交換守護進程的行為,2.3節詳細描述這幾個watermark。我們從這裡可以看出,交換守護進程是針對每個zone的使用方式進行處理的。

need_balance:這個flag用來通知kswapd balance這個zone。當一個zone的可用頁面數目達到zone watermark時,標記need_balance標誌。

free_area:zone 空閑區位元影像,標識每一個page的使用方式,buddy分配器使用這個位元影像來進行分配和釋放。

wait_table:page頁面上進程等待隊列的hash table,wait_on_page()和unlock_page函數將使用這個hsah table。我們將在2.2.3節討論wait_table

wait_table_size:這個hash table的等待隊列數目,是2的冪次方

wait_table_shift:

zone_pgdat:指向zone所在node 對應的結構pg_data_t

zone_mem_map:這個zone中第一個物理頁框對應page

zone_start_paddr:這個zone的起始物理地址

zone_start_mapnr:第一個物理頁框對應的頁幀號,也就是在全域mem_map中的位移

name:描述這個zone的字串:“DMA”, “Normal”和“HighMem”

size:zone所包含的頁框數目

2.2.1 Zone Watermarks

當系統的可用記憶體變低時,頁面pageout守護進程kswapd被喚醒,開始釋放空閑pages。在壓力較高的情況下,守護進程立刻同步的釋放記憶體,我們稱之為direct-reclaim。這些控制pageout行為的參數在FreeBSD和Solaris都有類似實現。

每一個zone都有三個watermarks:分別稱為pages_low,pages_min和pages_high,可以用來判斷zone當前的記憶體壓力。pages_min在free_area_init_core()中計算,計算公式為ZoneSizeInPages/128,但是最低不低於20 pages,最高不超過255 pages。

系統根據zone內page使用方式,在處於不同的watermark時,會採取不同的動作

pages_low: 當空閑頁面數目低於pages_low時,kswapd被buddy allocator喚醒釋放pages。值預設是pages_min的兩倍。

pages_min: 當空閑頁面數目低於pages_min時,allocator將代替kswapd同步釋放pages,也就是直接回收

pages_high: 當kswapd被喚醒來釋放pages時,回收的pages已經達到pages_high標記的頁面數,kswapd將停止回收,進入休眠。預設值一般為pages_min的三倍。

不管這些參數在類似系統中叫什麼名字,作用都是類似的,輔助pageout守護進程或者線程進行頁面回收。

2.2.2 Calculating the Size of Zones

zone的尺寸是在函數setup_memory中計算,2.3

PFN物理頁框號,是物理頁框在記憶體中的page 位移。系統內的第一個PFN,儲存在min_low_pfn,是loaded kernel鏡像後面第一個page。這個值儲存在mm/bootmem.c中

最後一個物理頁框max_pfn是怎麼計算的呢? 不同的系統計算方法不同

max_low_pfn是指低端最大物理頁框號,用來標記ZONE_NORMAL的結尾。這是核心可以直接存取的最大實體記憶體,這個地址值和kernel/userspace地址空間劃分相關。這個值儲存在mm/bootmem.c中,對於低記憶體系統,max_pfn是等於max_low_pfn的。

使用min_low_pfn, max_low_pfn和max_pfn,可以很容易的計算出high memory的起始和結束位址 highstart_pfn, highend_pfn。

2.2.3 Zone Wait Queue Table

2.3 Zone Initialization

2.4 Initializing mem_map

mem_map 在系統啟動時建立,在UMA系統中free_area_init()使用contig_page_data作為node,global mem_map作為這個ode的本地mem_map。

free_area_init_core()為當前節點分配一個本地mem_map。mem_map數組是通過boot memory 分配器alloc_bootmem_node來分配的。

2.5 Pages

系統內的每一個物理page frame都有一個相應的page來跟蹤這個page的狀態,在2.2kernel,這個結構和System V中的類似,但是對於其他的UNIX變種,這個結構做了寫改變。struct page在<linux/mm.h>中定義:

typedef struct page {    struct list_head list;    struct address_space *mapping;    unsigned long index;    struct page *next_hash;    atomic_t count;    unsigned long flags;    struct list_head lru;    struct page **prev_hash;    struct buffer_head *buffers;#if defined(CONFIG_HIGHMEM) || defined(WAIT_PAGE_VIRTUAL)    void *virtual;#endif} mem_map_t;

下面是page結構中成員變數的簡介:

list:pages可以屬於多種鏈表,這個list成員就是用來掛接到這些鏈表的。例如,一個映射的pages可以屬於address_space中三個迴圈鏈表中的一個。他們是clean_pages, dirty_pages和locked_pages。在slab分配器中,當一個page已經被slab分配器分配,它被用來儲存page所管理的slab和cache結構指標。它也可以用來把page內空閑block串連到一起

mapping:當檔案和裝置做記憶體mapped時,他們的inode有一個address_space。page的這個成員就指向這個address space如果pages屬於這個檔案。如果page 是匿名映射,那麼address_space指向swapper_space。

index:這個成員有兩個用途,具體是哪一個取決於page的狀態。如果page是檔案對應的一部分,那麼index是檔案內的頁位移。如果page是swap cache的一部分,那麼index則是交換地址空間swapper_space內的位移量。如果pages內的塊正在被特定進程釋放中,正在被釋放block的order存放在index中,這個值被函數_free_pages_ok()設定。

next_hash:如果Pages作為檔案對應的一部分,那麼pages使用inode和offset做hash。這個next_hash把具有相同hash的pages連結到一起。

count:page的索引計數。如果變為0,那麼這個page可以被釋放。如果大於0,那麼說明他被一個或者多個進程使用,或者被kernel使用中

flags:儲存了體繫結構無關的標誌,用來描述page的狀態。這些狀態標記在<linux/mm.h>中定義,表2.1中也列除了這些狀態標記。

lru:對於page替換策略,active_list或者inactive_list鏈表中的pages可能會被交換出。lru是這些這些可交換pages的Least Recently Used 鏈表的鏈表頭,我們將在chapter 10討論這兩個鏈表。

pprev_hash:和next_hash互為補充,形成一個雙向鏈表。

buffers:如果一個page和一個塊裝置的buffer相關聯,那麼這個成員用來記錄buffer_head。如果一個匿名page被分頁檔後備時,那麼這個page也有相應的buffer_head。因為這個page不得不同步資料到後備storage的block-size 塊中。

virtual:正常情況下,僅僅ZONE_DMA和ZONE_NORMAL的pages被kernel直接映射。對於ZONE_HIGHMEM的pages,無法直接映射到核心記憶體中的頁,當一個page被映射後,這個成員記錄了page的虛擬位址。

2.6 Mapping Pages to Zones

最近的kernel版本2.4.18,struct page增加了成員指標zone,指向page所在的zone。後來這個成員被認為沒什麼作用,因為即便是一個指標,對於大量的struct page,仍然消耗許多的記憶體。在最近的kernel,這個zone成員被去掉了。取而代之的是通過page->flags中的最高ZONE_SHIFT位來決定page屬於哪個zone。這些位記錄了page對應的zone在zone_table中的索引。

在系統啟動時會建立zones的zone_table,zone_table在mm/page_alloc.c中聲明如下:

zone_t *zone_table[MAX_NR_ZONES*MAX_NR_NODES];EXPORT_SYMBOL(zone_table);

MAX_NR_ZONES是一個node中zones的最大數目,比如3。MAX_NR_NODES是系統nodes的最大數目。函數EXPORT_SYMBOL使得zone_table可以被loadable modules訪問。這個表就像一個多維陣列。在free_area_init_core時,node內的所有pages都被初始化。首先把這個zone記錄到zone_table中

zone_table[nid * MAX_NR_ZONES + j] = zone

nid是node的ID,j是zone在這個node中的索引,zone是zone_t結構,對於每一個page,都會執行函數set_page_zone

set_page_zone(page, nid * MAX_NR_ZONES + j)

參數@page的zone index被設定為nid * MAX_NR_ZONES+j

2.7 High Memory

因為核心可用的地址空間(ZONE_NORMAL)大小是有限的,所以kernel通過high  memory支援更多的實體記憶體。在32-bit x86系統上有兩個閥值,一個是4GiB,一個是64GiB。

4GiB限制是32-bit物理地址最大可定址空間,為了訪問1GiB到4GiB範圍的記憶體(1GiB這個下限並不是確定的,不僅和預留的vmalloc空間有關,而且還和kernel/user space的地址空間劃分有關),kernel需要使用kmap臨時映射pages到ZONE_NORMAL。我們將在第九章進一步討論。

第二個限制64GiB是和PAE相關的,Intel的發明允許在32-bit系統上訪問更多的RAM。它使用額外的位進行記憶體定址,定址範圍可以達到2^36(64GiB)

雖然理論上PAE允許定址範圍是64GiB的,但是實際中linux進程無法訪問那麼多的RAM,因為虛擬位址空間仍然是4GiB。如果使用者想在他們的進程內使用malloc分配所有的實體記憶體,那麼是不可能的。

此外PAE也不允許kernel本身有那麼多的RAM,結構page被用來描述每一個頁框,結構page的大小為44位元組,存放在ZONE_NORMAL這個虛擬位址空間中。這意味著1GiB的實體記憶體將佔用11MiB的記憶體,而對於16GiB則是176MiB,這就導致ZONE_NORMAL變得更小。雖然目前看起來還不算太壞,但是我們再考慮其他小結構體,比如Page Table Entry(PTEs),那麼在最壞的情況下需要16MiB(16GiB記憶體需要4M個PTEs)空間。這使得16MiB成為x86 linux可用實體記憶體的實際限制。如果需要訪問更多的實體記憶體,給個簡單明了的建議,使用64-bit系統。

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.