【轉】Oracle Freelist和HWM原理及效能最佳化

標籤：style   http   color   使用   io   strong   資料   art   

 文章轉自：http://www.wzsky.net/html/Program/DataBase/74799.html

近期來，FreeList的重要作用逐漸為Oracle DBA所認識，網上也出現一些相關的討論。本文以FreeList為線索對Oracle的儲存管理的原理進行較深入的探討，涉及Oracle段區塊管理的 原理，FreeList演算法等。而與FreeList密切相關的一個重用特性HWM，與sql效能密切相關，本文也作了原理分析介紹。在原理探討的基礎 上，介紹了常用的儲存參數分析方法，並對所涉及的儲存最佳化、HWM的最佳化和Freelist競爭最佳化作了說明。

縮減語:

ASSM:auto segement space management

HWM:high water mark

DBA:data block address

OLTP:online transaction process

OPS:oracle parallel server

1.簡介

Oracle的空間管理和儲存參數管理是Oracle管理及最佳化的重要部分。 FreeList作為Oracle底層儲存參數中的核心參數，其行為方式對Oracle的儲存管理及效能最佳化有重大影響，而現有的Oracle文檔對此方 面的內容比較缺乏。雖然Oracle 9i已出現了ASSM，但是作為深入調優對FreeList認識仍是必要的。

近期來，FreeList的重要作用逐漸為Oracle DBA所認識，網上也出現一些相關的討論。本文以FreeList為線索對Oracle的儲存管理的原理進行較深入的探討，涉及Oracle段區塊管理的 原理，FreeList演算法等。而與FreeList密切相關的一個重用特性HWM，與sql效能密切相關，本文也作了原理分析介紹。在原理探討的基礎 上，介紹了常用的儲存參數分析方法，並對所涉及的儲存最佳化、HWM的最佳化和Freelist競爭最佳化作了說明。

這些原理分析和效能最佳化都建立在探討的基礎上，限於篇幅和本人經驗可能存在局限、偏差或謬誤。

為了準確文中部分結構和欄位的說明直接用英文描述。限於篇幅本文不對同樣很重要的 block結構作更深入的討論，對OPS效能有重要影響的free list group本文也未提及，因此本文在單一free list group下討論。對於block的深入討論、free list group的介紹與最佳化以及PCTUSED和PCTFREE等重要參數的最佳化請參見參考文獻和資料。

2.原理探討

FreeList作為一個Oracle儲存管理的核心參數。其行為方式由Oralce 內部控制，我們一般不需要掌握和控制。但是我們可能會遇到這些問題，當插入一條記錄，會插入到那個塊中?是使用新塊，還是插入有資料的老塊?段是什麼時候 擴充的，如何擴充的?表中只有一條記錄，但是作一次select時代價卻是上千個塊，為什麼?如果我們從原理上清楚了Oracle的儲存管理方式，對相關 這些問題的解決及效能最佳化就清晰自然了。

2.1 Oracle的邏輯儲存結構

Oralce的邏輯儲存結構按資料表空間，段，區，塊進行管理。塊是Oracle用來管理 儲存空間的最基本單元，Oracle資料庫在進行輸入輸出操作時，都是以塊為單位進行邏輯讀寫操作的。區由一系列連續的塊組成，Oralce在進行空間分 配、回收和管理時是以區為基本單位的。段由多個區組成，這些區可以是連續的也可以是不連續的，一般情況下一個對象擁有一個段。資料表空間中容納段和區。

在產生段的時候，會同時分配初始區(initial extents)， 初始區的第一個塊就格式化為segment header，並被用來記錄free list描述資訊、extents資訊，HWM資訊等。

2.2 free list概念

free list是一種單向鏈表用於定位可以接收資料的塊，在字典管理方式的資料表空間中，Oracle使用free list來管理未分配的儲存塊。Oracle記錄了有空閑空間的塊用於insert或Update。空閑空間來源於兩種方式:1.段中所有超過HWM的 塊，這些塊已經分配給段了，但是還未被使用。2.段中所有在HWM下的且鏈入了free list的塊，可以被重用。free list具有下列屬性

l flag指示free list 被使用(1)或未使用(0)

l free list 鏈的首塊的地址DBA(data block address)

l free list 鏈的尾塊的地址DBA

free list 的資訊通常保留在segment header中,這裡給出segment header block dump片段加以說明:

nfl = 3, nfb = 1 typ = 1 nxf = 0 SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000 SEG LST:: flg: USED lhd: 0x03c00233 ltl: 0x03c00233 SEG LST:: flg: USED lhd: 0x03c00234 ltl: 0x03c00234 SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000 Segment Header: ==> nfl: number of free lists/block ==> nfb: number of free list blocks + segment header ==> typ: block type ==> nxf: number of transaction free lists Segment List: ==> flg: flag USED or UNUSED the free list ==> lhd: head of free list ==> ltl: tail of free list

在每一個塊中都有一個標記flg用來表明塊是否鏈入了 free list鏈中。如果這個標誌置上，該塊中後向指標指向free list鏈中下一個塊的DBA。如果當前塊是鏈的最末尾的塊，該後向指標值為0。這裡給出位於free list上的block dump的片段

Block header dump: 0x03c00235 Object id on Block? Y seg/obj: 0xe2d8 csc: 0x00.6264c61 itc: 1 flg: O typ: 1 - DATA fsl: 1 fnx: 0x3c00234 ver: 0x01 ==> Seg/obj Object ID in dictionary ==> csc SCN of last block cleanout ==> itc Number of ITL slots ==> flg O = On freelist , - = Not on freelist ==> typ 1 = DATA 2 = INDEX ==> fsl ITL TX freelist slot ==> fnx DBA of NEXT block on freelist

舉例來說如果有五個塊在free list中，分別為A,B,C,D,E

就會形成segment header->A->B->C->D->E--|

同時segment header->E

2.3 free list類別

在段中存在3類free list, 即Master Freelists (MFL), Process Freelists (PrFL), 和 Transaction Freelists.

2.3.1 Master Free List(公用空閑空間池):

每一個段中有一個Master free list，在段建立的時候自動產生。對於每一個段來說都有這樣一個空閑空間池,對每個進程都是公用的，空閑空間就是位於master free list 的塊上。由於Master free list是公用的，因此當多個進程同時插入行到同一個段上,master free list競爭使用程度就會增加。

2.3.2 Process Free Lists

為了減少Master Free list的競爭問題, 引入了另一種free list叫做Process free lists, 根據sql命令 CREATE/ALTER 中的參數FREELISTS 建立. 這樣多個free list 就可以分攤空閑空間的管理，以提高OLTP應用作高度並發插入和更新事務時空間分配管理的效能。通過指定CREATE TABLE / CLUSTER or INDEX的子句STORAGE的參數FREELISTS 來建立，例如: CREATE TABLE flg ( . . . .) . . . STORAGE ( ... FREELISTS 10 ...)。預設的FREELISTS為1，此時不會建立Process free lists。當FREELISTS>=2時，建立Process free lists。

進程在使用process free list是根據進程的Oracle PID (Process ID)來選擇的，公式如下:

select list entry = (PID % NFL) + 1

NFL : FREELISTS定義的Process free list個數

2.3.3 Transaction Free Lists

當Oracle需要時動態建立。一個Transaction Free List 是一種專門給某一個事務使用的free list. 每個段至少有16個transactions free lists, 並且這個值在需要時會增長，直到達到Segment Header塊的大小限制。一個事務只有下面情況下會需要分配一個Tx Free Lists entry: 塊中釋放空間時(DELETE or UPDATE) 並且還不存在Tx Free Lists entry時。

2.4 Free list行為

2.4.1 Freelist Link and Unlink 操作

Freelist 按後進先出隊列(LIFO) 方式管理。也就是說最後被link到freelist的塊擁有最先unlink的機會。當塊中空閑空間增加到大於PCTFREE時，塊放入 freelist中。free list中的塊可用來作update 或insert。 當塊中沒有足夠的空間用於insert操作時並且使用空間大於PCTUSED，塊就會從free list中移出。

在塊在DELETE or UPDATE 操作之後，如果使用空間落到PCTUSED下，塊再次link到free list中。每次塊加入free list時，都是link到鏈表的頭部。

例如:考慮段中有120個塊編號由1到120。其中有6個塊在free list上並假設HWM是 80。(block實際使用DBA編號)

10->24->45->46->65->80-|

現在作INSERT 操作,需要400 bytes空間。假設塊10上空間不足，但塊24上空間可用。現在資料插入到塊 24 ，現在塊24的剩餘空間小於該表的PCTUSED。因此塊 24 從free list鏈表中移出。PCTFREE and PCTUSED參數的目的就是用來控制資料區塊從free list的鏈表中移入/移出行為的。現在free lists象這樣:

10->45->46->65->80-|

然後在同一事務中作DELETE同一個段的資料，使塊 54 和 67落到PCTUSED下。現在這些塊加入到free list鏈中。free list鏈現在象這樣:

67->54->10->45->46->65->80-|

2.4.2 Transaction Free List 演算法

掃描segment Header塊中所有的Tx free list,檢查是否還沒有Tx free list entry分配給transaction， 如何沒有，將尋找未使用的entry或已經提交了事務的空的Tx free list。如果上述搜尋過程失敗, 新的entry會在segment Header塊中Tx free lists地區中開闢。如果沒有空間來產生, 事務就必須等待entry的釋放。

segment header中的最大free list個數:

Block Size Max # Freelists

----------- -----------------

2K 24

4K 50

8K 101

16k 204

事務T1釋放出來的空閑塊(DELETE or UPDATE)的使用 :

l 立即被T1所重用

l 當T1 commit後被其它需要空閑塊的事務重用，過程舉例如下:

2.5 HMW概念

HIGH WATER MARK代表一個表使用的最大的(top limit)塊 。2.1中已經提到HIGH WATER MARK 記錄在segment header中，並且在Oracle插入資料時一般增長5個blocks(並非總是5個塊，具體參見2.4.2中流程圖中HMW增長方式)。

segment header block中與HWM相關資訊說明如下: EXTENT CONTROL: Extent Header:: spare1: 0 space2: 0 #extents: 13 #blocks: 1429 last map 0x00000000 #maps: 0 offset: 4128 Highwater:: 0x020004d0 ext#: 12 blk#: 275 ext size: 475 #blocks in seg. hdr’s freelists: 5 #blocks below: 1229 mapblk 0x00000000 offset: 12 Unlocked ==> spare1: this field is no longer used (old inc#, now always 0) ==> space2: this field is no longer used (old ts#, now always 0) ==> #extents: number of extents allocated to segment ==> #blocks: number of blocks allocated to segment ==> last map: address of last extent map block 0 if extent map is entirely in the segment header ==> #maps: number of extent map block ==> offset: offset to end of extent map ==> HWM dba: address of block at highwater mark ==> ext#: HWM extent number relative to segment ==> blk#: HWM block number within extent ==> ext size: HWM extent size (in blocks) ==> #blocks in seg. hdr’s freelists: number of blocks in seg. hdr’s free list ==> #blocks below: number of blocks below HWM ==> mapblk dba: dba of extent map block containing HWM extent is 0 if HWM is in the segment header ==> offset: offset within extent map block is the ext# if HWM is in segment header ==> Locked by: if locked by a transaction, the xid is displayed

HWM可以說是已經使用過的儲存空間和未使用過的儲存空間之間的分界線。在表使用過程中，HWM一直向一個方向移動，插入記錄時HWM可能會向增加的方向移動，但是刪除記錄時HWM並不會向相反的方向移動。參見2.4.2。顯示了某個資料區段中HWM的位置情況。

HIGH WATER MARK之所以重要是因為它對全表掃描效能的影響。當實施一個全表掃描時，Oracle會讀取所有HIGH WATER MARK下的塊即使它們是空塊。當HIGH WATER MARK 下有很多unused block時實施全表掃描會增加額外的不必要的I/O。它也會在全域共用區中填充很多很多空塊。

3.分析方法

儲存參數基本上屬於oracle internal的東西，因此oralce並沒有提供很好的手段來分析。但是對於DBA來說，還是可以通過block dump和DBMS_SPACE等手段來擷取部分資訊。

3.1 提取block和free list資訊

建立dbms_space使用的預存程序

show_space SQL> create or replace procedure show_space ( p_segname in varchar2, p_owner in varchar2 default user, p_type in varchar2 default ‘TABLE‘, p_partition in varchar2 default NULL ) as l_free_blks number; l_total_blocks number; l_total_bytes number; l_unused_blocks number; l_unused_bytes number; l_LastUsedExtFileId number; l_LastUsedExtBlockId number; l_last_used_block number; procedure p( p_label in varchar2, p_num in number ) is begin dbms_output.put_line( rpad(p_label,40,‘.‘) || p_num ); end; begin dbms_space.free_blocks ( segment_owner => p_owner, segment_name => p_segname, segment_type => p_type, partition_name => p_partition, freelist_group_id => 0, free_blks => l_free_blks ); dbms_space.unused_space ( segment_owner => p_owner, segment_name => p_segname, segment_type => p_type, partition_name => p_partition, total_blocks => l_total_blocks, total_bytes => l_total_bytes, unused_blocks => l_unused_blocks, unused_bytes => l_unused_bytes, last_used_extent_file_id => l_LastUsedExtFileId, last_used_extent_block_id => l_LastUsedExtBlockId, last_used_block => l_last_used_block ); p( ‘Free Blocks‘, l_free_blks ); p( ‘Total Blocks‘, l_total_blocks ); p( ‘Total Bytes‘, l_total_bytes ); p( ‘Unused Blocks‘, l_unused_blocks ); p( ‘Unused Bytes‘, l_unused_bytes ); p( ‘Last Used Ext FileId‘, l_LastUsedExtFileId ); p( ‘Last Used Ext BlockId‘, l_LastUsedExtBlockId ); p( ‘Last Used Block‘, l_last_used_block ); end;

過程已建立。

對非segment header的data block的dump方法和上述類似。data block的結構和segment header block不一樣，如果需要瞭解，可查閱參考文獻和資料。

3.2 提取HWM資訊

3.2.1 HWM位置

HWM位置按下面的公式計算:

HWM = useed byte = Total Bytes - Unused Blocks

Total Bytes和Unused Blocks都可以用show_space提取。

還可以通過ANALYZE tables得到HWM資訊. DBA_TABLES視圖中包含了可用於各資料表空間分析的列。其中blocks代表已使用過的塊即HWM，empty_blocks代表未使用的空間。

3.2.2 HWM下空間利用資訊

要比較有資料行的塊的塊數和HIGH WATER MARK下總塊數，可以用下面的公式來展示HWM下未用空間的比例。

p = 1- r/h

r:有資料行的塊的塊數

h:HWM下的塊數.

r可以通過如下方法獲得:

Oracle7:SELECT count(distinct substr(rowid, 15,4) || substr(rowid, 1,8) ) FROM schema.table;Oracle8 and Oracle9:SELECT count(distinct substr(rowid, 7,3) || substr(rowid, 10,6) ) FROM schema.table;

如果公式計算的結果 p是0，就不需要對錶進行重建。如果結果p大於0,應該考慮系統狀況和應用需要來決定是否需要總組表。

4.最佳化

4.1手工回收儲存空間

在HIGH WATER MARK以上的塊對效能沒有影響，但是會耗費空間。如何空間大小是一個考慮的問題，就可以決定回收空塊。 假設表T1的儲存2.5所示，使用ALTER TABLE ... DEALLOCATE UNUSED語句可以回收HWM以上的空間。比如:

alter table t1 deallocate unused;

如果在ALTER TABLE ... DEALLOCATE UNUSED語句中使用了KEEP關鍵字，則可以在HWM之後保留指定大小的空閑空間，比如:

alter table t1 deallocate unused keep 10K;

4.2刪減表

根據3.2.1可以得到HWM以下塊的使用方式。如何p大於時，對全表掃描效能會產生影響，同時也會耗用空間。

如果能夠確認應用有良好的索引幾乎不會用到全表掃描，那麼HIGH WATER MARK以下的空塊，儘管耗費了空間，不會對訪問產生影響。如果不能確定，那麼就需要考慮刪減表。

刪減表的操作將刪除表中所有的記錄，並且重設HWM標記。表在刪減之後將成為一個空表。

在Oracle中刪減表只有如下的兩種辦法:

1.使用drop語句

先使用drop語句刪除整個表，然後再重建這個表。在刪除-重建的過程中，與表相關的所有索引、完整性條件約束以及觸發器都會丟失，並且所有依賴於該表的對象都會變為INVALID狀態，同時原來爭對錶的授權也會失效。因此採用這種方式刪除表中的記錄代價太大。

2.使用TRUNCATE語句

TRUNCATE語句屬於DDL語句，不會產生任何回退資訊，並且被立即自動認可。在執行TRUNCATE語句時不會影響到與被刪減表相關的任何資料庫物件與授權，也不會觸發表中所定義的觸發器。此外，在對標進行刪減時，HWM將重設，已經為表分配的儲存空間將被回收。

在執行TRUNCATE語句時，可以通過drop storage子句和reuse storage子句來控制被釋放的區是否回收到資料表空間中。如何作線上系統的TRUNCATE，不希望表長時間鎖住，那麼可以使用reuse storage子句，僅將HWM重設。

4.3 free list最佳化

free list 競爭出現在多個進程使用同一個free list並試圖同時修改free list頭部資料區塊時。可以通過查詢檢視v$waitsate的class類型為data block 的記錄來檢查競爭情況。

產生data block類型競爭的主要原因是多個進程試圖同時修改free list頭部資料區塊。 然而，它也會出現在當進程準備將塊讀入buffer cathe時，另一個進程需要訪問同一個塊。如果能在V$SESSION_WAIT中正好捕獲buffer busy waits，就可以通過查詢V$SESSION_WAIT中的P3來判定是那一類。A 0 或 1014代表讀類型，其他的值為修改競爭的類型。

下一步需要確定競爭涉及那些段。 如果能夠在V$SESSION_WAIT捕獲waits，就可以用P1和P2的值 (對應file 和 block) 在DBA_EXTENTS中找到段名。 如何是一個表，就很可能需要重建表來建立更多的process freelists。 一種計算需要建立多少個freelist的方法是dump一些段中接近HWM的塊，檢查interested transaction list的個數，具體方法可參見3.1。interested transactions個數的峰值加1 就是需要的最小process freelists的值。

從2.3和2.4可以看出，使用多個free list可能導致更多的空塊未被使用， 也可能導致段更快地擴充。如果效能是當前所關心的重點，那麼多free lists 可以用來提高並發訪問能力，當然會增加一些額外空間的耗用。然而，如果空間使用大小是首先考慮的因素，那麼推薦使用single freelist，使參數FREELISTS=1, 當然就不能提升並發事務的效能了。

V$WAITSTAT 也可顯示其他類型class的競爭，包括segment header 和free list。 出現在同一個free list group中多個事務需要同時更新它們的free list header記錄時。 有多種方法來解決這個問題如重建表採用更多的free list groups,或者增加 _bump_highwater_mark_count大小，或者調整應用本身。