Oracle體繫結構詳解

標籤：

　　對於一門技術的學習，尤其是像Oracle database這種知識體系極其龐雜的技術來講，從宏觀上瞭解其體繫結構是至關重要的。同時，個人認為，未必是專業DBA人員才需要瞭解其體繫結構（固然對於資料庫專業人員來講，這些都是必備知識了），一般的技術人員如果對其有較深入的瞭解，也是大有益處的，畢竟技術思想很多時候都是相通的嘛。本文就從不同維度，如Oracle的記憶體結構，進程結構，儲存結構等方面做相應描述。

首先我們來說說基礎的概念吧

一、什麼是Oracle資料庫？

　　眾所周知，Oracle DataBase是一款關係型資料庫管理系統（不瞭解何謂關係型資料庫的童鞋自行google，baidu），同類的產品還有mySql，sqlServer等，很多時候，我們會把那個承載我們核心資料的系統籠統地成為資料庫伺服器，但從嚴格意義上來講Oracle DataBase是由兩個部分組成:　　

　　執行個體：執行個體是資料庫啟動時初始化的一組進程和記憶體結構

　　資料庫：資料庫則指的是使用者儲存資料的一些物理檔案

　　正因為如此我們一般才會說 關閉和啟動執行個體，載入卸載資料庫，就是這個道理。

 　　從執行個體和資料庫的概念上來看，我們能知道，執行個體暫時的，它不過是一組邏輯劃分的記憶體結構和進程結構，它會隨著資料庫的關閉而消失，而資料庫它其實就是一堆物理檔案（控制檔案，資料檔案，記錄檔等等），它是永久存在的（除非磁碟損壞）。資料庫和執行個體通常是一對一的，這種結構我們成為單一實例體繫結構；當然還有一些複雜的分布式的結構，一個資料庫可以對多個執行個體，像Oracle的RAC（有興趣的童鞋可以瞭解下）。

二、互動流程

　　下面是從網上找的一張圖，描述了單一實例體繫結構大致的互動流程　　　　

　

 

　　1.使用者和使用者進程互動

　　　　使用者進程可以是一般的用戶端軟體，像Oracle的sqlplus，sql developer,或者是一些驅動程式等等都屬於使用者進程

2.使用者進程和伺服器處理序互動

　　伺服器處理序有時會稱為前台進程，當然是相對於後台進程（後面會提到的資料庫寫入器，日誌寫入器等）來說的，伺服器處理序的主要作用就是處理串連到當前執行個體的使用者進程的請求，對用戶端發來的sql進行執行並返回執行結果。在專有伺服器結構中，使用者進程和伺服器處理序是一對一的，也就是說，當監聽程式監聽到用戶端來了一個請求，會為其分配一個對應的伺服器處理序。還有一種結構為共用伺服器，這種結構就不是一個使用者進程對應一個伺服器處理序了，會通過發送器進行協調處理，關於共用伺服器串連，本文就不在贅述了。

3.伺服器處理序和執行個體進程互動

4.執行個體和資料庫進程互動

上面描述了一些我們在進行資料庫連接操作的時候，大致的互動流程是什麼樣的。下面，我們就來看看Oracle 的執行個體記憶體結構

三、執行個體記憶體結構和進程結構

　　（由於記憶體結構和進程結構關係較緊密，進程會作用到對應的記憶體地區，比如資料庫寫入器作用到資料庫緩衝區快取中，日誌寫入器會作用到日誌緩衝區，所以記憶體結構和進程結構會相互配合地進行描述）

　　oracle執行個體記憶體結構由兩部分組成SGA(系統全域區)和PGA(使用者全域區)組成，SGA是一塊共用的記憶體地區，也是最大的一塊記憶體地區；PGA則是使用者會話專有的記憶體地區，每個會話在伺服器端都有一塊專有的記憶體地區就是PGA。本文主要對SGA進行分析描述。SGA組成如下

 

　　

資料庫緩衝區快取&資料庫寫入器

　　緩衝區快取 是Oracle用來執行sql 的工作區域，在更新資料時，使用者會話不會直接去更新磁碟上的資料，想想，如果允許這麼做，那麼頻繁的磁碟IO對於系統效能的影響是毀滅性的。所以，實際的處理流程是這樣的：

select ename,salary from emp where name=‘東方不敗‘;

　　

　　我們來看這麼一條簡單的查詢語句，oracle是如何處理的。首先，當使用者提交了該條sql語句，由對應的使用者進程（比如我們常用的sql developer）將其發送給伺服器，監聽程式監聽到該條請求，會為其建立一個對應的伺服器處理序，然後伺服器處理序會先掃描緩衝區中有沒有包含關鍵行（"東方不敗"）的資料區塊，如果有，這就算一次快取命中了，然後相關行會傳輸到PGA進行進一步處理，最終經過格式化後展示給使用者；如果沒有命中，那麼伺服器處理序會首先將對應行複製到緩衝區內，然後再返回給用戶端。

　　DML（insert，update，delete）操作同理，加入使用者發送一條update語句，服務進程依然先去掃描緩衝區，如果快取命中，則直接更新，資料變髒；如果沒有命中，由伺服器處理序將對應資料區塊先從磁碟上複製到緩衝區內，再進行更新操作。

髒緩衝區

　　如果緩衝區儲存的塊和磁碟上的塊不一致，該緩衝區就叫做“髒緩衝區”，髒緩衝區最終會由資料庫寫入器（DBWn）寫入到磁碟中去。

資料庫寫入器（DBWn）

　　資料庫寫入器是Oracle的一個後台進程，所謂後台進程是相對於前台進程（伺服器處理序）來講的。DBWn的"n"意味著一個執行個體是可以有多個資料庫寫入器的。

　　作用：簡而言之，DBWn的作用就是將變髒了的緩衝區從資料庫緩衝區快取中寫入到磁碟中的資料檔案中去。

　　資料庫緩衝區快取這塊記憶體地區和資料庫寫入器這塊是比較重要的概念，別的資料庫產品像mySql也都有對應的實現，只不過叫法不一樣罷了。瞭解這塊的時候，要時刻意識到會話是不會直接更新磁碟資料的，會話的更新，插入，刪除包括查詢等都是先作用到緩衝區上，隨後，DBWn會將其中的髒緩衝區轉儲到磁碟上去。　

　　DBWn什麼時候寫入？

DBWn是個比較懶的進程，它會儘可能少的進行寫入，在以下四種情況它會執行寫入：

a.沒有任何可用緩衝區（不得不寫啊）

b.髒緩衝區過多

c.3秒逾時（最晚3秒會執行一次寫入）

d.遇到檢查點，即checkPoint（檢查點），檢查點是個Oracle事件，遇到檢查點，DBWn會執行寫入。比如執行個體有序關閉的時候會有檢查點，DBWn會將所有髒緩衝區寫入到磁碟上去的，這很容易理解，要保持資料檔案的一致性。

　　　　注意：

　　從上述DBWn的幾個寫入時機，我們能意識到，DBWn的寫入不是直接依賴於會話的更新操作的。不是一有髒緩衝區，它就執行寫入。而且，DBWn執行寫入跟commit操作也沒有任何關係，不要以為commit操作的影響結果會即時資料流入到磁碟中去。

　　DBWn採用極懶演算法進行寫入，原因我們應該要清楚：頻繁的磁碟IO對系統的壓力很大，如果DBWn很積極地去寫入磁碟，那對系統效能的影響就太大了，換個角度想，如果DBWn很勤快的寫磁碟，那麼資料庫緩衝區存在的意義也就不大了。

　　當然，講到這兒，我們可能會意識到一個問題，DBWn如此懶地進行資料轉儲，如果在某一時刻，資料庫緩衝區快取記憶體在著大量的髒緩衝區（生產環境中，這是常態），也就是有大量的未commit和已commit的資料還在記憶體中，沒有持久化到磁碟中，然後突然系統斷電了，這種情況下，資料是不是就丟掉了？資料當然不會丟失，這就引出了重做日誌（redo log）的概念，接下來，我們就來談談對應重做日誌的記憶體結構和後台進程。

　　日誌緩衝區&日誌寫入器

　　當我們執行一些DML操作（insert,update,delete），資料區塊發生改變了，產生的變更向量則會寫入到重做記錄檔中去。有了這些記錄，當系統由於斷電等因素突然宕掉，資料庫緩衝區快取內的大量髒資料還沒來得及寫入到資料檔案中去，在重新啟動的時候，會有一個執行個體恢複的過程，在此過程中就應用了重做日誌記錄來使資料保持一致；或者資料庫遭遇了物理損壞，比如磁碟損壞了，此時可以通過Oracle的備份恢複工具（如RMAN）進行資料恢複，原理就是 提取備份組-->應用重做記錄檔中的變更記錄。

　　　　日誌緩衝區

日誌緩衝區是一塊比較小的記憶體地區，它是用來短期儲存將寫入到磁碟中的重做記錄檔中的變更向量的。

日誌緩衝區存在的意義依然是為了減少磁碟IO，減少使用者的等待時間，試想下，如果每一次使用者DML操作都要進行等待重做記錄被寫入到磁碟中去，體驗會有多差勁。

　　　　日誌寫入器（LGWR）

顧名思義，日誌寫入器（LGWR）就是把日誌緩衝區內的內容寫入到磁碟的重做記錄檔中去，相比資料庫寫入器（DBWn），日誌寫入器就勤快多了。

以下三種情況LGWR會執行寫入：

a.commit時寫入

　　前面提過，DBWn的寫入和commit沒有任何關係，如果commit時資料庫沒有任何記錄，那資料就真的丟失了，Oracle 的重做日誌就是為了保證資料安全而存在的，commit時，會話會先掛起，等待LGWR將這些記錄寫入到磁碟上的重做記錄檔中，才會通知使用者提交完成。所以，LGWR在commit時執行寫入，是為了確保事務永不丟失。

b.日誌緩衝區的佔用率達到1/3。

c.DBWn要寫入髒緩衝區前

這個寫入是為了資料復原考慮的。DBWn完全可能寫入還沒提交的事務（參照上面提到的寫入時機），那如何保證交易回復呢？

　　首先要知道，DBWn除了寫入實際的資料，還會寫入撤銷資料（不瞭解的同學可參考我的另一篇博文中對於撤銷段的描述 Oracle閃回技術詳解。）簡單說，交易回復需要撤銷資料，在寫入撤銷資料前，會先寫入針對撤銷資料的日誌記錄（有點繞），若使用者要進行交易回復，就可以應用這些日誌記錄來構造撤銷資料，然後進行復原。

我們對這兩塊最重要的記憶體地區和對應的後台進程做個總結：

　　資料庫緩衝區快取和日誌緩衝區都是為了提高效能，避免頻繁IO而存在的。日誌緩衝區相比資料庫緩衝區快取要小的多，並且不能進行自動管理，對於日誌緩衝區的修改需要重啟執行個體，資料庫緩衝區快取可進行自動管理。作用在資料庫緩衝區快取上的DBWn進程，為了避免頻繁的磁碟IO導致系統效能下降，會儘可能少地執行寫入，且DBWn的寫入和commit操作沒有任何關係；

　　而作用在日誌緩衝區上的LGWR進程，則會非常積極地進行寫入，一般情況下，它幾乎是即時地將重做日誌記錄轉儲到磁碟中去。LGWR是Oracle體繫結構中最大的瓶頸之一。DML的速度不可能超過LGWR將變更向量寫入磁碟的速度。

我們在來看下其他的記憶體地區和後台進程

共用池

共用池是最複雜的SGA結構，它有許多子結構，我們來看看常見的幾個共用池組件：

　　1.庫緩衝：庫緩衝這塊記憶體地區會按已分析的格式緩衝最近執行的代碼，這樣，同樣的sql代碼多次執行的時候，就不用重複地去進行程式碼分析，可以很大程度上提高系統效能。

　　2.資料字典緩衝：儲存oracle中的對象定義（表，視圖，同義字，索引等資料庫物件），這樣在分析sql代碼的時候，就不用頻繁去磁碟上讀取資料字典中的資料了

　　3.PL/SQL區：緩衝預存程序、函數、觸發器等資料庫物件，這些對象都儲存在資料字典中，通過將其緩衝到記憶體中，可以在重複調用的時候提高效能。

大池：大池是個可選的記憶體地區，前面我們提到專有伺服器串連和共用伺服器串連，如果資料庫採用了共用伺服器串連模式，則要使用到大池；RMAN(Oracle的進階備份恢複工具)備份資料也需要大池。

JAVA池

　　Oracle 的很多選項使用java寫的，Java池用作執行個體化Java對象所需的堆空間

流池

　　從重做日誌中提取變更記錄的進程 和 應用變更記錄的進程會用到流池（如執行個體不正常關閉，譬如斷電導致執行個體關閉，在重啟時，Oracle會自動執行執行個體恢複過程，在此過程需要提取重做日誌記錄和應用重做日誌兩個動作）

以上列舉了Oracle常見的記憶體結構，要注意的是，上面列舉的記憶體地區，除了日誌緩衝區是固定的，不能動態調整也不能進行自動管理外，其他記憶體地區都可以進行動態調整，也可以進行自動管理。

 

在說說Oracle 的幾個後台進程（DBWn和LGWR較重要，前面已做了瞭解，在此不再贅述）

SMON(System Monitor):安裝和開啟資料庫，執行個體恢複也是由此進程完成的

PMON(Process Monitor):進程監視器，主要監視伺服器進程。前面提到過，專有伺服器體系模式下，使用者進程和伺服器處理序是一對一的關係，如果某個會話發生異常，PMON會銷毀對應的伺服器處理序，復原未提交的事務，並回收會話專有的PGA記憶體地區。

CKPT(Checkpoint Process):CKPT負責發起檢查點訊號，手動設定檢查點的文法:

SQL>alter system checkpoint;

　　檢查點可強制DBWn寫入髒緩衝區，當資料庫崩潰後，由於大量髒緩衝區未寫入資料檔案，在重新啟動時，需要由SMON進行執行個體恢複，執行個體恢複需要提取和應用重做日誌記錄，提取的位置就是從上次檢查點發起的位置開始的（檢查點之前的資料已經被強制寫入到資料檔案中去了），這個位置稱為RBA(redo byte address)，CKPT會不斷將這個位置更新到控制檔案中去（以確定執行個體恢複需要從哪兒開始提取日誌記錄）。

MMON(Manageability Monitor)：

　　資料庫的自我監視和自我調整的支援進程。執行個體在運行中，會收集大量有關執行個體活動和效能的統計資料，這些資料會收集到SGA中，MMON定期從SGA中捕獲這些統計資料，並將其寫入到資料字典中，便於後續對這些快照進行分析。（預設情況，MMON每隔一個小時收集一次快照）

ARCn（Archiver）

　　歸檔進程，這個進程是可選的，如果資料庫配置為歸檔模式，這個進程就是必須的。所謂歸檔，就是將重做記錄檔永久儲存（生產庫一般都會配置為歸檔模式）到歸檔記錄檔中。歸檔記錄檔和重做記錄檔作用是一樣的，只不過重做記錄檔會不短被重寫，而歸檔記錄檔則保留了關於資料更改的完整的記錄。

 

至此，Oracle基礎的記憶體結構和進程結構我們已大概瞭解，來看下完成的進程和記憶體的互動情況，可以根據前面的理解將整個互動流程串聯一下。

四、Oracle儲存結構

實體儲存體結構

 

　　

　　

所謂外部檔案，意味著這些檔案從嚴格意義上來講並不屬於Oracle資料庫的一部分。

控制檔案：

　　控制檔案雖小，但作用重大，它包含指向資料庫其餘部分的指標（包括重做記錄檔，資料檔案，歸檔記錄檔等的位置），儲存重要的序號和時間戳記，儲存RMAN備份的詳細資料。控制檔案一旦受損，那執行個體會立馬終止，一般對資料檔案的保護採用多工機制，就是冗餘多份在不同物理位置。

重做記錄檔

　　重做記錄檔的作用在講解記憶體和進程結構的時候有提到過，重做日誌按時間順序儲存應用於資料庫的一連串的變更向量（包含聯機重做記錄檔和歸檔記錄檔）。由SMON在資料庫啟動時自動執行的執行個體恢複 和 磁碟損壞所要求的提取備份恢複都會應用到重做日誌進行相應的資料恢複

　　重做記錄檔也建議進行多工，一個資料庫至少要有兩組重做記錄檔。一組供LGWR進行寫入，記錄檔是固定大小，業務高峰期會很快寫滿，寫滿之後會切換到第二組上，在配置為歸檔模式的資料庫中，這時由歸檔進程（ARCn）開始將第一組的內容進行歸檔備份，如此迴圈地進行寫入和歸檔。需要注意的是，在歸檔進程還未對當前組的日誌歸檔完畢前，是不允許LGWR對其進行重寫的。

資料檔案

　　資料檔案儲存著實際的資料，DBWn會將資料庫緩衝區中的內容寫入到這類檔案中去，資料檔案的大小和數量是不受限制的。Oracle從10g開始，建立一個資料庫至少需要兩個資料檔案，一個用於SYSTEM資料表空間，該資料表空間用來儲存資料字典；一個用於SYSAUX資料表空間，這個資料表空間用來儲存一些資料字典的輔助資料。

　　資料檔案由一個個的Oracle塊組成，這是Oracle的I/O基礎單元，與作業系統塊是不同的概念，Oracle塊要比作業系統塊大，這當然有處於效能的一些考慮，但我們考慮這樣一種情況，當使用者使用作業系統命令進行資料檔案的備份的時候（假設1個Oracle塊=8個作業系統塊），已經複製了4個作業系統塊，然後CPU被DBWn搶佔了，DBWn又重新對這個Oracle塊進行了更新，這時，當複製命令又得到了CPU時間去複製剩餘的4個塊的時候，就造成了整個Oracle塊的資料不一致，所以，這也是在執行這種備份（使用者自行備份）的時候，需要做一些額外處理，比如將資料表空間置為備份模式的原因。當然，使用RMAN是不存在這樣的問題的，RMAN的備份機制是肯定可以得到資料一致的塊的。（這塊內容作瞭解即可）

　　對於資料檔案的保護，一般可進行定期備份，或者使用RAID也可以。

執行個體參數檔案

　　這個檔案儲存體了資料庫所需的一些參數設定，比如各個記憶體地區的大小，可允許的最大進程數，最大會話數，控制檔案的位置，資料庫的名稱等等，參數檔案也是執行個體啟動時首先要載入的檔案。

口令檔案

　　一般稱為外部口令檔案。一般的使用者名稱和口令是存放在資料字典中，不會存放在這個檔案中。在一些特殊情境下，比如執行個體還未啟動，這時，我可能需要以管理員的身份登入系統去執行一些恢複或者啟動操作，然而此時，資料字典由於執行個體還沒啟動是不存在的，這時就需要外部口令檔案進行使用者身份的驗證。

歸檔記錄檔

　　ARCn將聯機重做記錄檔會備份歸檔到這類檔案中去，歸檔記錄檔保留了資料更改的完整曆史資訊。

邏輯儲存結構

　　Oracle將其物理結構從邏輯儲存結構中抽象出來，物理機構是系統管理員能看到的，邏輯結構則是使用者所能感知到的。比較典型的邏輯結構就是 "段"和"資料表空間"。

　　段：

　　段就是包含所有資料的邏輯結構，比較典型的段就是"表"，稱為表段，還有索引段，撤銷段等等。

　　資料表空間

　　　　資料表空間從邏輯上是多個段的結合，在物理上是多個資料檔案的集合，相當於在段和資料檔案的對應中加入了一個中介層來解決這種多對多的關係。

　　在早期的一些資料庫設計中，段和資料檔案是一對一的關係，一個段一個資料檔案，這種設計有很多弊端，首先，段的數量是不固定的，有可能一個系統中上千張表，那就得需要上千個資料檔案，系統管理員要管理這麼多檔案肯定會抓狂的；還有一種情況就是某些曆史表可能特別大，大到底層系統對單個檔案的限制，用一個資料檔案去承載的話肯定是不行的。資料表空間則完美解決了這樣的問題。

　　還有一些邏輯結構如區間和Oracle塊（Oracle塊前面有提到過，區間則為塊的集合），下面通過一張圖對Oracle的儲存結構進行整體的宏觀的認識，進一步加深些理解

　

 

總結：

　　本文博主對Oracle的體繫結構做了相對全面的介紹，包括記憶體結構，進程結構，儲存結構等等，相信大家對其全貌也有了基本的瞭解。當然由於博主本人也並非Oracle 專業人員（雖曾今亦有過成為DBA的念頭??），也由於本人覺得對於體繫結構的學習一覽全貌即可，未必要深入到每一個點，故對某些概念沒有做特別深入的解讀，還有一些如執行個體恢複的過程，資料庫啟動的各個階段，動態參數和靜態參數等等也未提及，後續有時間會追加上的。謝謝捧場。今天是初入部落格園的第二篇博文，後續也會持續更新部落格的，希望各位多多捧場??

　　

　　　　

　　　　

 

Oracle體繫結構詳解