SQLite核心研究

標籤：

　　先從全域的角度把握SQLite核心各個模組的設計和功能。SQLite採用了層次化、模組化的設計，而這些使得它的可擴充性和可移植性非常強。而且SQLite的架構與通用DBMS的結構差別不是很大，所以它對於理解通用DBMS具有重要意義。SQLite的核心總的來說分為三個部分，虛擬機器(Virtual Machine)、Back-end(後端)和compiler(編譯器)。

 

1、虛擬機器（Virtual Machine）
VDBE是SQLite的核心，它的上層模組和下層模組都是本質上都是為它服務的。它的實現位於vbde.c, vdbe.h, vdbeapi.c, vdbeInt.h, 和vdbemem.c幾個檔案中。它通過底層的基礎設施B+Tree執行由編譯器（Compiler）產生的位元組代碼，這種位元組代碼程式語言(bytecode programming lauguage)是為了進行查詢，讀取和修改資料庫而專門設計的。
位元組代碼在記憶體中被封裝成sqlite3_stmt對象(內部叫做Vdbe，見vdbeInt.h)，Vdbe（或者說statement）包含執行程式所需要的一切：
a)    a bytecode program
b)    names and data types for all result columns
c)    values bound to input parameters
d)    a program counter
e)    an execution stack of operands
f)    an arbitrary amount of "numbered" memory cells
g)    other run-time state information (such as open BTree objects, sorters, lists, sets)

位元組代碼和組譯工具十分類似，每一條指令由作業碼和三個運算元構成：<opcode, P1, P2, P3>。Opcode為一定功能的作業碼，為了理解，可以看成一個函數。P1是32位的有符號整數，p2是31位的不帶正負號的整數，它通常是導致跳轉(jump)的指令的目標地址（destination），當然這了有其它用途；p3為一個以null結尾的字串或者其它結構體的指標。和C API不同的是，VDBE作業碼經常變化，所以不應該用位元組碼寫程式。
下面的幾個C API直接和VDBE互動：
• sqlite3_bind_xxx() functions
• sqlite3_step()
• sqlite3_reset()
• sqlite3_column_xxx() functions
• sqlite3_finalize()

為了有個感性，下面看一個具體的位元組碼程式：
sqlite> .m col
sqlite> .h on
sqlite> .w 4 15 3 3 15
sqlite> explain select * from episodes;
addr  opcode           p1   p2   p3
----  ---------------  ---  ---  ---------------
0     Goto                0    12
1     Integer             0    0
2     OpenRead         0    2    # episodes
3     SetNumColumns  0    3
4     Rewind             0    10
5     Recno               0    0
6     Column            0    1
7     Column            0    2
8     Callback           3    0
9     Next                0    5
10    Close               0    0
11    Halt                 0    0
12    Transaction       0    0
13    VerifyCookie      0    10
14    Goto               0    1
15    Noop               0    0

1.1、    棧(Stack)
一個VDBE程式通常由不同完成特定任務的段（section）構成，每一個段中，都有一些操作棧的指令。這是由於不同的指令有不同個數的參數，一些指令只有一個參數；一些指令沒有參數；一些指令有好幾個參數，這種情況下，三個運算元就不能滿足。
考慮到這些情況，指令採用棧來傳遞參數。(註：從彙編的角度來看，傳遞參數的方式有好幾種，比如：寄存器，全域變數，而堆棧是現代語言常用的方式，它具有很大的靈活性)。而這些指令不會自己做這些事情，所以在它們之前，需要其它一些指令的協助。VDBE把計算的中間結果儲存到記憶體單元(memory cells)中，其實，堆棧和記憶體單元都是基於Mem（見vdbeInt.h）資料結構(註：這裡的棧，記憶體單元都是虛擬，記得一位電腦科學家說過：電腦科學中90%以上的科學都是虛擬化問題。一點不假，OS本質上也是虛擬機器，而在這裡SQLite，我們也處處可見虛擬化的身影，到後面的OS Interface模組中再仔細討論這個問題)。

1.2、程式體(Program Body)
這是一個開啟episodes表的過程。
第一條指令：Integer是為第二條指令作準備的，也就是把第二條指令執行需要的參數壓入堆棧，OpenRead從堆棧中取出參數值然後執行。SQLite可以通過ATTACH命令在一個串連中開啟多個資料庫檔案，每當SQLite開啟一個資料，它就為之賦一個索引號(index)，main database的索引為0，第一個資料庫為1，依次如此。Integer指令資料庫索引的值壓入棧，而OpenRead從中取出值，並決定開啟哪個資料，來看看SQLite文檔中的解釋：
     Open a read-only cursor for the database table whose root page is P2 in a database file.
The database file is determined by an integer from the top of the stack. 0 means the main database and 1 means the database used for temporary tables. Give the new cursor an identifier of P1. The P1 values need not be contiguous but all P1 values should be small integers. It is an error for P1 to be negative.
     If P2==0 then take the root page number from off of the stack.
     There will be a read lock on the database whenever there is an open cursor. If the data-
base was unlocked prior to this instruction then a read lock is acquired as part of this instruction. A read lock allows other processes to read the database but prohibits any other process from modifying the database. The read lock is released when all cursors are closed. If this instruction attempts to get a read lock but fails, the script terminates with an SQLITE_BUSY error code.
     The P3 value is a pointer to a KeyInfo structure that defines the content and collating

sequence of indices. P3 is NULL for cursors that are not pointing to indices. 

再來看看SetNumColumns指令設定遊標將指向的列。P1為遊標的索引（這裡為0，剛剛開啟），P2為列的數目，episodes表有三列。
繼續Rewind指令，它將遊標重新設定到表的開始，它會檢查表是否為空白（即沒有記錄），如果沒有記錄，它會導致指令指標跳到P2指定的指令處。在這裡，P2為10，即Close指令。一旦Rewind設定遊標，接下就執行5-9這幾條指令，它們的主要功能是遍曆結果集，Recno把由遊標P1指定的記錄的關鍵字壓入堆棧。Column指令從由P1指定的遊標，P2指定的列取值。5,6,7三條指令分別把id(primary key),season和name欄位的值壓入棧。接下來，Callback指令從棧中取出三個值（P1），然後形成一個記錄數組，儲存在記憶體單元中(memory cell)。Callback會停止VDBE的操作，把控制權交給sqlite3_stemp()，該函數返回SQLITE_ROW。

一旦VDBE建立了記錄結構，我們就可以通過sqlite3_column_xxx() functions從屬記錄結構的域內取出值。當下次調用sqlite3_step()時，指令指標會指向Next指令，而Next指令會把遊標向移向下一行，如果有其它的記錄，它會跳到由P2指定的指令，在這裡為指令5，建立一個新的記錄結構，一直迴圈，直到結果集的最後。Close指令會關閉遊標，然後執行Halt指令，結束VDBE程式。

1.3、程式開始與停止
現在來看看其餘的指令，Goto指令是一條跳轉指令，跳到P2處，即第12條指令。指令12是Transaction，它開始一個新的事務；然後執行VerifyCookie，它的主要功能VDBE程式編譯後，資料庫模式是否改變（即是否進行過更新操作）。這在SQLite中是一個很重要的概念，在SQL被sqlite3_prepare()編譯成VDBE代碼至程式調用sqlite3_step()執行位元組碼的這段時間，另一個SQL命令可能會改變資料庫模式（such as ALTER TABLE, DROP TABLE, or CREATE TABLE）。一旦發生這種情況，之前編譯的statement就會變得無效，資料庫模式資訊記錄在資料庫檔案的根頁面中。類似，每一個statement都有一份用來比較的在編譯時間刻該模式的備份，VerifyCookie的功能就是檢查它們是否匹配，如果不匹配，將採取相關操作。

如果兩者匹配，會執行下一條指令Goto；它會跳到程式的主要部分，即第一條指令，開啟表讀取記錄。這裡有兩點值得注意：
(1)Transaction指令自己不會擷取鎖（ The Transaction instruction doesn’t acquire any locks in itself）。它的功能相當於BEGIN，而實際是由OpenRead指令擷取share lock的。當事務關閉時釋放鎖，這取決於Halt指令，它會進行掃尾工作。
(2)statement對象（VDBE程式）所需的儲存空間在程式執行前就已經確定。這有原於兩個重要事實：首先，棧的深度不會比指令的數目還多（通常少得多）。其次，在執行VDBE程式之前，SQLite可以計算出為分配資源所需要的記憶體。

1.4指令的類型(Instruction Types)
每條指令都完成特定的任務，而且通常和別的指令有關。大體上來說，指令可分為三類：
（1)Value manipulation：這些指令通常完成算術運算，比如：add, subtract, divide；邏輯運算，比如：AND和OR；還有字串操作。
（2)Data management：這些指令操作在記憶體和磁碟上的資料。記憶體指令進行棧操作或者在記憶體單元之間傳遞資料。磁碟操作指令控制B-tree和pager開啟或操作遊標，開始或結束事務，等等。

（3)Control flow：控制指令主要是移動指令指標。

1.5、程式的執行(Program execution)
最後我們來看VM解譯器是如何?以及位元組代碼大致是如何執行的。在vdbe.c檔案中有一個很關鍵的函數：
//執行VDBE程式
int sqlite3VdbeExec(
  Vdbe *p                    /* The VDBE */
)
該函數是執行VDBE程式的入口。來看看它的內部實現：

/*從這裡開始執行指令
**pc為程式計數器(int)
*/
for(pc=p->pc; rc==SQLITE_OK; pc++){
  //取得作業碼
  pOp = &p->aOp[pc];
  switch( pOp->opcode ){
  case OP_Goto: {             /* jump */
      CHECK_FOR_INTERRUPT;
      pc = pOp->p2 - 1;
      break;
     }
    … …
   }
}
從這段代碼，我們大致可以推出VM執行的原理：VM解譯器實際上是一個包含大量switch語句的for迴圈，每一個switch語句實現一個特定的操作指令。

 

2、B-tree和Pager
B-Tree使得VDBE可以在O(logN)下查詢，插入和刪除資料，以及O(1)下雙向遍曆結果集。B-Tree不會直接讀寫磁碟，它僅僅維護著頁面(pages)之間的關係。當B-TREE需要頁面或者修改頁面時，它就會調用Pager。當修改頁面時，pager保證原始頁面首先寫入記錄檔，當它完成寫操作時，pager根據事務狀態決定如何做。B-tree不直接讀寫檔案，而是通過page cache這個緩衝模組讀寫檔案對於效能是有重要意義的（註：這和作業系統讀寫檔案類似，在Linux中,作業系統的上層模組並不直接調用裝置驅動讀寫裝置，而是通過一個高速緩衝模組調用裝置驅動讀寫檔案,並將結果存到高速緩衝區）。

2.1、資料庫檔案格式（Database File Format）
資料庫中所有的頁面都按從1開始順序標記。一個資料庫由許多B-tree構成——每一個表和索引都有一個B-tree（註：索引採用B-tree，而表採用B+tree，這主要是表和索引的需求不同以及B-tree和B+tree的結構不同決定的：B+tree的所有葉子節點包含了全部關鍵字資訊，而且可以有兩種順序尋找——具體參見《資料結構》，嚴蔚敏。而B-tree更適合用來作索引）。所有表和索引的根頁面都儲存在sqlite_master表中。
資料庫中第一個頁面（page 1）有點特殊，page 1的前100個位元組包含一個描述資料庫檔案的特殊的檔案頭。它包括庫的版本，模式的版本，頁面大小，編碼等所有建立資料庫時設定的參數。這個特殊的檔案頭的內容在btree.c中定義，page 1也是sqlite_master表的根頁面。

2.2、頁面重用及回收(Page Reuse and Vacuum )
SQLite利用一個空閑列表(free list)進行頁面回收。當一個頁面的所有記錄都被刪除時，就被插入到該列表。當運行VACUUM命令時，會清除free list，所以資料庫會縮小，本質上它是在新的檔案重建立立資料庫，而所有使用的頁在都被拷貝過去，而free list卻不會，結果就是一個新的，變小的資料庫。當資料庫的autovacuum開啟時，SQLite不會使用free list，而且在每一次commit時自動壓縮資料庫。

2.3、B-Tree記錄
B-tree中頁面由B-tree記錄組成，也叫做payloads。每一個B-tree記錄，或者payload有兩個域：關鍵字域(key field)和資料域(data field)。Key field就是ROWID的值，或者資料庫中表的關鍵字的值。從B-tree的角度，data field可以是任何無結構的資料。資料庫的記錄就儲存在這些data fields中。B-tree的任務就是排序和遍曆，它最需要就是關鍵字。Payloads的大小是不定的，這與內部的關鍵字和資料域有關，當一個payload太大不能存在一個頁面內進便儲存到多個頁面。

B+Tree按關鍵字排序，所有的關鍵字必須唯一。表採用B+tree，內部頁面不包含資料，如下：

 B+tree中根頁面(root page)和內部頁面(internal pages)都是用來導航的，這些頁面的資料域都是指向下級頁面的指標，僅僅包含關鍵字。所有的資料庫記錄都儲存在葉子頁面(leaf pages)內。在分葉節點一級，記錄和頁面都是按照關鍵字的順序的，所以B-tree可以水平方向遍曆，時間複雜度為O(1)。

2.4、記錄和域（Records and Fields）
位於分葉節點頁面的資料域的記錄由VDBE管理，資料庫記錄以二進位的形式儲存，但有一定的資料格式。記錄格式包括一個邏輯頭（logical header）和一個資料區(data segment)，header segment包括header的大小和一個資料類型數組，資料類型用來在data segment的資料的類型，如下：

 

2.5、層次資料群組織(Hierarchical Data Organization) 

從上往下，資料越來越無序，從下向上，資料越來越結構化.

2.6、B-Tree API
B-Tree模組有它自己的API，它可以獨立於C API使用。另一個特點就是它支援事務。由pager處理的事務，鎖和日誌都是為B-tree服務的。根據功能可以分為以下幾類：
2.6.1、訪問和事務函數
sqlite3BtreeOpen: Opens a new database file. Returns a B-tree object.
sqlite3BtreeClose: Closes a database.
sqlite3BtreeBeginTrans: Starts a new transaction.
sqlite3BtreeCommit: Commits the current transaction.
sqlite3BtreeRollback: Rolls back the current transaction.
sqlite3BtreeBeginStmt: Starts a statement transaction.
sqlite3BtreeCommitStmt: Commits a statement transaction.
sqlite3BtreeRollbackStmt: Rolls back a statement transaction.

2.6.2、表函數
sqlite3BtreeCreateTable: Creates a new, empty B-tree in a database file. 
sqlite3BtreeDropTable: Destroys a B-tree in a database file.
sqlite3BtreeClearTable: Removes all data from a B-tree, but keeps the B-tree intact.
2.6.3、遊標函數(Cursor Functions)
sqlite3BtreeCursor: Creates a new cursor pointing to a particular B-tree. 
sqlite3BtreeCloseCursor: Closes the B-tree cursor.
sqlite3BtreeFirst: Moves the cursor to the first element in a B-tree.
sqlite3BtreeLast: Moves the cursor to the last element in a B-tree.
sqlite3BtreeNext: Moves the cursor to the next element after the one it is currently 
       pointing to.
sqlite3BtreePrevious: Moves the cursor to the previous element before the one it is 
      currently pointing to.

sqlite3BtreeMoveto: Moves the cursor to an element that matches the key value passed  in as a parameter. 

2.6.4、記錄函數(Record Functions)
sqlite3BtreeDelete: Deletes the record that the cursor is pointing to.
sqlite3BtreeInsert: Inserts a new element in the appropriate place of the B-tree.
sqlite3BtreeKeySize: Returns the number of bytes in the key of the record that the 
              cursor is pointing to.
sqlite3BtreeKey: Returns the key of the record the cursor is currently pointing to.
sqlite3BtreeDataSize: Returns the number of bytes in the data record that the cursor is 
              currently pointing to.
sqlite3BtreeData: Returns the data in the record the cursor is currently pointing to.

2.6.5、配置函數(Configuration Functions)
sqlite3BtreeSetCacheSize: Controls the page cache size as well as the synchronous 
            writes (as defined in the synchronous pragma).
sqlite3BtreeSetSafetyLevel: Changes the way data is synced to disk in order to increase 
           or decrease how well the database resists damage due to OS crashes and power     failures. 
           Level 1 is the same as asynchronous (no syncs() occur and there is a high probability of 
           damage). This is the equivalent to pragma synchronous=OFF. Level 2 is the default. There 
           is a very low but non-zero probability of damage. This is the equivalent to pragma 
           synchronous=NORMAL. Level 3 reduces the probability of damage to near zero but with a 
           write performance reduction. This is the equivalent to pragma synchronous=FULL.
sqlite3BtreeSetPageSize: Sets the database page size.
sqlite3BtreeGetPageSize: Returns the database page size.
sqlite3BtreeSetAutoVacuum: Sets the autovacuum property of the database.
sqlite3BtreeGetAutoVacuum: Returns whether the database uses autovacuum.
sqlite3BtreeSetBusyHandler: Sets the busy handler
2.7、執行個體分析
最後以sqlite3_open的具體實現結束本節的討論(參見Version 3.6.10的源碼)：

由可以知道，SQLite的所有IO操作，最終都轉化為作業系統的系統調用(一名話：DBMS建立在痛苦的OS之上)。同時也可以看到SQLite的實現非常的層次化，模組化，使得SQLite更易擴充，可移植性非常強。

 

3、編譯器（Compiler）
3.1、分詞器(Tokenizer)
介面把要執行的SQL語句傳遞給Tokenizer,Tokenizer按照SQL的詞法定義把它切分一個一個的詞，並傳遞給分析器(Parser)進行文法分析。分詞器是手工寫的，主要在Tokenizer.c中實現。
3.2、分析器(Parser)
SQLite的文法分析器是用Lemon——一個開源的LALR(1)文法分析器的產生器，產生的檔案為parser.c。
一個簡單的文法樹：
 SELECT rowid, name, season FROM episodes WHERE rowid=1 LIMIT 1


 3.3、代碼產生器（Code Generator）
代碼產生器是SQLite中取龐大，最複雜的部分。它與Parser關係緊密，根據文法分析樹產生VDBE程式執行SQL語句的功能。由諸多檔案構成：select.c,update.c,insert.c,delete.c,trigger.c,where.c等檔案。這些檔案產生相應的VDBE程式指令，比如SELECT語句就由select.c產生。下面是一個讀操作中開啟表的代碼的產生實現：
/* Generate code that will open a table for reading.
*/
void sqlite3OpenTableForReading(
  Vdbe *v,        /* Generate code into this VDBE */
  int iCur,       /* The cursor number of the table */
  Table *pTab     /* The table to be opened */
){
  sqlite3VdbeAddOp(v, OP_Integer, pTab->iDb, 0);
  sqlite3VdbeAddOp(v, OP_OpenRead, iCur, pTab->tnum);
  VdbeComment((v, "# %s", pTab->zName));
  sqlite3VdbeAddOp(v, OP_SetNumColumns, iCur, pTab->nCol);
}
Sqlite3vdbeAddOp函數有三個參數：（1）VDBE執行個體（它將添加指令），（2）作業碼（一條指令），（3）兩個運算元。

3.4、查詢最佳化
代碼產生器不僅負責產生代碼，也負責進行查詢最佳化。主要的實現位於where.c中，產生的WHERE語句塊通常被其它模組共用，比如select.c，update.c以及delete.c。這些模組調用sqlite3WhereBegin()開始WHERE語句塊的指令產生，然後加入它們自己的VDBE代碼返回，最後調用sqlite3WhereEnd()結束指令產生，如下：

SQLite核心研究