SQLite入門與分析(三)—核心概述(1)

寫在前面:從本章開始,我們開始進入SQLite的核心。為了能更好的理解SQLite，我先從總的結構上討論一下核心，從全域把握SQLite很重要。SQLite的核心實現不是很難，但是也不是很簡單。總的來說分為三個部分，本章主要討論虛擬機器(Virtual Machine)，但是這裡只是從原理上概述，不會太多的涉及實際代碼。但是概述完核心之後會仔細討論原始碼的。好了，下面我們來討論虛擬機器(VM)。

 

1、虛擬機器（Virtual Machine）
VDBE是SQLite的核心，它的上層模組和下層模組都是本質上都是為它服務的。它的實現位於vbde.c, vdbe.h, vdbeapi.c, vdbeInt.h, 和vdbemem.c幾個檔案中。它通過底層的基礎設施B+Tree執行由編譯器（Compiler）產生的位元組代碼，這種位元組代碼程式語言(bytecode programming lauguage)是為了進行查詢，讀取和修改資料庫而專門設計的。
位元組代碼在記憶體中被封裝成sqlite3_stmt對象(內部叫做Vdbe，見vdbeInt.h)，Vdbe（或者說statement）包含執行程式所需要的一切：
a)    a bytecode program
b)    names and data types for all result columns
c)    values bound to input parameters
d)    a program counter
e)    an execution stack of operands
f)    an arbitrary amount of "numbered" memory cells
g)    other run-time state information (such as open BTree objects, sorters, lists, sets)

位元組代碼和組譯工具十分類似，每一條指令由作業碼和三個運算元構成：<opcode, P1, P2, P3>。Opcode為一定功能的作業碼，為了理解，可以看成一個函數。P1是32位的有符號整數，p2是31位的不帶正負號的整數，它通常是導致跳轉(jump)的指令的目標地址（destination），當然這了有其它用途；p3為一個以null結尾的字串或者其它結構體的指標。和C API不同的是，VDBE作業碼經常變化，所以不應該用位元組碼寫程式。
下面的幾個C API直接和VDBE互動：
• sqlite3_bind_xxx() functions
• sqlite3_step()
• sqlite3_reset()
• sqlite3_column_xxx() functions
• sqlite3_finalize()

為了有個感性，下面看一個具體的位元組碼程式：
sqlite> .m col
sqlite> .h on
sqlite> .w 4 15 3 3 15
sqlite> explain select * from episodes;
addr  opcode           p1   p2   p3
----  ---------------  ---  ---  ---------------
0     Goto                0    12
1     Integer             0    0
2     OpenRead         0    2    # episodes
3     SetNumColumns  0    3
4     Rewind             0    10
5     Recno               0    0
6     Column            0    1
7     Column            0    2
8     Callback           3    0
9     Next                0    5
10    Close               0    0
11    Halt                 0    0
12    Transaction       0    0
13    VerifyCookie      0    10
14    Goto               0    1
15    Noop               0    0

1.1、    棧(Stack)
一個VDBE程式通常由不同完成特定任務的段（section）構成，每一個段中，都有一些操作棧的指令。這是由於不同的指令有不同個數的參數，一些指令只有一個參數；一些指令沒有參數；一些指令有好幾個參數，這種情況下，三個運算元就不能滿足。
考慮到這些情況，指令採用棧來傳遞參數。(註：從彙編的角度來看，傳遞參數的方式有好幾種，比如：寄存器，全域變數，而堆棧是現代語言常用的方式，它具有很大的靈活性)。而這些指令不會自己做這些事情，所以在它們之前，需要其它一些指令的協助。VDBE把計算的中間結果儲存到記憶體單元(memory cells)中，其實，堆棧和記憶體單元都是基於Mem（見vdbeInt.h）資料結構(註：這裡的棧，記憶體單元都是虛擬，記得一位電腦科學家說過：電腦科學中90%以上的科學都是虛擬化問題。一點不假，OS本質上也是虛擬機器，而在這裡SQLite，我們也處處可見虛擬化的身影，到後面的OS Interface模組中再仔細討論這個問題)。

1.2、程式體(Program Body)
這是一個開啟episodes表的過程。
第一條指令：Integer是為第二條指令作準備的，也就是把第二條指令執行需要的參數壓入堆棧，OpenRead從堆棧中取出參數值然後執行。SQLite可以通過ATTACH命令在一個串連中開啟多個資料庫檔案，每當SQLite開啟一個資料，它就為之賦一個索引號(index)，main database的索引為0，第一個資料庫為1，依次如此。Integer指令資料庫索引的值壓入棧，而OpenRead從中取出值，並決定開啟哪個資料，來看看SQLite文檔中的解釋：
     Open a read-only cursor for the database table whose root page is P2 in a database file.
The database file is determined by an integer from the top of the stack. 0 means the main database and 1 means the database used for temporary tables. Give the new cursor an identifier of P1. The P1 values need not be contiguous but all P1 values should be small integers. It is an error for P1 to be negative.
     If P2==0 then take the root page number from off of the stack.
     There will be a read lock on the database whenever there is an open cursor. If the data-
base was unlocked prior to this instruction then a read lock is acquired as part of this instruction. A read lock allows other processes to read the database but prohibits any other process from modifying the database. The read lock is released when all cursors are closed. If this instruction attempts to get a read lock but fails, the script terminates with an SQLITE_BUSY error code.
     The P3 value is a pointer to a KeyInfo structure that defines the content and collating

sequence of indices. P3 is NULL for cursors that are not pointing to indices.

再來看看SetNumColumns指令設定遊標將指向的列。P1為遊標的索引（這裡為0，剛剛開啟），P2為列的數目，episodes表有三列。
繼續Rewind指令，它將遊標重新設定到表的開始，它會檢查表是否為空白（即沒有記錄），如果沒有記錄，它會導致指令指標跳到P2指定的指令處。在這裡，P2為10，即Close指令。一旦Rewind設定遊標，接下就執行5-9這幾條指令，它們的主要功能是遍曆結果集，Recno把由遊標P1指定的記錄的關鍵字壓入堆棧。Column指令從由P1指定的遊標，P2指定的列取值。5,6,7三條指令分別把id(primary key),season和name欄位的值壓入棧。接下來，Callback指令從棧中取出三個值（P1），然後形成一個記錄數組，儲存在記憶體單元中(memory cell)。Callback會停止VDBE的操作，把控制權交給sqlite3_stemp()，該函數返回SQLITE_ROW。

一旦VDBE建立了記錄結構，我們就可以通過sqlite3_column_xxx() functions從屬記錄結構的域內取出值。當下次調用sqlite3_step()時，指令指標會指向Next指令，而Next指令會把遊標向移向下一行，如果有其它的記錄，它會跳到由P2指定的指令，在這裡為指令5，建立一個新的記錄結構，一直迴圈，直到結果集的最後。Close指令會關閉遊標，然後執行Halt指令，結束VDBE程式。

1.3、程式開始與停止
現在來看看其餘的指令，Goto指令是一條跳轉指令，跳到P2處，即第12條指令。指令12是Transaction，它開始一個新的事務；然後執行VerifyCookie，它的主要功能VDBE程式編譯後，資料庫模式是否改變（即是否進行過更新操作）。這在SQLite中是一個很重要的概念，在SQL被sqlite3_prepare()編譯成VDBE代碼至程式調用sqlite3_step()執行位元組碼的這段時間，另一個SQL命令可能會改變資料庫模式（such as ALTER TABLE, DROP TABLE, or CREATE TABLE）。一旦發生這種情況，之前編譯的statement就會變得無效，資料庫模式資訊記錄在資料庫檔案的根頁面中。類似，每一個statement都有一份用來比較的在編譯時間刻該模式的備份，VerifyCookie的功能就是檢查它們是否匹配，如果不匹配，將採取相關操作。

如果兩者匹配，會執行下一條指令Goto；它會跳到程式的主要部分，即第一條指令，開啟表讀取記錄。這裡有兩點值得注意：
(1)Transaction指令自己不會擷取鎖（ The Transaction instruction doesn’t acquire any locks in itself）。它的功能相當於BEGIN，而實際是由OpenRead指令擷取share lock的。當事務關閉時釋放鎖，這取決於Halt指令，它會進行掃尾工作。
(2)statement對象（VDBE程式）所需的儲存空間在程式執行前就已經確定。這有原於兩個重要事實：首先，棧的深度不會比指令的數目還多（通常少得多）。其次，在執行VDBE程式之前，SQLite可以計算出為分配資源所需要的記憶體。

1.4指令的類型(Instruction Types)
每條指令都完成特定的任務，而且通常和別的指令有關。大體上來說，指令可分為三類：
（1)Value manipulation：這些指令通常完成算術運算，比如：add, subtract, divide；邏輯運算，比如：AND和OR；還有字串操作。
（2)Data management：這些指令操作在記憶體和磁碟上的資料。記憶體指令進行棧操作或者在記憶體單元之間傳遞資料。磁碟操作指令控制B-tree和pager開啟或操作遊標，開始或結束事務，等等。

（3)Control flow：控制指令主要是移動指令指標。

1.5、程式的執行(Program execution)
最後我們來看VM解譯器是如何?以及位元組代碼大致是如何執行的。在vdbe.c檔案中有一個很關鍵的函數：
//執行VDBE程式
int sqlite3VdbeExec(
  Vdbe *p                    /* The VDBE */
)
該函數是執行VDBE程式的入口。來看看它的內部實現：

/*從這裡開始執行指令
**pc為程式計數器(int)
*/
for(pc=p->pc; rc==SQLITE_OK; pc++){
  //取得作業碼
  pOp = &p->aOp[pc];
  switch( pOp->opcode ){
  case OP_Goto: {             /* jump */
      CHECK_FOR_INTERRUPT;
      pc = pOp->p2 - 1;
      break;
     }
    … …
   }
}
從這段代碼，我們大致可以推出VM執行的原理：VM解譯器實際上是一個包含大量switch語句的for迴圈，每一個switch語句實現一個特定的操作指令。