一、 基礎知識
本章簡要介紹一些Zend引擎的內部機制,這些知識和Extensions密切相關,同時也可以協助我們寫出更加高效的PHP代碼。
1.1 PHP變數的儲存
1.1.1 zval結構
Zend使用zval結構來儲存PHP變數的值,該結構如下所示:
複製代碼 代碼如下:typedef union _zvalue_value {
long lval; /* long value */
double dval; /* double value */
struct {
char *val;
int len;
} str;
HashTable *ht; /* hash table value */
zend_object_value obj;
} zvalue_value;
struct _zval_struct {
/* Variable information */
zvalue_value value; /* value */
zend_uint refcount;
zend_uchar type; /* active type */
zend_uchar is_ref;
};
typedef struct _zval_struct zval;
<span id="more-597"></span>Zend根據type值來決定訪問value的哪個成員,可用值如下:
IS_NULLN/A
IS_LONG對應value.lval
IS_DOUBLE對應value.dval
IS_STRING對應value.str
IS_ARRAY對應value.ht
IS_OBJECT對應value.obj
IS_BOOL對應value.lval.
IS_RESOURCE對應value.lval
根據這個表格可以發現兩個有意思的地方:首先是PHP的數組其實就是一個HashTable,這就解釋了為什麼PHP能夠支援關聯陣列了;其次,Resource就是一個long值,它裡面存放的通常是個指標、一個內部數組的index或者其它什麼只有建立者自己才知道的東西,可以將其視作一個handle
1.1.1 引用計數
引用計數在垃圾收集、記憶體池以及字串等地方應用廣泛,Zend就實現了典型的引用計數。多個PHP變數可以通過引用計數機制來共用同一份zval,zval中剩餘的兩個成員is_ref和refcount就用來支援這種共用。
很明顯,refcount用於計數,當增減引用時,這個值也相應的遞增和遞減,一旦減到零,Zend就會回收該zval。
那麼is_ref呢?
1.1.2 zval狀態
在PHP中,變數有兩種——引用和非引用的,它們在Zend中都是採用引用計數的方式儲存的。對於非引用型變數,要求變數間互不相干,修改一個變數時,不能影響到其他變數,採用Copy-On-Write機制即可解決這種衝突——當試圖寫入一個變數時,Zend若發現該變數指向的zval被多個變數共用,則為其複製一份refcount為1的zval,並遞減原zval的refcount,這個過程稱為“zval分離”。然而,對於引用型變數,其要求和非引用型相反,引用賦值的變數間必須是捆綁的,修改一個變數就修改了所有捆綁變數。
可見,有必要指出當前zval的狀態,以分別應對這兩種情況,is_ref就是這個目的,它指出了當前所有指向該zval的變數是否是採用引用賦值的——要麼全是引用,要麼全不是。此時再修改一個變數,只有當發現其zval的is_ref為0,即非引用時,Zend才會執行Copy-On-Write。
1.1.3 zval狀態切換
當在一個zval上進行的所有賦值操作都是引用或者都是非引用時,一個is_ref就足夠應付了。然而,世界總不會那麼美好,PHP無法對使用者進行這種限制,當我們混合使用引用和非引用賦值時,就必須要進行特別處理了。
情況I、看如下PHP代碼:
<!--p $a = 1; $b = &$a; $c = &$b; $d = $c; // 在一堆引用賦值中,插入一個非引用-->
全過程如下所示:
這段代碼的前三句將把a、b和c指向一個zval,其is_ref=1, refcount=3;第四句是個非引用賦值,通常情況下只需要增加引用計數即可,然而目標zval屬於引用變數,單純的增加引用計數顯然是錯誤的, Zend的解決辦法是為d單獨產生一份zval副本。
全過程如下所示:
1.1.1 參數傳遞
PHP函數參數的傳遞和變數賦值是一樣的,非引用傳遞相當於非引用賦值,引用傳遞相當於引用賦值,並且也有可能會導致執行zval狀態切換。這在後面還將提到。
1.2 HashTable結構
HashTable是Zend引擎中最重要、使用最廣泛的資料結構,它被用來儲存幾乎所有的東西。
1.1.1 資料結構
HashTable資料結構定義如下:複製代碼 代碼如下:typedef struct bucket {
ulong h; // 存放hash
uint nKeyLength;
void *pData; // 指向value,是使用者資料的副本
void *pDataPtr;
struct bucket *pListNext; // pListNext和pListLast組成
struct bucket *pListLast; // 整個HashTable的雙鏈表
struct bucket *pNext; // pNext和pLast用於組成某個hash對應
struct bucket *pLast; // 的雙鏈表
char arKey[1]; // key
} Bucket;
typedef struct _hashtable {
uint nTableSize;
uint nTableMask;
uint nNumOfElements;
ulong nNextFreeElement;
Bucket *pInternalPointer; /* Used for element traversal */
Bucket *pListHead;
Bucket *pListTail;
Bucket **arBuckets; // hash數組
dtor_func_t pDestructor; // HashTable初始化時指定,銷毀Bucket時調用
zend_bool persistent; // 是否採用C的記憶體配置常式
unsigned char nApplyCount;
zend_bool bApplyProtection;
#if ZEND_DEBUG
int inconsistent;
#endif
} HashTable;
總的來說,Zend的HashTable是一種鏈表散列,同時也為線性遍曆進行了最佳化,圖示如下:
HashTable中包含兩種資料結構,一個鏈表散列和一個雙向鏈表,前者用於進行快速鍵-值查詢,後者方便線性遍曆和排序,一個Bucket同時存在於這兩個資料結構中。
關於該資料結構的幾點解釋:
l 鏈表散列中為什麼使用雙向鏈表?
一般的鏈表散列只需要按key進行操作,只需要單鏈表就夠了。但是,Zend有時需要從鏈表散列中刪除給定的Bucket,使用雙鏈表可以非常高效的實現。
l nTableMask是幹什麼的?
這個值用於hash值到arBuckets數組下標的轉換。當初始化一個HashTable,Zend首先為arBuckets數組分配nTableSize大小的記憶體,nTableSize取不小於使用者指定大小的最小的2^n,即二進位的10*。nTableMask = nTableSize – 1,即二進位的01*,此時h & nTableMask就恰好落在 [0, nTableSize – 1] 裡,Zend就以其為index來訪問arBuckets數組。
l pDataPtr是幹什麼的?
通常情況下,當使用者插入一個索引值對時,Zend會將value複製一份,並將pData指向value副本。複製操作需要調用Zend內部常式 emalloc來分配記憶體,這是個非常耗時的操作,並且會消耗比value大的一塊記憶體(多出的記憶體用於存放cookie),如果value很小的話,將會造成較大的浪費。考慮到HashTable多用於存放指標值,於是Zend引入pDataPtr,當value小到和指標一樣長時,Zend就直接將其複製到pDataPtr裡,並且將pData指向pDataPtr。這就避免了emalloc操作,同時也有利於提高Cache命中率。
arKey大小為什麼只有1?為什麼不使用指標管理key?
arKey是存放key的數組,但其大小卻只有1,並不足以放下key。在HashTable的初始化函數裡可以找到如下代碼:
1p = (Bucket *) pemalloc(sizeof(Bucket) - 1 + nKeyLength, ht->persistent);
可見,Zend為一個Bucket分配了一塊足夠放下自己和key的記憶體,
l 上半部分是Bucket,下半部分是key,而arKey“恰好”是Bucket的最後一個元素,於是就可以使用arKey來訪問key了。這種手法在記憶體管理常式中最為常見,當分配記憶體時,實際上是分配了比指定大小要大的記憶體,多出的上半部分通常被稱為cookie,它儲存了這塊記憶體的資訊,比如塊大小、上一塊指標、下一塊指標等,baidu的Transmit程式就使用了這種方法。
不用指標管理key,是為了減少一次emalloc操作,同時也可以提高Cache命中率。另一個必需的理由是,key絕大部分情況下是固定不變的,不會因為key變長了而導致重新分配整個Bucket。這同時也解釋了為什麼不把value也一起作為數組分配了——因為value是可變的。
1.2.2 PHP數組
關於HashTable還有一個疑問沒有回答,就是nNextFreeElement是幹什麼的?
不同於一般的散列,Zend的HashTable允許使用者直接指定hash值,而忽略key,甚至可以不指定key(此時,nKeyLength為0)。同時,HashTable也支援append操作,使用者連hash值也不用指定,只需要提供value,此時,Zend就用nNextFreeElement作為hash,之後將nNextFreeElement遞增。
HashTable的這種行為看起來很奇怪,因為這將無法按key訪問value,已經完全不是個散列了。理解問題的關鍵在於,PHP數組就是使用HashTable實現的——關聯陣列使用正常的k-v映射將元素加入HashTable,其key為使用者指定的字串;非關聯陣列則直接使用數組下標作為hash值,不存在key;而當在一個數組中混合使用關聯和非關聯時,或者使用array_push操作時,就需要用nNextFreeElement了。
再來看value,PHP數組的value直接使用了zval這個通用結構,pData指向的是zval*,按照上一節的介紹,這個zval*將直接儲存在pDataPtr裡。由於直接使用了zval,數組的元素可以是任意PHP類型。
數組的遍曆操作,即foreach、each等,是通過HashTable的雙向鏈表來進行的,pInternalPointer作為遊標記錄了當前位置。
1.2.3 變數符號表
除了數組,HashTable還被用來儲存許多其他資料,比如,PHP函數、變數符號、載入的模組、類成員等。
一個變數符號表就相當於一個關聯陣列,其key是變數名(可見,使用很長的變數名並不是個好主意),value是zval*。
在任一時刻PHP代碼都可以看見兩個變數符號表——symbol_table和active_symbol_table——前者用於儲存全域變數,稱為全域符號表;後者是個指標,指向當前活動的變數符號表,通常情況下就是全域符號表。但是,當每次進入一個PHP函數時(此處指的是使用者使用PHP代碼建立的函數),Zend都會建立函數局部的變數符號表,並將active_symbol_table指向局部符號表。Zend總是使用active_symbol_table來訪問變數,這樣就實現了局部變數的範圍控制。
但如果在函數局部訪問標記為global的變數,Zend會進行特殊處理——在active_symbol_table中建立symbol_table中同名變數的引用,如果symbol_table中沒有同名變數則會先建立。
1.3 記憶體和檔案
程式擁有的資源一般包括記憶體和檔案,對於通常的程式,這些資源是面向進程的,當進程結束後,作業系統或C庫會自動回收那些我們沒有顯式釋放的資源。
但是,PHP程式有其特殊性,它是基於頁面的,一個頁面運行時同樣也會申請記憶體或檔案這樣的資源,然而當頁面運行結束後,作業系統或C庫也許不會知道需要進行資源回收。比如,我們將php作為模組編譯到apache裡,並且以prefork或worker模式運行apache。這種情況下apache進程或線程是複用的,php頁面分配的記憶體將永駐記憶體直到出core。
為瞭解決這種問題,Zend提供了一套記憶體配置API,它們的作用和C中相應函數一樣,不同的是這些函數從Zend自己的記憶體池中分配記憶體,並且它們可以實現基於頁面的自動回收。在我們的模組中,為頁面分配的記憶體應該使用這些API,而不是C常式,否則Zend會在頁面結束時嘗試efree掉我們的記憶體,其結果通常就是crush。
emalloc()
efree()
estrdup()
estrndup()
ecalloc()
erealloc()
另外,Zend還提供了一組形如VCWD_xxx的宏用於替代C庫和作業系統相應的檔案API,這些宏能夠支援PHP的虛擬工作目錄,在模組代碼中應該總是使用它們。宏的具體定義參見PHP原始碼”TSRM/tsrm_virtual_cwd.h”。可能你會注意到,所有那些宏中並沒有提供close操作,這是因為close的對象是已開啟的資源,不涉及到檔案路徑,因此可以直接使用C或作業系統常式;同理,read/write之類的操作也是直接使用C或作業系統的常式。