檢測敏感詞的 PHP 擴充

檢測敏感詞的 PHP 擴充
敏感詞過濾是我朝程式員必須具備的一種特殊技術，隨著敏感詞越來越多，是時候寫個擴充來快速的進行敏感詞檢測了
使用說明

1. 安裝 libdatrie
tar zxf libdatrie-0.2.4.tar.gz
cd libdatrie-0.2.4
./configure --prefix=/usr/local
make
make install


2. 安裝 trie_filter 擴充
tar zxf trie_filter-1.0.0.tar.gz
cd trie_filter-1.0.0
phpize
./configure --with-php-config=/path/to/php-config
make
make install
記得修改你的 php.ini 檔案，啟用 trie_filter 擴充。extension=trie_filter.so


3. 產生詞典預先處理工具（dpp.c 在 trie_filter-1.0.0 裡面）
gcc -O dpp dpp.c -ldatrie


4. 產生敏感詞詞典
首先你需要把需要檢測的敏感詞寫入到一個文字檔中，每行一個敏感詞，然後使用上一步產生的 dpp 程式處理這個文字檔來產生詞典
./dpp txt_file_path dict_file_path


5. 使用擴充
擴充介面很簡單，只有兩個函數：
1) trie_filter_load($path_to_dict)
用來載入詞典，成功返回一個 Trie_Filter 資源控制代碼，失敗返回 NULL
2) trie_filter_search($trie, $text)
用來檢測一段文本中是否含有詞典中定義的敏感詞，$trie 是上一個函數返回的 Trie Filter 控制代碼，$text 是欲檢測的文本
如果檢測到敏感詞則返回一個數組，數組第一個元素指出檢測到的敏感詞在 $text 中的位移量，第二個元素指出該敏感詞的長度(bytes)
如果沒有檢測到敏感詞，則返回一個空數組




擴充的速度怎麼樣


一個字，很快！擴充的檢測演算法基於 Double Array Trie Tree，尋找單一關鍵字的時間複雜度為 O(1)，尋找整段文本的時間複雜度為 O(n)，n 為文本的長度，而且檢測的速度不會因為敏感詞的增加而降低。




注意事項


1. 擴充把詞典和要檢測的文本都當做平凡的位元組流處理，因此可以無視字元集的問題。但需要注意的是詞典的編碼需要和檢測文本的編碼一致，例如詞典為 UTF-8 編碼而你需要檢測的文本為 GBK 編碼，這就要求你在調用 trie_filter_search() 函數之前通過 iconv 或者 mb_xxx 函數轉換一下編碼
2. 目前只在 linux + php-5.2 環境下測試通過，不支援 windows，也沒有支援的計劃

