中文trie樹

這幾天被漢字trie樹小折騰了一下。

開始的時候想直接將單位元組作為字典樹的節點建樹，雖然各個樹的節點可能只是多位元組字元的一部分，但是準系統也能夠支援。後來發現似乎有些問題，比如在做前向最大匹配分詞的時候，對於未登入詞無法確定當前字元是單位元組還是多位元組，如果通過編碼規則進行判定的話倒也可以，但是跟建樹過程南轅北轍。

然後想到了utf16字元編碼對所有字元統一採用16位定長處理，這樣的話只要對待處理字串每兩位元組進行一次截取就能得到完整字元，當然樹的節點也是這樣有意義的完整字元。可是問題依然存在，fgets() 這種函數肯定用不了，因為utf16中充斥這各種值為0和a的位元組，對於fgets()來說a就是行尾。linux中對寬位元組字元處理函數經常莫名其妙罷工，例如fgetws()讀取檔案的時候總是直接返回NULL，各種不給力。。。

最後還是回到utf8，通過對utf8編碼方式分析，utf8是一種變長編碼方式，通過首位元組即可判斷出當前字元位元組數。這樣在建樹時候就可以以字元作為節點，無論是單位元組字元（ASCII）還是三位元組字元（絕大多數漢字）都可以存入trie樹中，在對字串分析時同樣可以輕鬆確定字元長度