分詞技術雜記

1. "切分標誌字串"預先處理方法是一個毫無必要的技術,它增加了一遍掃描"切分標誌詞典"的時空複雜性，卻並沒有提高分詞精度，因為所謂的切分標誌其實都已經隱含在詞典之中，是對詞典功能的重複。實際上"切分標誌"也沒有標記歧義欄位的任何資訊。

2. 詞性分詞一體化：存在詞的兼類問題和規則集的確定問題。

3. 未登入詞的介入會引起新的切分歧義，從而使分詞系統所面臨的形勢更加複雜化。Sun M.S. and Shen D.Y., et al. (1997)  將切分歧義明確地細分為：1）普通詞與普通詞之間的切分歧義（第 2.1 節）；2）普通詞與未登入詞之間的切分歧義；3）未登入詞與未登入詞之間的切分歧義。