。一個最大逆向匹配分詞演算法的例子

來源:互聯網
上載者:User

標籤:http   io   strong   sp   on   c   演算法   ef   bs   

原文連結地址:
http://www.52nlp.cn/maximum-matching-method-of-chinese-word-segmentation/

        逆向匹配法思想與正向一樣,只是從右向左切分,這裡舉一個例子:
   輸入例句:S1=”計算語言學課程有意思” ;
   定義:最大詞長MaxLen = 5;S2= ” “;分隔字元 = “/”;
   假設存在詞表:…,計算語言學,課程,意思,…;
   最大逆向匹配分詞演算法過程如下:
 (1)S2=””;S1不為空白,從S1右邊取出候選子串W=”課程有意思”;
 (2)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”程有意思”;
 (3)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”有意思”;
 (4)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”意思”
 (5)查詞表,“意思”在詞表中,將W加入到S2中,S2=” 意思/”,並將W從S1中去掉,此時S1=”計算語言學課程有”;
 (6)S1不為空白,於是從S1左邊取出候選子串W=”言學課程有”;
 (7)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”學課程有”;
 (8)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”課程有”;
 (9)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”程有”;
 (10)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”有”,這W是單字,將W加入到S2中,S2=“ /有 /意思”,並將W從S1中去掉,此時S1=”計算語言學課程”;
 (11)S1不為空白,於是從S1左邊取出候選子串W=”語言學課程”;
 (12)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”言學課程”;
 (13)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”學課程”;
 (14)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”課程”;
 (15)查詞表,“意思”在詞表中,將W加入到S2中,S2=“ 課程/ 有/ 意思/”,並將W從S1中去掉,此時S1=”計算語言學”;
 (16)S1不為空白,於是從S1左邊取出候選子串W=”計算語言學”;
 (17)查詞表,“計算語言學”在詞表中,將W加入到S2中,S2=“計算語言學/ 課程/ 有/ 意思/”,並將W從S1中去掉,此時S1=””;
 (18)S1為空白,輸出S2作為分詞結果,分詞過程結束。

。一個最大逆向匹配分詞演算法的例子

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.