標籤:
摺疊導航HanLP
開源自由的漢語言處理包功能全面調用簡單 歡迎使用HanLP HanLP v1.2.4
HanLP是由一系列模型與演算法組成的Java工具包,目標是普及自然語言處理在生產環境中的應用。不僅僅是分詞,而是提供詞法分析、句法分析、語義理解等完備的功能。HanLP具備功能完善、效能高效、架構清晰、語料時新、可自訂的特點。
Download Free & Open Source
HanLP完全開源,包括詞典。不依賴其他jar,底層採用了一系列高速的資料結構,如雙數組Trie樹、DAWG、AhoCorasickDoubleArrayTrie等,這些基礎件都是開源的。官方模型訓練自2014人民日報語料庫,您也可以使用內建的工具訓練自己的模型。
Star Me Easy to Use
通過工具類HanLP您可以一句話調用所有功能,文檔詳細,開箱即用。底層演算法經過精心最佳化,極速分詞模式下可達2,000萬字/秒,記憶體僅需120MB。在IO方面,詞典載入速度極快,只需500 ms即可快速啟動。HanLP經過多次重構,歡迎二次開發。
Documentation組件一覽技術參數
HanLP v1.2.4的特徵:
- 最高分詞速度2,000萬字/秒(極速分詞,2.0GHz i7)
- 35萬詞典,覆蓋現代漢語常用詞、網路新詞等
- 337萬接續BiGram文法模型
- 500 ms 詞典載入
- 訓練自2014年人民日報切分語料
- 詞語標註集相容《ICTPOS3.0漢語詞性標記集》
- 詞語標註集相容《現代漢語語料庫加工規範——詞語切分與詞性標註》
- 最低記憶體要求120 MB(-Xms120m -Xmx120m -Xmn64m)
- 基於雙數組Trie的AhoCorasick自動機演算法實現O(n)多模式比對
- 運行於Java6+
- 提供Lucene外掛程式,相容Lucene4.x
- Apache License Version 2.0
HanLP產品初始智慧財產權歸上海林原資訊科技有限公司所有,任何人和企業可以無償使用,可以對產品、原始碼進行任何形式的修改, 可以打包在其他產品中進行銷售。任何使用了HanLP的全部或部分功能、詞典、模型的項目、產品或文章等形式的成果必須顯式註明HanLP及此項目首頁。
最新版本:HanLP v1.2.4
下載來源網址:http://hanlp.linrunsoft.com/index.html
Copyright ? 上海林原資訊科技有限公司 2014
來自為知筆記(Wiz)
HanLP - 漢語言處理包