HanLP - 漢語言處理包

來源:互聯網
上載者:User

標籤:

摺疊導航HanLP
  • 下載
  • 文檔
  • 聯絡
  • 關於
開源自由的漢語言處理包功能全面調用簡單 歡迎使用HanLP HanLP v1.2.4

HanLP是由一系列模型與演算法組成的Java工具包,目標是普及自然語言處理在生產環境中的應用。不僅僅是分詞,而是提供詞法分析、句法分析、語義理解等完備的功能。HanLP具備功能完善、效能高效、架構清晰、語料時新、可自訂的特點。

Download Free & Open Source

HanLP完全開源,包括詞典。不依賴其他jar,底層採用了一系列高速的資料結構,如雙數組Trie樹、DAWG、AhoCorasickDoubleArrayTrie等,這些基礎件都是開源的。官方模型訓練自2014人民日報語料庫,您也可以使用內建的工具訓練自己的模型。

Star Me Easy to Use

通過工具類HanLP您可以一句話調用所有功能,文檔詳細,開箱即用。底層演算法經過精心最佳化,極速分詞模式下可達2,000萬字/秒,記憶體僅需120MB。在IO方面,詞典載入速度極快,只需500 ms即可快速啟動。HanLP經過多次重構,歡迎二次開發。

Documentation組件一覽技術參數

HanLP v1.2.4的特徵:

  • 最高分詞速度2,000萬字/秒(極速分詞,2.0GHz i7)
  • 35萬詞典,覆蓋現代漢語常用詞、網路新詞等
  • 337萬接續BiGram文法模型
  • 500 ms 詞典載入
  • 訓練自2014年人民日報切分語料
  • 詞語標註集相容《ICTPOS3.0漢語詞性標記集》
  • 詞語標註集相容《現代漢語語料庫加工規範——詞語切分與詞性標註》
  • 最低記憶體要求120 MB(-Xms120m -Xmx120m -Xmn64m)
  • 基於雙數組Trie的AhoCorasick自動機演算法實現O(n)多模式比對
  • 運行於Java6+
  • 提供Lucene外掛程式,相容Lucene4.x
  • Apache License Version 2.0

HanLP產品初始智慧財產權歸上海林原資訊科技有限公司所有,任何人和企業可以無償使用,可以對產品、原始碼進行任何形式的修改, 可以打包在其他產品中進行銷售。任何使用了HanLP的全部或部分功能、詞典、模型的項目、產品或文章等形式的成果必須顯式註明HanLP及此項目首頁。

最新版本:HanLP v1.2.4

下載來源網址:http://hanlp.linrunsoft.com/index.html  

Copyright ? 上海林原資訊科技有限公司 2014



來自為知筆記(Wiz)

HanLP - 漢語言處理包

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.