Python 的十個自然語言處理工具

標籤：clip   領域   pac   轉化   pattern   作者   語言   bll   網站   

原文

先mark，後續嘗試。

1.NLTK

NLTK 在用 Python 處理自然語言的工具中處於領先的地位。它提供了 WordNet 這種方便處理詞彙資源的借口，還有分類、分詞、除莖、標註、文法分析、語義推理等類庫。

網站

http://www.nltk.org/

安裝

安裝 NLTK:

sudo pip install -U nltk

安裝 Numpy (可選):

sudo pip install -U numpy

安裝測試:

python then type import nltk

2.Pattern

Pattern 的自然語言處理工具有詞性標註工具(Part-Of-Speech Tagger)，N元搜尋(n-gram search)，情感分析(sentiment analysis)，WordNet。支援機器學習的向量空間模型，聚類，向量機。

網站:

https://github.com/clips/pattern

安裝:

pip install pattern

3.TextBlob

TextBlob 是一個處理文本資料的 Python 庫。提供了一些簡單的api解決一些自然語言處理的任務，例如詞性標註、名詞短語抽取、情感分析、分類、翻譯等等。

網站：

http://textblob.readthedocs.org/en/dev/

安裝：

pip install -U textblob

4.Gensim

Gensim 提供了對大型語料庫的主題建模、檔案索引、相似性檢索的功能。它可以處理大於RAM記憶體的資料。作者說它是“實現無幹預從純文字語義建模的最強大、最高效、最無障礙的軟體。”

網站：

https://github.com/piskvorky/gensim

安裝：

pip install -U gensim

5.PyNLPI

它的全稱是：Python自然語言處理庫（Python Natural Language Processing Library，音發作: pineapple） 這是一個各種自然語言處理任務的集合，PyNLPI可以用來處理N元搜尋，計算頻率表和分布，建立語言模型。他還可以處理向優先隊列這種更加複雜的資料結構，或者像 Beam 搜尋這種更加複雜的演算法。

安裝：

LInux:

sudo apt-get install pymol

Fedora:

yum install pymol

6.spaCy

這是一個商業的開源軟體。結合Python和Cython，它的自然語言處理能力達到了工業強度。是速度最快，領域內最先進的自然語言處理工具。

網站：

https://github.com/proycon/pynlpl

安裝：

pip install spacy

7.Polyglot

Polyglot 支援對海量文本和多語言的處理。它支援對165種語言的分詞，對196中語言的辨識，40種語言的專有名詞識別，16種語言的詞性標註，136種語言的情感分析，137種語言的嵌入，135種語言的形態分析，以及69中語言的翻譯。

網站：

https://pypi.python.org/pypi/polyglot

安裝

pip install polyglot

8.MontyLingua

MontyLingua 是一個自由的、訓練有素的、端到端的英文處理工具。輸入原始英文文本到 MontyLingua ，就會得到這段文本的語義解釋。適合用來進行資訊檢索和提取，問題處理，回答問題等任務。從英文文本中，它能提取出主動賓元組，形容詞、名詞和動詞短語，人名、地名、事件，日期和時間，等語義資訊。

網站：

http://web.media.mit.edu/~hugo/montylingua/

9.BLLIP Parser

BLLIP Parser（也叫做Charniak-Johnson parser）是一個整合了產產生分分析和最大熵排序的統計自然語言工具。包括 命令列 和 python介面 。

10.Quepy

Quepy是一個Python架構，提供將自然語言轉換成為資料庫查詢語言。可以輕鬆地實現不同類型的自然語言和資料庫查詢語言的轉化。所以，通過Quepy，僅僅修改幾行代碼，就可以實現你自己的自然語言查詢資料庫系統。

Python 的十個自然語言處理工具