Python人工智慧之路 - 第四篇 : jieba gensim 最好別分家之最簡單的相似性實現

標籤：jieba   語料庫   語義   one   test   lis   splay   文本   models   

簡單的問答已經實現了,那麼問題也跟著出現了,我不能確定問題一定是"你叫什麼名字",也有可能是"你是誰","你叫啥"之類的,這就引出了人工智慧中的另一項技術:

自然語言處理(NLP) : 大概意思就是 讓電腦明白一句話要表達的意思,NLP就相當於電腦在思考你說的話,讓電腦知道"你是誰","你叫啥","你叫什麼名字"是一個意思

這就要做 : 語義相似性

接下來我們用Python大法來實現一個簡單的自然語言處理

現在又要用到Python強大的三方庫了

第一個是將中文字串進行分詞的庫叫 jieba

pip install jieba

我們通常把這個庫叫做 結巴分詞 確實是結巴分詞,而且這個詞庫是 made in china , 基本用一下這個結巴分詞:

import jiebakey_word = "你叫什麼名字"  # 定義一句話,基於這句話進行分詞cut_word = jieba.cut(key_word)  # 使用結巴分詞中的cut方法對"你叫什麼名字" 進行分詞print(cut_word)  # <generator object Tokenizer.cut at 0x03676390> 不懂產生器的話,就忽略這裡cut_word_list = list(cut_word)  # 如果不明白產生器的話,這裡要記得把產生器對象做成列表print(cut_word_list)  # [‘你‘, ‘叫‘, ‘什麼‘, ‘名字‘]

測試代碼就很明顯了,它很清晰的把咱們的中文字串轉為列表格儲存體起來了

 

第二個是一個語言訓練庫叫 gensim

pip install gensim

這個訓練庫很厲害, 裡面封裝很多機器學習的演算法, 是目前人工智慧的主流應用庫,這個不是很好理解, 需要一定的Python資料處理的功底

import jiebaimport gensimfrom gensim import corporafrom gensim import modelsfrom gensim import similaritiesl1 = ["你的名字是什麼", "你今年幾歲了", "你有多高你胸多大", "你胸多大"]a = "你今年多大了"all_doc_list = []for doc in l1:    doc_list = [word for word in jieba.cut(doc)]    all_doc_list.append(doc_list)print(all_doc_list)doc_test_list = [word for word in jieba.cut(a)]# 製作語料庫dictionary = corpora.Dictionary(all_doc_list)  # 製作詞袋# 詞袋的理解# 詞袋就是將很多很多的詞,進行排列形成一個 詞(key) 與一個 標誌位(value) 的字典# 例如: {‘什麼‘: 0, ‘你‘: 1, ‘名字‘: 2, ‘是‘: 3, ‘的‘: 4, ‘了‘: 5, ‘今年‘: 6, ‘幾歲‘: 7, ‘多‘: 8, ‘有‘: 9, ‘胸多大‘: 10, ‘高‘: 11}# 至於它是做什麼用的,帶著問題往下看print("token2id", dictionary.token2id)print("dictionary", dictionary, type(dictionary))corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]# 語料庫:# 這裡是將all_doc_list 中的每一個列表中的詞語 與 dictionary 中的Key進行匹配# 得到一個匹配後的結果,例如[‘你‘, ‘今年‘, ‘幾歲‘, ‘了‘]# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]# 1代表的的是 你 1代表出現一次, 5代表的是 了  1代表出現了一次, 以此類推 6 = 今年 , 7 = 幾歲print("corpus", corpus, type(corpus))# 將需要尋找相似性的分詞列表 做成 語料庫 doc_test_vecdoc_test_vec = dictionary.doc2bow(doc_test_list)print("doc_test_vec", doc_test_vec, type(doc_test_vec))# 將corpus語料庫(初識語料庫) 使用Lsi模型進行訓練lsi = models.LsiModel(corpus)# 這裡的只是需要學習Lsi模型來瞭解的,這裡不做闡述print("lsi", lsi, type(lsi))# 語料庫corpus的訓練結果print("lsi[corpus]", lsi[corpus])# 獲得語料庫doc_test_vec 在 語料庫corpus的訓練結果 中的 向量表示print("lsi[doc_test_vec]", lsi[doc_test_vec])# 文本相似性# 疏鬆陣列相似性 將 主 語料庫corpus的訓練結果 作為初始值index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))print("index", index, type(index))# 將 語料庫doc_test_vec 在 語料庫corpus的訓練結果 中的 向量表示 與 語料庫corpus的 向量表示 做矩陣相似性計算sim = index[lsi[doc_test_vec]]print("sim", sim, type(sim))# 對下標和相似性結果進行一個排序,拿出相似性最高的結果# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)cc = sorted(enumerate(sim), key=lambda item: -item[1])print(cc)text = l1[cc[0][0]]print(a,text)

前方高能

 

Python人工智慧之路 - 第四篇 : jieba gensim 最好別分家之最簡單的相似性實現