全文檢索搜尋引擎 Elasticsearch 入門教程

它可以快速地儲存、搜尋和分析海量資料。維基百科、Stack Overflow、Github 都採用它。
Elastic 的底層是開源庫 Lucene。但是，你沒法直接用 Lucene，必須自己寫代碼去調用它的介面。Elastic 是 Lucene 的封裝，提供了 REST API 的操作介面，開箱即用。
本文從零開始，講解如何使用 Elastic 搭建自己的全文檢索搜尋引擎。每一步都有詳細的說明，大家跟著做就能學會。
一、安裝
Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java，可以參考這篇文章，注意要保證環境變數JAVA_HOME正確設定。
安裝完 Java，就可以跟著官方文檔安裝 Elastic。直接下載壓縮包比較簡單。

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip$ unzip elasticsearch-5.5.1.zip$ cd elasticsearch-5.5.1/ 

接著，進入解壓後的目錄，運行下面的命令，啟動 Elastic。

$ ./bin/elasticsearch

如果這時報錯”max virtual memory areas vm.maxmapcount [65530] is too low”，要運行下面的命令。

$ sudo sysctl -w vm.max_map_count=262144

如果一切正常，Elastic 就會在預設的9200連接埠運行。這時，開啟另一個命令列視窗，請求該連接埠，會得到說明資訊。

$ curl localhost:9200{  "name" : "atntrTf",  "cluster_name" : "elasticsearch",  "cluster_uuid" : "tf9250XhQ6ee4h7YI11anA",  "version" : {    "number" : "5.5.1",    "build_hash" : "19c13d0",    "build_date" : "2017-07-18T20:44:24.823Z",    "build_snapshot" : false,    "lucene_version" : "6.6.0"  },  "tagline" : "You Know, for Search"}

上面代碼中，請求9200連接埠，Elastic 返回一個 JSON 對象，包含當前節點、叢集、版本等資訊。
按下 Ctrl + C，Elastic 就會停止運行。
預設情況下，Elastic 只允許本機訪問，如果需要遠端存取，可以修改 Elastic 安裝目錄的config/elasticsearch.yml檔案，去掉network.host的注釋，將它的值改成0.0.0.0，然後重新啟動 Elastic。

network.host: 0.0.0.0

上面代碼中，設成0.0.0.0讓任何人都可以訪問。線上服務不要這樣設定，要設成具體的 IP。

二、基本概念
2.1 Node 與 Cluster
Elastic 本質上是一個分散式資料庫，允許多台伺服器協同工作，每台伺服器可以運行多個 Elastic 執行個體。
單個 Elastic 執行個體稱為一個節點（node）。一組節點構成一個叢集（cluster）。

2.2 Index
Elastic 會索引所有欄位，經過處理後寫入一個反向索引（Inverted Index）。尋找資料的時候，直接尋找該索引。
所以，Elastic 資料管理的頂層單位就叫做 Index（索引）。它是單個資料庫的同義字。每個 Index （即資料庫）的名字必須是小寫。
下面的命令可以查看當前節點的所有 Index。

$ curl -X GET 'http://localhost:9200/_cat/indices?v'

2.3 Document
Index 裡面單條的記錄稱為 Document（文檔）。許多條 Document 構成了一個 Index。
Document 使用 JSON 格式表示，下面是一個例子。

{  "user": "張三",  "title": "工程師",  "desc": "資料庫管理"}

同一個 Index 裡面的 Document，不要求有相同的結構（scheme），但是最好保持相同，這樣有利於提高搜尋效率。

2.4 Type
Document 可以分組，比如weather這個 Index 裡面，可以按城市分組（北京和上海），也可以按氣候分組（晴天和雨天）。這種分組就叫做 Type，它是虛擬邏輯分組，用來過濾 Document。
不同的 Type 應該有相似的結構（schema），舉例來說，id欄位不能在這個組是字串，在另一個組是數值。這是與關係型資料庫的表的一個區別。性質完全不同的資料（比如products和logs）應該存成兩個 Index，而不是一個 Index 裡面的兩個 Type（雖然可以做到）。
下面的命令可以列出每個 Index 所包含的 Type。

$ curl 'localhost:9200/_mapping?pretty=true'

根據規劃，Elastic 6.x 版只允許每個 Index 包含一個 Type，7.x 版將會徹底移除 Type。

三、建立和刪除 Index
建立 Index，可以直接向 Elastic 伺服器發出 PUT 請求。下面的例子是建立一個名叫weather的 Index。

$ curl -X PUT 'localhost:9200/weather'

伺服器返回一個 JSON 對象，裡面的acknowledged欄位表示操作成功。

{  "acknowledged":true,  "shards_acknowledged":true}

然後，我們發出 DELETE 請求，刪除這個 Index。

$ curl -X DELETE 'localhost:9200/weather'

四、中文分詞設定
首先，安裝中文分詞外掛程式。這裡使用的是 ik，也可以考慮其他外掛程式（比如 smartcn）。

$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip

上面代碼安裝的是5.5.1版的外掛程式，與 Elastic 5.5.1 配合使用。
接著，重新啟動 Elastic，就會自動載入這個新安裝的外掛程式。
然後，建立一個 Index，指定需要分詞的欄位。這一步根據資料結構而異，下面的命令只針對本文。基本上，凡是需要搜尋的中文欄位，都要單獨設定一下。

$ curl -X PUT 'localhost:9200/accounts' -d '{  "mappings": {    "person": {      "properties": {        "user": {          "type": "text",          "analyzer": "ik_max_word",          "search_analyzer": "ik_max_word"        },        "title": {          "type": "text",          "analyzer": "ik_max_word",          "search_analyzer": "ik_max_word"        },        "desc": {          "type": "text",          "analyzer": "ik_max_word",          "search_analyzer": "ik_max_word"        }      }    }  }}'

上面代碼中，首先建立一個名稱為accounts的 Index，裡面有一個名稱為person的 Type。person有三個欄位。

usertitledesc

這三個欄位都是中文，而且類型都是文本（text），所以需要指定中文分詞器，不能使用預設的英文分詞器。
Elastic 的分詞器稱為 analyzer。我們對每個欄位指定分詞器。

"user": {  "type": "text",  "analyzer": "ik_max_word",  "search_analyzer": "ik_max_word"}

上面代碼中，analyzer是欄位文本的分詞器，search_analyzer是搜尋字詞的分詞器。ik_max_word分詞器是外掛程式ik提供的，可以對文本進行最大數量的分詞。

五、資料操作
5.1 新增記錄
向指定的 /Index/Type 發送 PUT 請求，就可以在 Index 裡面新增一條記錄。比如，向/accounts/person發送請求，就可以新增一條個人記錄。

$ curl -X PUT 'localhost:9200/accounts/person/1' -d '{  "user": "張三",  "title": "工程師",  "desc": "資料庫管理"}'

伺服器返回的 JSON 對象，會給出 Index、Type、Id、Version 等資訊。

{  "_index":"accounts",  "_type":"person",  "_id":"1",  "_version":1,  "result":"created",  "_shards":{"total":2,"successful":1,"failed":0},  "created":true}

如果你仔細看，會發現請求路徑是/accounts/person/1，最後的1是該條記錄的 Id。它不一定是數字，任一字元串（比如abc）都可以。
新增記錄的時候，也可以不指定 Id，這時要改成 POST 請求。

$ curl -X POST 'localhost:9200/accounts/person' -d '{  "user": "李四",  "title": "工程師",  "desc": "系統管理"}'

上面代碼中，向/accounts/person發出一個 POST 請求，添加一個記錄。這時，伺服器返回的 JSON 對象裡面，_id欄位就是一個隨機字串。

{  "_index":"accounts",  "_type":"person",  "_id":"AV3qGfrC6jMbsbXb6k1p",  "_version":1,  "result":"created",  "_shards":{"total":2,"successful":1,"failed":0},  "created":true}

注意，如果沒有先建立 Index（這個例子是accounts），直接執行上面的命令，Elastic 也不會報錯，而是直接產生指定的 Index。所以，打字的時候要小心，不要寫錯 Index 的名稱。

5.2 查看記錄
向/Index/Type/Id發出 GET 請求，就可以查看這條記錄。

$ curl 'localhost:9200/accounts/person/1?pretty=true'

上面代碼請求查看/accounts/person/1這條記錄，URL 的參數pretty=true表示以易讀的格式返回。
返回的資料中，found欄位表示查詢成功，_source欄位返回原始記錄。

{  "_index" : "accounts",  "_type" : "person",  "_id" : "1",  "_version" : 1,  "found" : true,  "_source" : {    "user" : "張三",    "title" : "工程師",    "desc" : "資料庫管理"  }}

如果 Id 不正確，就查不到資料，found欄位就是false。

$ curl 'localhost:9200/weather/beijing/abc?pretty=true'{  "_index" : "accounts",  "_type" : "person",  "_id" : "abc",  "found" : false}

5.3 刪除記錄
刪除記錄就是發出 DELETE 請求。

$ curl -X DELETE 'localhost:9200/accounts/person/1'

這裡先不要刪除這條記錄，後面還要用到。

5.4 更新記錄
更新記錄就是使用 PUT 請求，重新發送一次資料。

$ curl -X PUT 'localhost:9200/accounts/person/1' -d '{    "user" : "張三",    "title" : "工程師",    "desc" : "資料庫管理，軟體開發"}' {  "_index":"accounts",  "_type":"person",  "_id":"1",  "_version":2,  "result":"updated",  "_shards":{"total":2,"successful":1,"failed":0},  "created":false}

上面代碼中，我們將未經處理資料從”資料庫管理”改成”資料庫管理，軟體開發”。 返回結果裡面，有幾個欄位發生了變化。

"_version" : 2,"result" : "updated","created" : false

可以看到，記錄的 Id 沒變，但是版本（version）從1變成2，操作類型（result）從created變成updated，created欄位變成false，因為這次不是建立記錄。

六、資料查詢
6.1 返回所有記錄
使用 GET 方法，直接請求/Index/Type/_search，就會返回所有記錄。

$ curl 'localhost:9200/accounts/person/_search'{  "took":2,  "timed_out":false,  "_shards":{"total":5,"successful":5,"failed":0},  "hits":{    "total":2,    "max_score":1.0,    "hits":[      {        "_index":"accounts",        "_type":"person",        "_id":"AV3qGfrC6jMbsbXb6k1p",        "_score":1.0,        "_source": {          "user": "李四",          "title": "工程師",          "desc": "系統管理"        }      },      {        "_index":"accounts",        "_type":"person",        "_id":"1",        "_score":1.0,        "_source": {          "user" : "張三",          "title" : "工程師",          "desc" : "資料庫管理，軟體開發"        }      }    ]  }}

上面代碼中，返回結果的 took欄位表示該操作的耗時（單位為毫秒），timed_out欄位表示是否逾時，hits欄位表示命中的記錄，裡面子欄位的含義如下。

total：返回記錄數，本例是2條。max_score：最高的匹配程度，本例是1.0。hits：返回的記錄組成的數組。

返回的記錄中，每條記錄都有一個_score欄位，表示匹配的程式，預設是按照這個欄位降序排列。

6.2 全文檢索搜尋
Elastic 的查詢非常特別，使用自己的查詢文法，要求 GET 請求帶有資料體。

$ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "軟體" }}}'

上面代碼使用 Match 查詢，指定的匹配條件是desc欄位裡麵包含”軟體”這個詞。返回結果如下。

{  "took":3,  "timed_out":false,  "_shards":{"total":5,"successful":5,"failed":0},  "hits":{    "total":1,    "max_score":0.28582606,    "hits":[      {        "_index":"accounts",        "_type":"person",        "_id":"1",        "_score":0.28582606,        "_source": {          "user" : "張三",          "title" : "工程師",          "desc" : "資料庫管理，軟體開發"        }      }    ]  }}

Elastic 預設一次返回10條結果，可以通過size欄位改變這個設定。

$ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "管理" }},  "size": 1}'

上面代碼指定，每次只返回一條結果。
還可以通過from欄位，指定位移。

$ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "管理" }},  "from": 1,  "size": 1}'

上面代碼指定，從位置1開始（預設是從位置0開始），只返回一條結果。

6.3 邏輯運算
如果有多個搜尋索引鍵， Elastic 認為它們是or關係。

$ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "軟體 系統" }}}'

上面程式碼搜尋的是軟體 or 系統。
如果要執行多個關鍵詞的and搜尋，必須使用布爾查詢。

$ curl 'localhost:9200/accounts/person/_search'  -d '{  "query": {    "bool": {      "must": [        { "match": { "desc": "軟體" } },        { "match": { "desc": "系統" } }      ]    }  }}'

七、參考連結

Elasticsearch 官方手冊
A Practical Introduction to Elasticsearch