Elasticsearch 2014年10月簡報，elasticsearch

Elasticsearch 2014年10月簡報，elasticsearch
1. Elasticsearch Updates

1.1 發布了Kibana 4 Beta 1 和Beta 1.1

         Kibana 4無論是在介面的布局，使用配置方法，還是底層繪製圖表的方式都與Kibana不同。在Kibana 3的基礎上吸取了眾多社區的功能需求後，Kibana自Kibana 2 大改造成Kibana 3 後第二次做出了重大改變。Kibana真是一直致力於協助使用者解決他們在資料視覺效果上的棘手問題。

        介面由原來的一個`Dashboard`，改為現在的`Discover`, `Visualize`, `Dashboard`三個Tab，再加上`Settings`總共4個不同的Tab。

        Discover : 這個Tab的介面是不是與以前的Kibana 2 很像？面向index的查詢，即搜尋index內容。搜尋方塊中可以輸入`Lucene Query String syntax`或者es的`json格式的query`,而且現在query不在僅僅屬於某個dashboard，現在是全域共用的,而且可以通過URL傳入，連結到某個query變得非常簡單.

        Visualize : 可以使用es的`aggregations`做邏輯複雜多樣化的圖表。(kibana3使用的es的facet,aggregations比它功能多，更複雜)，點擊visualize底部的灰色可以直接看到圖表的未經處理資料，request,response和請求處理時間等相關統計。

        Dashboard : Dashboard還是用來建立一個圖表集的，滿足特定的一類可視化需求，但是它比以前更容易配置和維護。顯而易見，Kibana 4大大增加了圖表和query的可重用性。在Visualize中建立的圖表可以在Dashboard中重用多次。現在，一個Dashboard還可以展示多個index的資料。

        Settings : kibana的一些全域設定

注意：Kibana 3與Kibana 4的schema不相容，Kibana 3的配置不能匯入到Kibana 4中。Kibana 4需要Elasticsearch的版本 >= 1.4.0

1.2 發布了Elasticsearch 1.4.0.Beta1

        這個版本的主要在穩定性和可靠性上做了改進。

        1.2.1 Better node stability through reduced memory usage.

                對最近引入的doc value機製做了大幅改進，用來替換原來的in memory fielddata。doc value是原來存在記憶體中用來做彙總，統計，查詢的欄位的值存在磁碟上，利用 系統核心的filesystem cache來加速對doc value的訪問，使效能接近原來的fielddata。

                增加了對處理單個請求可佔用的記憶體的限制(request circuit breaker)。

        1.2.2 Better cluster stability through improved discovery algorithms.

                修複了諸多使用者在生產環境中遇到的叢集不穩定的問題。並在resiliency status詳細列出了使用者提交的相關問題及它們的修複進度和在生產環境中保護資料的措施。

        1.2.3 Better detection of corrupted data through checksums.

                在shard recovery, merging, transaction log等多處加入Checksums 驗證功能來驗證資料是否損壞。

        1.2.4 其他主要更新

                groovy替換了mvel成為ES預設的指令碼語言來提高安全性和運行效率。
                處於安全性考慮，跨域訪問改為預設關閉。

                新增了3種aggregations類型：filters,children ,scripted_metric 。

        隨著ES中整合的Lucene版本的不斷更新，以後的ES版本中將逐漸不在支援Lucene 3.x的index,所以ES新增了your_index/_upgrade REST API用以將老舊的index轉換為相容最新Lucene的index.

2. Elasticsearch Ecosystem Updates

        2.1 發布了Elasticsearch Hadoop 2.0.2 and 2.1.Beta2

3. Amazing Slides & tutorials &  videos

        playing http tricks with nginx

                使用nginx來做es的proxy,提供持久http連結，load balance, security control（basic http auth, role based auth,oauth)功能

                連結：http://www.elasticsearch.org/blog/playing-http-tricks-nginx/

        deploying the ELK stack using Docker

                用時下流行的app容器docker部署ELK

                連結：https://clusterhq.com/blog/deploying-multi-node-elasticsearch-logstash-kibana-cluster-using-docker/

        Elasticsearch from the Top Down Tracing a Request Down to the Bits

                從Elasticsearch實現底層討論了ES叢集處理index ,query請求的過程。

                連結：https://found.no/foundation/elasticsearch-top-down/

        Building Scalable Search from Scratch with Elasticsearch

                一個基礎詳細的tutorial

                連結：http://www.airpair.com/elasticsearch/posts/elasticsearch-robust-search-functionality

4. Meetups in China

        10月25日，第三屆elasticsearch國內開發人員交流大會。詳細資料：http://www.meetup.com/Elasticsearch-China-Users/events/210253352/。
大會PPT下載：http://pan.baidu.com/s/1i3qsoBF

References:

[1]:  http://www.elasticsearch.org/blog/kibana-4-beta-1-released/ "Kibana 4 Beta 1 released"
[2]: http://www.elasticsearch.org/blog/kibana-4-beta-1-1-pointy-needles-blunted/ "kibana 4 beta 1.1: pointy needles blunted "
[3]: http://www.elasticsearch.org/blog/elasticsearch-1-4-0-beta-released/ "Elasticsearch 1.4.0.Beta1 released"
[4]: http://www.elasticsearch.org/guide/en/elasticsearch/resiliency/current/index.html "resiliency status"
[5]: http://www.elasticsearch.org/blog/scripting/ "all about scripting"
[6]: http://www.elasticsearch.org/blog/elasticsearch-hadoop-2-0-2-and-2-1-beta2/ "Elasticsearch Hadoop 2.0.2 and 2.1.Beta2 released"
[7]: http://www.elasticsearch.org/blog/2014-10-08-this-week-in-elasticsearch/ "This week in Elasticsearch October 8, 2014"
[8]: http://www.elasticsearch.org/blog/2014-10-15-this-week-in-elasticsearch/ "This week in Elasticsearch October 15, 2014"
[9]: http://www.elasticsearch.org/blog/2014-10-22-this-week-in-elasticsearch/ "This Week in ElasticsearchOctober 22, 2014"
[10]: http://www.elasticsearch.org/blog/2014-10-29-this-week-in-elasticsearch/ "This week in ElasticsearchOctober 29, 2014"
[11]: http://www.elasticsearch.org/blog/playing-http-tricks-nginx/ "playing http tricks with nginx"
[12]: https://clusterhq.com/blog/deploying-multi-node-elasticsearch-logstash-kibana-cluster-using-docker/ "deploying the ELK stack using Docker"
[13]: https://found.no/foundation/elasticsearch-top-down/ "Elasticsearch from the Top Down Tracing a Request Down to the Bits"
[14]: http://www.airpair.com/elasticsearch/posts/elasticsearch-robust-search-functionality "Building Scalable Search from Scratch with Elasticsearch"

轉載本文請註明作者和出處[Gary的影響力]http://garyelephant.me，請勿用於任何商業用途！
Author: Gary Gao( garygaowork[at]gmail.com) 關注互連網、分布式、高效能、NoSQL、自動化、軟體團隊