第53課：Hive 第一課：Hive的價值、Hive的架構設計簡介

標籤：hive 簡介

一、 Hive的曆史價值

1， 大資料因Hadoop而知名，而Hadoop又因Hive而實用。Hive是Hadoop上的Killer Application，Hive是Hadoop上的資料倉儲，同時Hive兼具有資料倉儲中的儲存和查詢引擎。而Spark SQL是一個更加出色和進階的查詢引擎，並不提供儲存功能。所以Spark SQL無法取代Hive，在現在企業級應用中Spark SQL+Hive成為了業界使用的大資料最為高效和流行的趨勢。

2，Hive是Facebook推出的，主要是為了讓不懂java的工程師也能通過SQL來駕馭Hadoop叢集進行資料分布式資料的多維度分析，甚至你可以只通過Web介面來直接操作Hive；

3，Hive的核心是把自己的SQL語言即HQL翻譯成MapReduce代碼，然後交給Hadoop叢集執行，也就是說Hive本身是一個單機版本的軟體！！！

4， 由於是用過寫SQL來完成業務需求的，所以相對於編程MapReduce而言，非常的簡單和靈活，能夠非常輕易的滿足業務的需要和多變的情境；

5， Hive幾乎存在於一切使用大資料的公司中！

二、 Hive的架構設計

1，Hive的架構圖如下：

650) this.width=650;" src="http://s2.51cto.com/wyfs02/M00/7D/55/wKioL1bmWinCrlXXAABz8usKgU8418.jpg" title="263dd81b9d16fdfa13bcc9d8b78f8c5495ee7b02.jpg" alt="wKioL1bmWinCrlXXAABz8usKgU8418.jpg" />

2， 可以通過很多的方式串連到Hive中，Hive安裝時只需在一台機器上安裝。

3, Metastore（Hive中有哪些資料庫，哪些表，表中有哪些列及其資料類型）；Hive的中繼資料，預設儲存在Derby中，但是Derby只支援單使用者，所以一般情況下使用MySQL資料庫來儲存Hive的中繼資料。

4， Hive要操作的資料本身由Hive的設定檔來決定，生產環境下該資料位元於HDFS上（其實也就是HDFS上的普通檔案，只不過安裝Hive的方式進行組織）；

5，從Hive的角度看，資料就是一張張表，我們操作就是基於SQL的多維度查詢Table 。

6，人們一直努力用Hive來取代傳統的資料倉儲（伸縮性，擴充性），但是以失敗告終！因為Hive太慢了。所以業界目前趨勢上的黃金組合是使用Hive（資料倉儲的儲存引擎）+Spark SQL(分布式分析計算查詢引擎)

7，HQL會被Hive解釋最佳化，並產生查詢計劃，一般情況下而言查詢計劃會被轉化成MapReduce任務。但是型如select * from table 不會轉化為MapReduce任務。

8，Hive沒有索引（類似於傳統資料庫中的索引）！！

索引是標準的資料庫技術，hive 0.7版本之後支援索引。Hive提供有限的索引功能，這不像傳統的關係型資料庫那樣有“鍵(key)”的概念，使用者可以在某些列上建立索引來加速某些操作，給一個表建立的索引資料被儲存在另外的表中。 Hive的索引功能現在還相對較晚，提供的選項還較少。但是，索引被設計為可使用內建的可插拔的java代碼來定製，使用者可以擴充這個功能來滿足自己的需求。 當然不是說有的查詢都會受惠於Hive索引。使用者可以使用EXPLAIN文法來分析HiveQL語句是否可以使用索引來提升使用者查詢的效能。像RDBMS中的索引一樣，需要評估索引建立的是否合理，畢竟，索引需要更多的磁碟空間，並且建立維護索引也會有一定的代價。 使用者必須要權衡從索引得到的好處和代價。

本文出自 “叮咚” 部落格，請務必保留此出處http://lqding.blog.51cto.com/9123978/1750882

第53課：Hive 第一課：Hive的價值、Hive的架構設計簡介