查詢MYSQL和查詢HBASE速度比較

標籤：style   blog   http   ar   os   sp   strong   檔案   on   

 

Mysql，關係型資料庫；

HBase，NoSql資料庫。

查詢Mysql和查詢HBase，到底哪個速度快呢？

與一些真正的大牛討論時，他們說HBase寫入速度，可以達到每秒1W。而HBase的理想速度為每秒10W。

來個實驗說明一下，此實驗只能表明，當前環境下運行狀態。我的實驗效果，沒有到1W，還在最佳化中…

 

環境：

有3台虛擬機器，運行Hadoop叢集；3台虛擬機器也在跑HBase：master，node1，node2

master上，同時安裝了Mysql資料庫。

目前有這樣一個需求：

有一堆文字檔，每個文字檔內，儲存著日誌；

每一行為一條記錄；

現在需要，逐行讀取記錄，並根據記錄中的mac地址和sn號，去從HBase或Mysql中，擷取帳號資訊。

然後合并成一條記錄，寫入HBase的“SHUJU”表內。

 

Mysql表結構：

id,mac,sn,addtime,account

HBase表結構：

ROWKEY為mac+sn，mac，sn，account，addtime

 

測試效果如下：

每隔一分鐘，執行一次count操作，統計當前資料條數。

select count(1) from SHUJU

結果如下

=====================================

Mysql上，第一次測試。

開始時間11:03:15

28135（條數）

39014

49659

264564

274379

285174（條數）

結束時間11.26.15

285174 – 28135 = 257039

257039 / 23 = 11 175.608695652

也是1W以上。。。

=====================================

查詢的 HBase庫

開始時間14:43:00

5622（條數）

16671

25062

34848

46652

58001

69690

79908（條數）

結束 14:50:00

79908 – 5622 = 74 286

74286 /7 = 10 612 每分鐘個數。

=====================================

mysql

開始 14:58:30

19248（條數）

26526

36389

45837

51945

62497

72319

82695（條數）

結束時間：15:04:30

間隔 七分鐘

82695 – 19248 = 63 447

93447 / 7 = 9 063.8571428571

======================================

可以看出在HBase中速度，比mysql中速度略快一點。

但是總的速度，還是有待提高。。。

 

文章來自： 大牛筆記

CSDN部落格地址：http://blog.csdn.net/weixuehao/article/details/41647185

部落格園部落格地址：http://www.cnblogs.com/laov/p/4134998.html

查詢MYSQL和查詢HBASE速度比較