中小企業的大資料技術路線選擇(二)-Cassandra+Presto方案

標籤：

中小企業的大資料技術路線選擇(二)-Cassandra+Presto方案

        我前面曾經寫過：中小企業的大資料技術路線選擇 和 低調、奢華、有內涵的敏捷式大資料方案：Flume+Cassandra+Presto+SpagoBI 。
        最近用了兩個月的時間終於把Cassandra+Presto+SpagoBI方案驗證通過了。驗證了Presto的JDBC Driver 、Prestogres網關、SHIB三種方式。
        一、Presto JDBC驅動方案
        Presto JDBC驅動方案，Java動用用戶端，如dbeaver可以使用Presto JDBC驅動訪問，執行SQL語句。這其中要注意的問題是：需要添加“user.timezone=Shanghai/ASIA”參數。
       在自己寫程式調用Presto JDBC驅動時，需要注意現在的版本已經是獨立版本，不再需要調用引用Jar包。此外，也需要設定“user.timezone=Shanghai/ASIA”.。我在這個問題糾結了很久。
       此外，需注意SpagoBI無法使用Presto JDBC驅動程式，只能使用Prestogres網關方案。
       二、Prestogres網關方案
       使用Prestogres網關方案時，需注意protocolVersion=2。這一步，我也是摸索了很久才找到串連一直無法測試成功的原因。SpagoBI測試成功後，PostgreSQL用戶端也可以訪問Presto了。
     三、SHIB方案
     SHIB方案安裝配置簡單，很容易成功。但使用SHIB後，發現介面粗糙，功能太簡單，難以在實際生產中使用。
     四、總結
     以上幾種方案中，Prestogres網關方案，可以使用PostgreSQL 用戶端和JDBC驅動，支援SpagoBI等BI工具。但這種方式架構複雜，可能有效能瓶頸，無法發揮該方案的優勢。SHIB現在代碼量較小，在Team中有報表開發經驗的成員即可上手。如果時間和人力允許，開發一個輕量級的Bigdata BI也是可能的。我更推薦使用SHIB+定製開發的模式。
     我已經在準備在實際項目中使用，希望有興趣的朋友可以一起研究下。

中小企業的大資料技術路線選擇(二)-Cassandra+Presto方案