“資料移轉”考慮

標籤：

 

1、hortonwork 和 cloudera 比較

  除了功能，還需要對維護效能進行比較

 

2、環境部署需要細化

  部署哪些組件

  部署哪些webservice服務

  各節點之間如何規劃

  記憶體磁碟資源如何分配

  是否開啟組件高可用

  若開啟組件高可用，是否考慮部署2套zookeeper

  離線叢集與線上叢集如何互連

 

3、巨量資料元件中儲存列表應該列出

  列出儲存的表

  給出各表的資料邏輯，即從和資料來源來，可如何使用

  是否需要考慮曆史資料，是否考慮使用拉鏈表

 

4、資料移轉方案需要最佳化

  遷移時是否需要停服務  （NO）

  哪些資料需要遷移，哪些可以考慮不遷移

  mysql中的資料如何遷移

  hive、hbase、hdfs中資料如何遷移

  為什麼使用sqoop

  為什麼不用distcp

  遷移的期間預估

  遷移後如何進行驗證

 

“資料移轉”考慮