大資料量業務訂製和解決方案思考

標籤：

大資料量的系統要經過對資料的用處分析和資料周期分析，以尋求更好的解決方案。

1：業務系統的基礎資料，如人員基礎資訊（基礎資料，許可權等）
.資料可以KEEP在記憶體中.資料要分散儲存.基礎資料邏輯要簡潔.使用累加式更新.高峰期來臨前提前更新基礎資料

2：熱資料處理
此部分資料是各方面環境會頻繁使用到的資料對這部分資料的儲存，比如使用不一樣的儲存方式，比如建立高效的索引，使用SSD盤，或者使用mysql資料庫儲存

3：曆史資料的遷移

近期資料此類資料是需要最近頻繁使用或者調用的資料，對OLTP系統而言此類資料是核心資料。
曆史資料此類資料主要做曆史資料查詢或者曆史分析資料，建議遷移出OLTP系統資料庫

4：報表資料的儲存
對報表資料進行資料轉換，從未經處理資料，轉化到訂製資料，再清理 成報表資料

5：資料庫業務拆分 多表資料存放區
將核心業務表進行拆分，既能提高資料庫的效能，還能提高資料的安全

6：索引資料的儲存
無效索引的刪除與索引的定期重建和SSD盤的引入等處理

資料流轉

資料中心
訂製小資料中心 圍繞中樞資料庫

 

資料分發機制
按地區城市等進行資料分發

 

中心資料入庫後的流轉

MYSQL:查詢類系統：如網站的查詢

多套ORACLE:多用途系統：如備份、物流監控，報表等

ORACLE:核心業務系統：資訊流、物流、資金流全流程式控制制系統

大資料分析系統：對曆史資料或者大資料進行分析。

大資料量業務訂製和解決方案思考