資料分析要會寫代碼

這是一個建立於 的文章，其中的資訊可能已經有所發展或是發生改變。

最近工作任務有些忙，主要是各個部門的資料分析需求再加上APP後端效能最佳化擠到一塊兒去了。

之前的資料相關工作主要是被動式的，各個部門把資料分析的需求給出來，然後一個人從ES或者Hadoop中對資料進行分析，最終用tableau畫圖，然後通過Keynote匯出成pdf，通過郵件反饋回去。

近期通過了一個提案，就是開發一個內部使用的大資料開放平台，在Web上輸入某個關鍵字，就可以返回相關的資訊和分析結果。將自己從很多的手工分析中解放出來。

任務比較急，從零到上線只給一個月時間，而且只有我一個開發人員，還不能耽誤平時的正常工作。

所以權衡下來，初步選擇基於tableau server提供的Restful API，將後台預先產生的圖返回到Web前端。同時會從Redis中擷取一個即時計算的資料以及Mysql中擷取一些文本類的資訊展示。

Nginx主要是用來做安全控制，只允許公司內網使用，這樣就不需要帳號登入模組了。

總的架構：

今天升級了一下tableau server到最新版本，可以基於Http Restful API來下載視圖的高清圖片了。幸好今天升級了，還有不到一個月維護的License就到期了，到時候就無法升級了。而低版本的tableau server提供的API比較弱，完全沒法滿足初步的需求。

前端會提供一個簡單的搜尋方塊，然後搜尋的內容和圖片會顯示在下面，第一版本暫時不會提供資料的匯出功能。

目前是基於Python快速搭建一個Demo出來，等到Demo搭建的差不多了，打算使用Golang來做為後台，主要的考慮是順便撿起遺失已久的Golang。