挨踢部落第一期：Spark離線分析維度

標籤：大資料 spark 資料分析 資料畫像

活動說明：挨踢部落是為核心開發人員提供深度技術交流，解決開發需求，資源共用的服務社群。基於此社群，我們邀請了業界技術大咖對開發需求進行一對一突破，解除開發過程中的絆腳石。以最專業、最高效的回覆為開發人員解決開發難題。

650) this.width=650;" src="http://s2.51cto.com/wyfs02/M01/8C/3B/wKioL1hmBRbBHli-AAEri6Pl9Wo956.jpg-wh_500x0-wm_3-wmp_4-s_3259865936.jpg" title="7.jpg" alt="wKioL1hmBRbBHli-AAEri6Pl9Wo956.jpg-wh_50" />

話題關鍵詞： 大資料  spark  資料分析  資料畫像

部落陣容：徐韜，龍珠直播大資料主管；王勁，數果科技 聯合創始人；

物件導向：初級開發工程師，資料分析師，營運工程師

參與方式：加入51CTO開發人員QQ交流群 370892523 ，有任何技術問題，在群裡提問，或發給群主小官。

活動詳情：

南京-史國俊-Java：有沒有Spark學習的相關資料？

徐韜：建議學習Spark官方文檔，其他的Spark書籍可能會跟不上Spark技術的更新。

北京-robingao –Java：用Spark做離線分析，Nginx 日誌一般從那些維度怎麼分析，具體都看什麼維度？

徐韜：建議離線分析用Hive + map/reduce 比Spark 更穩定。Nginx日誌一般用作流量監控，營運警示，有很強的時效性，可以使用Spark-Streaming。指標：線上人數，使用者訪問數量，流量使用方式，介面錯誤情況，慢查詢數量，伺服器狀態。維度：按網站，按模組拆分。還可以做一些輕量級的使用者行為分析，如使用者訪問路徑。

北京-robingao –Java：有做客戶畫像方面的分享嗎？具體點的。

徐韜：使用者畫像就是給使用者“打標籤”。使用者畫像可以分為靜態標籤，動態標籤。靜態標籤是很少更新的指標或者是幾乎不變的指標，比如使用者的個人資訊。動態標籤是使用者的行為標籤,比如直播站的喜好類目。通過使用者行為日誌和交易流水資料打上的標籤 ，一些網站/APP 只有少量的使用者個人資訊，但是通過打點可以獲得海量的使用者行為日誌，我們可以通過群集預測使用者的性別，年齡段，所在城市類型，工作類型等。直播站的一些比較有特點標籤有：喜愛主播，習慣上線時段，簽到型使用者等等。

南京-史國俊-Java：假如要同時向Spark叢集提交多條SQL，能否不採用Spark-submit方式來實現？

徐韜：建議在Spark-SQL用戶端裡提交。

重慶-小包-Android：流媒體方面的，想瞭解下Android方面有關於流媒體的案例，比如視頻語音流這類的？

徐韜：這個題目太大了，和直播相關的案例有直播回放，連麥，H5直播播放器。

廣州-趙輝-大資料：大資料的多來源資料融合的價值？

王勁：如果大資料不做跨界多源融合，資料的價值很有限，也體現不出大資料的真正核心價值。其中在金融，電商，保險等行業會更能體現多來源資料融合的價值。

珠海-小源-Java：51CTO有沒有做大資料相關的專題？

51CTO：有的，可以訂閱大資料期刊，訂閱的方法：在家園裡面，個人首頁——我的訂閱這裡。例如：大資料新動向；一切盡在大資料；大資料世界之旅高端訪談；小團隊如何玩轉大資料。

珠海-小源-Java：安全相關的專題有提供嗎？

51CTO：安全專題例如：HPE安全——“功夫熊貓”背後的資料保鏢；聚焦美網路癱瘓事件，物聯網安全發人深省；2016國家網路安全宣傳周專題報道；第十一屆(ISC)2亞太地區資訊安全峰會專題報道；避免勒索軟體攻擊 仍需預防為上。

北京-楊凱-網路工程師：想瞭解雲端運算方面的知識

51CTO：可以參考這篇來學習re:Invent 2016----AWS的五大雲端運算超能力。

南京-小胖- Android：雲端運算與大資料之間的關係

51CTO： 雲端運算的特點：通過對計算、網路和儲存資源的動態調度及應用的快速部署，通過虛擬技術提高資訊化裝置的利用率，實現節約資源、提高效率、集中管理、資訊共用和節約財政支出等目的。雲端運算平台主要部署各類應用系統、儲存海量資料，為電子政務、社會管理、公眾服務等提供服務。大資料的特點：通過Hadoop等分散式運算架構，通過ETL等工具，從雲端運算平台中抽取海量資料，根據設定的目標進行跨部門、跨行業等大資料分析、建模及驗證等工作。大資料分析的結果通過雲端運算平台進行發布，並給相關單位提供服務、為領導決策提供支撐。

您對這些解答方案是否仍有疑問？歡迎加51CTO開發人員QQ交流群 370892523 討論。

下期活動預告：12月26日

關鍵詞：移動  android 物聯網  前端

挨踢部落第一期：Spark離線分析維度