一線使用者談大資料面臨的最大挑戰

Klout公司正在利用資料分析來瞭解人們在社交網路的影響力，該公司首席技術官Virendra Vase表示：「我們基本上是位於社交網路上面，收集所有資訊，説明人們理解以及認識其影響力。 」

這個工作每天需要處理來自超過4億使用者的120億資料信號，Klout的大資料環境包括開源平臺Hadoop、以及Hbase、Hive、ElasticSearch、Scala、Storm、Node.js和其他工具。

Virendra Vase

Rachel Higham

Vase最近談到了Klout學到的一些大資料教訓。 保險公司ACE Group公司首席企業架構師Rachel Higham，Tenet Healthcare公司消費類應用程式副總裁Brian Barnes也分享了他們的大資料技巧、竅門以及遇到的問題， 下面讓我們來看看他們分享的內容：

資料量使測試、存儲和計算複雜化

龐大的資料量使測試成為一個挑戰。 處理非結構化資料格式和社交媒體匯出的資料(例如140個字元的微薄)也不是簡單的事情。 當涉及存儲時，更多的資料並不總是更好。 他提醒說：「我們必須要弄清楚：我們需要保存什麼樣的資料?我們需要歸檔哪些資料。 在最後，並不是關於資料，而是關於我們如何分析資料。 」

技術成熟度是一個挑戰

Vase警告說，很多大資料技術仍然在開發中。 雖然這些基礎技術正在日趨完善，但用於管理和配置的工具仍然處於起步階段，這讓IT專業人士不得不應對這種差距。 他表示：「我們需要從管理的角度、從工作流程的角度、從配置的角度來開發攻擊。 」

模組化

對於Klout來說，模組化的基礎設施很重要，因為這允許IT團隊處理業務優先順序變化，並提供業務透明度。 他重申，企業需要投資于管理和生產力工具。 「這正是我們的20%和25%工程資源側重的地方--生產力工具和工作流程管理。 」

努力發現人才

大資料工具正在快速發展，而供應商支援並沒有完全到位，這使得尋找大資料人才成為挑戰。 「我們很難找到人才，我們只能聘請優秀的工程師，並對他們進行培訓。 」

大資料專家與業務專家合作

我們經常談到讓大資料專家與產品專家以及業務專家緊密合作，但這說起來比做起來容易，這件事情仍然難以貫徹，但雙方都需要瞭解另一方。

ACE集團已經很善於利用大資料分析來發現風險和欺詐模式，識別新的商業機會，以及瞭解客戶情緒。 Higham表示：「我認為我們學到的最大經驗是：在企業內傳達我們的意圖、願景以及成功案例」。

定義一個願景，教育領導班子

「我們花了很多時間來發現大資料可運用的領域，例如在我們的承保和理賠流程中，並向營業單位進行解釋，」Higham表示，「這為我們確定了兩個概念證明，現在我們已經運用到更多領域，並且進一步運用一些大資料工具和技術。 」

建立督導組

ACE集團的督導委員會負責領導該公司的大資料項目目，令人驚訝的是，其中並不完全是技術人員。 「其中包含4名技術人員以及大約20名企業領導。 」

在開始專案前，配備資料和人才

Higham表示：「我們投資的關鍵事情之一就是在開始專案之前，準備技能和資源，如果沒有這些，我們將無法為業務提供價值。 」

散佈企業內的人才

ACE集團的大資料專家分散在整個企業，「我們在整個企業都建立了核心競爭力，在企業中配備了新的技能人才，包括統計人員、資料篩選人員、資料分析師、流程專家等。 這種協作能夠説明我們收集資源、分享技能，以及不斷發展和創新。 」

不要低估供應商管理或者系統集成

對於Vanguard Health Systems而言，大資料分析的最好方法是利用8個供應商的方法，「我們使用8家供應商的解決方案，因為沒有供應商提供即用的解決方案。 」供應商管理是一個挑戰，集成所有不同系統也是挑戰。

單獨評估投資回報率

美國第二大醫療保健網路Tenet Healthcare利用大資料分析來改進和驗證行銷活動的有效性。 當大資料取得成功時，每個人都希望成為其中的一部分。 「當你部署大資料項目目後，你會開始給企業帶來新的收入，然後企業其他團隊也會跳出來說這是他們帶來的收入。 」對於其團隊而言，首席財務官能夠説明解決這個問題，他們能夠單獨提供大資料項目目的投資回報率。

(責任編輯：蒙遺善)