【TechTarget中國原創】 大資料解 決方案的實施讓很多的IT部門面臨困境。 大資料應用程式並不需要如支援小組做應用程式一樣的基礎架構。 隨著企業接受大資料,管理層會假設員工規模會減少。 而那些非必要的技術人員應該做什麼呢? 一個答案就是:將其轉換為技術顧問,與營業單位進行協作。 換句話說,就是給予他們面向客戶的角色。
大資料之後資訊技術的狀態
大資料革命已然過去,這讓資訊技術(IT)企業不同程度的採用了新技術。 有些完全接受了大資料存儲和複雜分析的概念,並採用了最佳實踐和成熟的專案管理方法。 結果是:形成了關於產品,銷售,訂單及最重要的客戶的分析寶庫。
而其他的使用者則沒有如此幸運。 可能他們所購買的特定供應商的解決方案並不包含完整的規劃,或是可能中層管理人員並沒有準備好為成功的解決方案投入必要的成熟資源。 結果便是:半組織化的資訊集合,少數分析解決方案,並且這種想法會在某天以某種方式讓其付出代價。
與此同時,資料庫管理員,系統程式師,以及其他技術專家和主題專家處在一個後大資料時代。 軟硬體安裝及配置已經完成,概念驗證和試點程式已交付給最先的內 部客戶。 大多數軟硬體混合大資料解決方案都不要求內部調優:分析查詢執行非常快,而且商務分析師正對探索和調查尋找有用資訊翹首以待。
還剩下什麼留給技術人員去做呢?
當前的基礎架構團隊
首先,我們來考慮多面手。 新手DBA和系統程式師在這個類別起步,只是發展專業技能並在他們之後的職業生涯中加深知識。 他們最好的角色往往是明確定義好的,標準化的流程。 這些包括:
管理資料庫備份和恢復流程;監視並檢測災害復原準備;實施自我分析和自我調優流程(有時稱之為自治); SQL查詢調優,包括Explains和訪問路徑分析;資料庫性能調優;測試生產物件和資料移轉;監視資料庫日誌以發現錯誤和問題。
在新環境中,很多這些流程是多餘的或不必要的。 鑒於大資料分析解決方案的速度,SQL查詢調優在大多數情況下可能是不必要的。 對於資料庫性能調優同樣如 此,因為很多供應商的軟硬體混合解決方案(有時稱之為設備)是在沒有任何內部性能調優的功能條件下交付的。 這就使得輔助人員更加容易的完成工作。
結果就是:在後大資料時代的IT企業中不再需要多面手。
接下來,讓我們考慮專家。 他們專門負責處理複雜工作:
系統和網路性能調優;軟體安裝和版本遷移;為要徑任務應用程式做首要技術支援;協助和管理資料架構變更;對潛在供應商工具執行基準測試。
隨著IT企業接受大資料分析,需要專家做的事會更少,這意味著專家需求量會減少。
在後大資料時代的基礎架構支援
IT專家和多面手必須將他們的注意力轉移到內部使用者上來,他們會面臨許多的技術問題。 以下是他們最為緊迫的一些問題。
大資料性能。 隨著大資料應用程式價值的增長,商務分析師對分析的使用會劇增。 更多的查詢會產生可操作的結果,生成常規報表。 使用者會要求時間跨度更大,地理區域更大的更多資料。 最終,大量使用者和查詢會壓垮你的大資料應用程式。
專家應該注意增加內部使用者應用程式的知識。 他們需要什麼資料,他們什麼時候需要,以及誰會使用這些結果? 專家會在一些應用程式領域變為主題專家,作為內部顧問,以及會在諸如查詢效率和類似資料集之類的高級分析方法提供問題諮詢,進而提升他們的價值。
多面手可以在他們的環境中通過收集效能資料和使用統計資訊來提供有價值的服務。 這些資料可能會用於對查詢類別進行優先順序的劃分。 例如,當資源利用較低時,低優先順序查詢會推遲處理。
企業資料模型。 隨著存儲了越來越多的資料,擁有一個有組織的資料字典和資料模型變得尤為重要。 試問如果不知道擁有什麼樣的資料,又如何有效的進行查詢呢?
專家,特別是資料庫管理員,應該已經意識到資料建模概念並且應該擁有多重應用程式和系統的知識。 現在可以利用這些知識來協助商務分析師進行最初的分析定義和查詢構建。
多面手可以作為應用程式調查員來提供服務,給出資料元素的清單並進行分類和確認資料屬性和來源。
大資料技術。 大資料並不只是關於使用者姓名,帳號,以及存款等。 雖然這些常見的業務資料可以包括在大資料解決方案中,但是還有更為有趣的資料元素和資料類型可以探索:
還有諸如大型物件(LOBs)之類的新型複雜資料類型。
諸如可擴展標記語言(XML)的自我描述型資料正變為內部應用程式資料傳輸事實上的標準。 很多文檔和資料記錄都以XML格式存儲,因為它們可以通過多種跨平臺應用程式進行讀取。
多重結構資料在捕獲使用者網站行為的時候是很常見的。 所謂的點擊流為追蹤網站訪問者做了什麼和他們訪問了什麼資料,以及他們的偏好資料提供了方法。
這些新資料類型中的有些會讓商務分析師感到困惑。 專家和多面手都可以為參考和回答問題以及為新資料類型的展示和如何對它們進行最佳利用等提供服務
對過渡進行管理
支援經理應該找到相對簡便的方法為他們的員工在過渡上提供説明。
一些多面手會在最初服務于特定的內部使用者,以在資料需求定義上為他們提供服務。 然後這可以擴展到更多的技術角色上來,包括分析執行或是結果分析等。 甚至將多面手轉移至業務線也是值得考慮的。
很多專家會繼續處理技術相關的問題,諸如性能和調優。 一些會在高級分析選項,方法和分析新資料類型等方面提供內部諮詢。 管理層必須讓這些專家在工作中保持主動,否則就要承受他們流失去其他類似企業的風險。
總結
基礎架構支援小組成功的經受了大資料的洗禮,並且最有可能負責了許多應用程式的成功實施。 但是,這一結果就導致對於IT支援人員需求不可避免的減少。 IT 專家和多面手必須通過學習內部業務線和讓他們自己熟悉當前的業務資料需求來擴展他們的技能。 假設一個面向使用者的角色可能是他們僅有的長期職業生涯選擇。
【TechTarget中國原創內容,版權所有,授權中國大資料發佈】