大資料發展時代：七個挑戰和八大趨勢

大資料挑戰和機遇並存，大資料在未來幾年的發展將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段，大資料在未來幾年將逐漸步入理性發展期。 未來的大資料發展依然存在諸多挑戰，但前景依然非常樂觀。 大資料發展的挑戰目前大資料的發展依然存在諸多挑戰，包括七大方面的挑戰：營業單位沒有清晰的大資料需求導致資料資產逐漸流失；企業內部資料孤島嚴重，導致資料價值不能充分挖掘；資料可用性低，資料品質差，導致資料無法利用 ；資料相關管理技術和架構落後，導致不具備大資料處理能力；資料安全能力和防範意識差，導致資料洩露；大資料人才缺乏導致大資料工作難以開展；大資料越開放越有價值，但缺乏大資料相關的政策法規，導致資料開放和隱私之間難以平衡， 也難以更好的開放。 挑戰一：營業單位沒有清晰的大資料需求很多企業營業單位不了解大資料，也不了解大資料的應用場景和價值，因此難以提出大資料的準確需求。 由於營業單位需求不清晰，大資料部門又是非盈利部門，企業決策層擔心投入比較多的成本，導致了很多企業在搭建大資料部門時猶豫不決，或者很多企業都處於觀望嘗試的態度，從根本上影響了企業在大資料方向的發展， 也阻礙了企業積累和挖掘自身的資料資產，甚至由於資料沒有應用場景，刪除很多有價值歷史資料，導致企業資料資產流失。 因此，這方面需要大資料從業者和專家一起，推動和分享大資料應用場景，讓更多的業務人員瞭解大資料的價值。 挑戰二：企業內部資料孤島嚴重企業啟動大資料最重要的挑戰是資料的碎片化。 在很多企業中尤其是大型的企業，資料常常散落在不同部門，而且這些資料存在不同的資料倉儲中，不同部門的資料技術也有可能不一樣，這導致企業內部自己的資料都沒法打通。 如果不打通這些資料，大資料的價值則非常難挖掘。 大資料需要不同資料的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。 如何將不同部門的資料打通，並且實現技術和工具共用，才能更好的發揮企業大資料的價值。 挑戰三：資料可用性低，資料品質差很多中型以及大型企業，每時每刻也都在產生大量的資料，但很多企業在大資料的預處理階段很不重視，導致資料處理很不規範。 大資料預處理階段需要抽取資料把資料轉化為方便處理的資料類型，對資料進行清洗和去噪，以提取有效的資料等操作。 甚至很多企業在資料的上報就出現很多不規範不合理的情況。 以上種種原因，導致企業的資料的可用性差，資料品質差，資料不准確。 而大資料的意義不僅僅是要收集規模龐大的資料資訊，還有對收集到的資料進行很好的預處理處理，才有可能讓資料分析和資料採礦人員從可用性高的大資料中提取有價值的資訊。 Sybase的資料表明，高品質的資料的資料應用可以顯著提升企業的商業表現，資料可用性提高10%，企業的業績至少提升在10%以上。 挑戰四：資料相關管理技術和架構技術架構的挑戰包含以下幾方面：（1）傳統的資料庫部署不能處理TB級別的資料，快速增長的資料量超越了傳統資料庫的管理能力。 如何構建分散式的資料倉儲，並可以方便擴展大量的伺服器成為很多傳統企業的挑戰；（2）很多企業採用傳統的資料庫技術，在設計的開始就沒有考慮資料類別的多樣性，尤其是對結構化資料、半結構化和非結構化資料的相容 ；（3）傳統企業的資料庫，對資料處理時間要求不高，這些資料的統計結果往往滯後一天或兩天才能統計出來。 但大資料需要即時處理資料，進行分鐘級甚至是秒級計算。 傳統的資料庫架構師缺乏即時資料處理的能力；（4）海量的資料需要很好的網路架構，需要強大的資料中心來支撐，資料中心的運維工作也將成為挑戰。 如何在保證資料穩定、支援高併發的同時，減少伺服器的低負載情況，成為海量資料中心運維的一個重點工作。 挑戰五：資料安全網路化生活使得犯罪分子更容易獲得關於人的資訊，也有了更多不易被追蹤和防範的犯罪手段，可能會出現更高明的騙局。 如何保證使用者的資訊安全成為大資料時代非常重要的課題。 線上資料越來越多，駭客犯罪的動機比以往都來的強烈，一些知名網站密碼洩露、系統漏洞導致使用者資料被盜等個人敏感資訊洩露事件已經警醒我們，要加強大資料網路安全的建設。 另外，大資料的不斷增加，對資料存儲的物理安全性要求會越來越高，從而對資料的多副本與容災機制也提出更高的要求。 目前很多傳統企業的資料安全令人擔憂。 挑戰六：大資料人才缺乏大資料建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支掌握大資料技術、懂管理、有大資料應用經驗的大資料建設專業隊伍。 目前大資料相關人才的欠缺將阻礙大資料超市發展。 據Gartner預測，到2015年，全球將新增440萬個與大資料相關的工作崗位，且會有25%的組織設立首席資料官職位。 大資料的相關職位需要的是複合型人才，能夠對數學、統計學、資料分析、機器學習和自然語言處理等多方面知識綜合掌控。 未來，大資料將會出現約100萬的人才缺口，在各個行業大資料中高端人才都會成為最炙手可熱的人才，涵蓋了大資料的資料開發工程師、大資料分析師、資料架構師、大資料後臺開發工程師、演算法工程師等多個方向。 因此需要高校和企業共同努力去培養和挖掘。 目前最大的問題是很多高校缺乏大資料，所以擁有大資料的企業應該與學校聯合培養人才。