大資料.......

來源:互聯網
上載者:User

標籤:

關於大資料,有這樣一段話:

“Big data is like teenage sex,everyone talks about it,nobody really knows how to do it,everyone thinks everyone else is doing it,so everyone claims they are doing it.”

看完這句話,大家對什麼是“大資料”有點概念了嗎?目前,大多數人對大資料的概念還停留在:就是海量的資料,PB(1PB=1024TB)層級的,甚至是 EB、ZB 以上的資料,通過對這些資料進行深入分析,就能得出非常有價值的結論,指引企業做出最佳決策。

大資料就是那種每個人都聽過,或者看過此類文章,但卻不怎麼瞭解的事物。

其實,現在的大資料指的並不僅僅是海量資料,更準確而言是對大資料分析的方法。傳統的資料分析,是通過提出假設然後獲得相應資料,最後通過資料分析來驗證假設。而大資料不是這樣的,大資料是從收集的海量資料中,通過演算法將這些來自不同渠道、格式的資料進行直接分析,從中尋找到資料之間的相關性。簡單而言,大資料更偏重於發現,以及猜測/印證的迴圈逼近過程。

而大資料的價值體現在對它的分析利用上。一直以來,大資料的瓶頸並不是資料規模巨大導致的儲存、運算等問題,而是在前端資料的收集途徑,以及對資料進行結構化處理,進而引導後期的商業決策中的模型和演算法問題。

各個行業都在產生資料,現代社會的資料量正持續地以前所未有的速度增加著。這些不同類型的資料和資料型,極其複雜,包括結構化、半結構化和非結構化的資料。企業需要整合并分析來自複雜的傳統和非傳統資訊源的資料,包括企業內部和外部的資料。隨著感應器、智慧型裝置和社會協同技術的爆炸性增長,資料的類型變得難以計數,包括文本、微博、感應器資料、音頻、視頻等。

而現在大熱的資料分析師正在做的是這樣的工作:收集資訊,將資訊結構化資料化,最後才是我們能看到的大資料帶來的神奇力量。但問題是其中對資料進行處理工作量太大了。根據訪談和專家測算,資料分析師的 50%~80% 的時間都花在了處理資料上。

在智能手環公司 Jawbone 負責資料工作的 Monica Rogati說:

處理資料是整項工作中巨大的部分。但有時我們感到沮喪,因為好像不停地處理資料就是我們做的所有事情。

這聽起來有點像冰山理論,即我們能看到的大資料只是冰山露出來的一個小角,而我們看不到的地方,如大資料的前期工作,就是海水下是更巨大的部分。

但諮詢公司麥肯錫曾在 2011 的報告中指出:

“資料,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對于海量資料的挖掘和運用,預示著新一波生產率增長和消費者盈餘浪潮的到來。”

是的,存在問題的地方也潛藏著機會。未經處理資料的格式和來源不可計數,舉一個例子,假如一家食品行業的企業需要進行大資料的收集和分析,它能收集的資料包括產量、出貨的位置資訊、天氣報告、零售商每日銷售量、社交媒體評論等。而根據這些資訊,企業能夠洞察出市場的風向和需求的變化,進而制定相應的產品計劃。

的確,獲得的資訊越多越有利於企業做出明智的決策。但這個決策是建立在不同的資料集之上的,這些來自各種感應器、文檔、網頁、資料庫的的資料,全部都是不同的格式,它們必須要被轉換為統一的格式,這樣軟體才能理解它們,進行分析。

將各類資料進行格式統一是一個嚴峻的挑戰,因為資料和人類語言一樣都具有模糊性,有些資料人類知道是什麼意思,但電腦卻不能識別,因此我們需要人工來一次又一次地重複這個工作。

現在已經有不少的初創公司試圖開發相關的技術來減輕這項工作,例如ClearStory Data,一家在帕洛阿爾托的初創公司,它開發的軟體能識別不同的資料來源,將它們整合,並將結果用視覺方式呈現,表、圖形或資料地圖。再如Paxata,一家加州的初創公司,專註於資料的自動化——發現、清理、調配資料,通過 Paxata 處理過的資料能被送入各種分析或可視化軟體工具。

大資料目前的情況和電腦發展的軌跡有點相似。一種先進的技術,最初往往只被幾名精英掌握,但隨著時間流逝,通過不斷地技術創新和投資,這項技術,或者說工具,會變得越來越好。特別是當其融入到商業領域中後,這項工具就能得到廣泛應用,成為社會中的主流。

所以我們現在是曆史的見證者,看著大資料如何一步步完善,我們都需要掌握或選擇一個最佳的分析方法,以更好地挖掘出大資料的價值。

繼續探索吧。

著作權聲明:歡迎轉載,希望在你轉載的同時,添加原文地址,謝謝配合

大資料.......

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.