7月13日在北京亮馬河飯店舉行的第二屆「大資料世界論壇」 (BDWF 2012)顯示,業界的資料庫、晶片、存儲和資料分析和管理的廠商們,都積極提出了自家的大資料解決方案,而大資料技術在金融、證券、電信、 互聯網各行業的剛性需求明顯,但實際的應用仍處在探索之中。 企業和供應商都不可忽略的是,掘金大資料的同時,要如何防範仍存在的風險。
現在應對大資料,可以以高可用高可靠高可擴充性的基礎架構,和高性能的分析系統來應對,然而,談大資料的風險,談資料採礦,它的效果到底多好? 事實上是需要得到驗證的。 規避大資料的風險,即不能盲目跟風,特別要明確實施大資料的目標,要有切實可行的規劃,此外要有足夠好的資料品質。
大資料的「第四V」——價值
資料規模大、處理速度快和資料種類繁多(volume, velocity, variability)——這是大資料知名的3V特徵。 不過,現在專家們明確給大資料大家上第四個V——Value,即企業要實現的是大資料的價值。
由於3V的存在,第四V的實現,必然需要新的技術,這也是大資料概念風靡的原因。 獲得價值,需要構建一套更靈活、更強力的資料管理系統,不僅資料庫、資料分析技術要改進,底層架構也需要適時改變。
微軟亞太研發集團首席技術官孫博凱認為,大資料端到端的生命週期,可分成三步:管理資料、獲取存儲以及保護資料。 大資料不僅需要管理資料,更要獲取資料豐富的資料,不管是關聯式,非關聯式還有流線型,最終從資料中得到洞察力。
SAS軟體研究開發(北京)有限公司總經理劉政表示,大資料時代,要求存放裝置和存儲方式改變,存儲資料是為了查詢,但僅查詢,不分析就是極大的浪費。 而傳統的分析能力不能及時處理大資料,也就是說,大資料時代,高性能分析是關鍵。 劉政提出了通過工作量分配到不同機器的網格計算、把分析過程放到資料庫內的內分析和把資料和分析方法放到記憶體中執行的記憶體分析三種方式,形成大資料分析所需要的高性能分析能力。
英特爾(中國)有限公司行業合作與解決方案部中國區總監淩琦表示,三個V之後的value,是對已有關系型資料分析的充分補充,分析引擎必須有能力分析關聯式和非關聯式的資料。 他認為,傳統SAN、NAS已經不適應大資料的處理,當前更需要scale-out存儲架構,同時還需要即時的資料流程處理——也就是需要高性能分析能力,這需要高性能分析處理器的支援。
甲骨文大中華區技術總經理喻思成則認為,大資料可能只是企業完整的資料處理平臺的一部分。
NetApp大中華區技術及專業服務部總監何英華提出了一個與眾不同的ABC——大分析(Analytics)、高頻寬(Banduidth)、大內容(Content)。 大分析:分析是要對資料有一個洞見,超大資料的即時 分析;高頻寬:資料一來就要分析結果,做出報表;大內容:大內容是基本上不要丟失任何的東西。
他認為,可以採取簡單的策略,在開發Hadoop應用有即時的分析等等。 在高頻寬方面有一些video方面要處理,在大內容上有一些內容。 在這三個方面都有開發產品去應和。
剛需大實踐乏
廠商們提出了自己的解決思路,行業企業使用者則證實了大資料的剛性需求。 中國移動研究院首席科學家楊景指出,建立一個靈活的車聯網,可以解決當前城市發展越到的堵車等各種問題,國金證券高級分析師趙國棟,中國人工智慧學會機器博弈專委會副主任劉知青也都提出了實際的需求,如用來分析商業公司的前景, 用來解決圍棋系統的計算,等等。
(責任編輯:蒙遺善)