大資料存儲問題處理成2014主要任務

大資料在IT行業是與雲計算並駕齊驅的另一大熱門話題。 「大資料」指的是那些數量巨大、難於收集、處理、分析的資料集，這就容易出現存儲問題，本文介紹的容易出現的幾大問題。

「大資料」通常指的是那些數量巨大、難於收集、處理、分析的資料集，亦指那些在傳統基礎設施中長期保存的資料。 這裡的「大」有幾層含義，它可以形容組織的大小，而更重要的是，它界定了企業中IT基礎設施的規模。 業內對大資料應用寄予了無限的期望商業資訊積累的越多價值也越大只不過我們需要一個方法把這些價值挖掘出來。

為什麼現在要大資料?

與以往相比，我們除了有能力存儲更多的資料量之外，還要面對更多的資料類型。 這些資料的來源包括網上交易、網路社交活動、自動感應器、行動裝置以及科學儀器等等。 除了那些固定的資料生產源，各種交易行為還可能加快資料的積累速度。 比如說，社交類多媒體資料的爆炸性增長就源于新的網上交易和記錄行為。 資料永遠都在增長之中，但是，只有存儲海量資料的能力是不夠的，因為這並不能保證我們能夠成功地從中搜尋出商業價值。

資料是重要的生產要素

資訊時代，資料儼然已成為一種重要的生產要素，如同資本、工作力和原材料等其他要素一樣，而且作為一種普遍需求，它也不再局限于某些特殊行業的應用。 各行各業的公司都在收集並利用大量的資料分析結果，盡可能的降低成本，提高產品質量、提高生產效率以及創造新的產品。 例如，通過分析直接從產品測試現場收集的資料，能夠説明企業改進設計。 此外，一家公司還可以通過深入分析客戶行為，對比大量的市場資料，從而超越他的競爭對手。

存儲技術必須跟上

隨著大資料應用的爆發性增長，它已經衍生出了自己獨特的架構，而且也直接推動了存儲、網路以及計算技術的發展。 畢竟處理大資料這種特殊的需求是一個新的挑戰。 硬體的發展最終還是由軟體需求推動的，就這個例子來說，我們很明顯的看到大資料分析應用需求正在影響著資料存儲基礎設施的發展。

從另一方面看，這一變化對存儲廠商和其他IT基礎設施廠商未嘗不是一個機會。 隨著結構化資料和非結構化資料量的持續增長，以及分析資料來源的多樣化，此前存儲系統的設計已經無法滿足大資料應用的需要。 存儲廠商已經意識到這一點，他們開始修改基於塊和檔的存儲系統的架構設計以適應這些新的要求。 在這裡，我們會討論哪些與大資料存儲基礎設施相關的屬性，看看它們如何迎接大資料的挑戰。

容量問題

這裡所說的「大容量」通常可達到PB級的資料規模，因此，海量資料存儲系統也一定要有相應等級的擴展能力。 與此同時，存儲系統的擴展一定要簡便，可以通過增加模組或磁片櫃來增加容量，甚至不需要停機。 基於這樣的需求，客戶現在越來越青睞Scale-out架構的存儲。 Scale-out集群結構的特點是每個節點除了具有一定的存儲容量之外，內部還具備資料處理能力以及互聯設備，與傳統存儲系統的煙囪式架構完全不同，Scale-out架構可以實現無縫平滑的擴展，避免存儲孤島。

「大資料」應用除了資料規模巨大之外，還意味著擁有龐大的檔數量。 因此如何管理檔案系統層累積的中繼資料是一個難題，處理不當的話會影響到系統的擴展能力和性能，而傳統的NAS系統就存在這一瓶頸。 所幸的是，基於物件的存儲架構就不存在這個問題，它可以在一個系統中管理十億級別的檔數量，而且還不會像傳統存儲一樣遭遇中繼資料管理的困擾。 基於物件的存儲系統還具有廣域擴展能力，可以在多個不同的地點部署並組成一個跨區域的大型存儲基礎架構。

延遲問題

「大資料」應用還存在即時性的問題。 特別是涉及到與網上交易或者金融類相關的應用。 舉個例子來說，網路成衣銷售行業的線上廣告推廣服務需要即時的對客戶的流覽記錄進行分析，並準確的進行廣告投放。 這就要求存儲系統在必須能夠支援上述特性同時保持較高的回應速度，因為回應延遲的結果是系統會推送「過期」的廣告內容給客戶。 這種場景下，Scale-out架構的存儲系統就可以發揮出優勢，因為它的每一個節點都具有處理和互聯元件，在增加容量的同時處理能力也可以同步增長。 而基於物件的存儲系統則能夠支援併發的資料流程，從而進一步提高資料輸送量。

有很多「大資料」應用環境需要較高的IOPS性能，比如HPC高性能計算。 此外，伺服器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統IT環境一樣。 為了迎接這些挑戰，各種模式的固態存放裝置應運而生，小到簡單的在伺服器內部做快取記憶體，大到全固態介質的可擴展存儲系統等等都在蓬勃發展。

併發訪問一旦企業認識到大資料分析應用的潛在價值，他們就會將更多的資料集納入系統進行比較，同時讓更多的人分享並使用這些資料。 為了創造更多的商業價值，企業往往會綜合分析那些來自不同平臺下的多種資料物件。 包括通用檔案系統在內的存儲基礎設施就能夠説明使用者解決資料訪問的問題，通用檔案系統允許多個主機上的多個使用者併發訪問檔資料，而這些資料則可能存儲在多個地點的多種不同類型的存放裝置上。

安全問題

某些特殊行業的應用，比如金融資料、醫療資訊以及政府情報等都有自己的安全標準和保密性需求。 雖然對於IT管理者來說這些並沒有什麼不同，而且都是必須遵從的，但是，大資料分析往往需要多類資料相互參考，而在過去並不會有這種資料混合訪問的情況，因此大資料應用也催生出一些新的、需要考慮的安全性問題。

成本問題

「大」，也可能意味著代價不菲。 而對於那些正在使用大資料環境的企業來說，成本控制是關鍵的問題。 想控制成本，就意味著我們要讓每一台設備都實現更高的「效率」，同時還要減少那些昂貴的部件。 目前，像重復資料刪除等技術已經進入到主存儲市場，而且現在還可以處理更多的資料類型，這都可以為大資料存儲應用帶來更多的價值，提升存儲效率。 在資料量不斷增長的環境中，通過減少後端存儲的消耗，哪怕只是降低幾個百分點，都能夠獲得明顯的投資回報。 此外，自動精簡佈建、快照和克隆技術的使用也可以提升存儲的效率。

很多大資料存儲系統都包括歸檔元件，尤其對那些需要分析歷史資料或需要長期保存資料的機構來說，歸檔設備必不可少。 從單位容量存儲成本的角度看，磁帶仍然是最經濟的存儲介質，事實上，在許多企業中，使用支援TB級大容量磁帶的歸檔系統仍然是事實上的標準和慣例。 對成本控制影響最大的因素是那些商業化的硬體設備。 因此，很多初次進入這一領域的使用者以及那些應用規模最大的使用者都會定制他們自己的「硬體平臺」而不是用現成的商業產品，這一舉措可以用來平衡他們在業務擴展過程中的成本控制戰略。 為了適應這一需求，現在越來越多的存儲產品都提供純軟體的形式，可以直接安裝在使用者已有的、通用的或者現成的硬體設備上。 此外，很多存儲軟體公司還在銷售以軟體產品為核心的軟硬一體化裝置，或者與硬體廠商結盟，推出合作型產品。

22223月10日消息，根據工信部運行局預計，在4G網路上線後，我國4G智慧手機的出貨量在2014年達到1.2億部才能滿足使用者對網路接入的龐大需求。 從使用者發展和營收來看，4G發展速度將遠高於3G網路部署之初的記錄，未來3年國內4G市場將呈現爆炸式增長，而非3G初期漸進式增長。

據悉，工信部近日公佈了《2013年手機行業發展情況回顧與展望》，從中得知2013年全年，我國手機產量達到14.6億部，增長23.2%，增速比上年提高18.9個百分點。 據IDC發佈的2013年全球手機18億部的出貨量測算，我國產量占全球出貨量份額達到81.1%，比2012年提高10個百分點以上。

2013年以來，我國手機出口增長較快。 據海關統計，1-12月，我國手機出口11.9億部，同比增長16.9%，增速比上年提高1.0個百分點;出口額951億美元，同比增長17.4%，增速高於電子資訊產品平均水準5.5個百分點。

2013年1-12月，通信終端設備製造業共實現主營業務收入10233億元，同比增長30.4%;實現利潤總額355億元，同比增長20.5%;行業收入增速高於電子製造業平均水準20.0個百分點;行業平均獲利率達到3.5%， 低於電子製造業平均水準1.0個百分點。

2013年，通信終端設備製造業500萬元以上專案完成固定資產投資434億元，同比增長38.8%，增速比上年提高20個百分點以上，高於電子製造業平均水準25.9個百分點。 從投資領域來看，企業的投資重點從生產環節向上下游轉移，主要包括上游的晶片、設計和軟體發展以及下游的增值服務等領域。

在整體出貨方面，2013年，國內手機市場累積出貨量為5.79億部，同比增長24.1%。 其中，2G手機出貨量為1.7億部，3G手機出貨量達到4.08億部。 其中，智慧手機出貨量為4.23億部，同比增長64.1%，市場佔有率達到73.1%;其中Android手機出貨量3.98億部，占同期智慧手機出貨量的94.0%。

在新品上市方面，2013年，國內上市手機新機型2861款，同比下降26.7%。 其中，2G手機新機型786款，3G手機新機型2055款，TD-LTE手機新機型20款。 其中，上市智慧手機新機型2288款，同比增長3.0%，占同期新機型總數的80.0%;其中有2217款採用Android作業系統，占同期智慧手機新機型數的96.9%。

在國產品牌發展方面，2013年，國產品牌手機出貨量4.61億部，同比增長24.9%，占手機總出貨量的79.7%;上市新機型2691款，同比下降27.2%，占手機上市新機型總量的94.1%。 3G手機中，國產品牌出貨量份額分別為：TD-SCDMA手機89.0%、WCDMA手機52.2%、cdma2000手機75.5%; TD-LTE手機中，國產品牌占比54.0%。

工信部指出，由於國內手機生產企業技術積累不足，與眾多的外資手機企業先比，總體技術水準仍遠落後于外資企業，核心技術幾乎全部掌握在外資手機廠商中。

在硬體方面，我國手機企業缺乏晶片和射頻元器件等關鍵核心技術。 一方面直接導致我國國產手機缺乏高端產品，市場競爭力弱，利潤少;另一方面，導致國產手機產品的同質化現象越來越嚴重，直接制約了我國手機產業的健康發展。

在軟體方面，智慧手機風靡全球，逐步取代傳統功能型手機，而國產手機在智慧化領域的拓展明顯落後。 國產手機作業系統大多基於Android及定制業務進行市場開發，真正具有特色的獨創性應用很少，國產手機作業系統普遍存在版本升級緩慢，作業系統「補漏」、「增效」的速度明顯滯後等問題。 從全球智慧手機的毛利率看，蘋果超過50%，三星、HTC維持在30%上下，而國產品牌的毛利率不到20%。

品牌建設力度不足。 國產手機企業發展中存在一個共性問題：企業缺乏做強、做大的長遠規劃，忽視企業品牌的建設。 眾多手機消費者在購買手機時越來越理性，手機品牌對其購買決策影響非常大。 由於缺乏關鍵核心技術，我國國產手機制造商被迫放棄高端產品市場轉戰低端產品市場，並將主戰場定位於千元以下的機型，引發價格戰，並給國內外消費者留下低端產品印象。

此外，國內一些手機制造商為滿足市場對新款手機樣式的需求，極力縮短手機從研發製造到上市的時間，導致部分產品品質不穩定，返修率較高，使用者關於手機品質投訴不斷提高。

國際競爭趨於激烈。 近年來，印度、越南等發展中國家採取各種優惠政策大力扶植本國產業的發展。 由於這些國家擁有非常豐富的廉價工作力，以及產業鏈條配套設施日趨完善，手機類電子產品的訂單向這些國家的轉移趨勢越來越明顯，正逐步搶佔國際手機市場中原本屬於我國的訂單份額。

以三星投資越南為例：自2008年開始，三星首次投資6.7億美元在越南北甯省建造了第一家手機工廠;2012年，三星又投資7億美元在越南北部太原省建立了第二家手機工廠;2013年，三星再次加碼越南投資， 擬斥資20億美元在越南建立第三家生產基地，用於製造手機、相機和筆記本電腦。 據初步測算，2013年三星旗下越南工廠的智慧手機出貨量將達到2.4億部，占其總產量的半數以上，占同期全球智慧手機出貨量的份額達到20%左右。

至於2014年手機行業發展趨勢，摩根大通的資料顯示，2014年，全球智慧手機的出貨量增速將比2013年有較為明顯的回落。 造成這一趨勢的主要原因是高端智慧手機市場正逐漸飽和，首次購機使用者減少;加之現有手機的功能已經足以滿足多數使用者的需求，對手機的升級需求也在減少。 在市場需求逐漸飽和的背景下，手機產品的技術競爭將愈發激烈，多模4G晶片、2K高清螢幕、光學防抖拍攝、NFC(近距離無線通訊)、可彎曲柔性螢幕和電池以及雙作業系統搭載等幾種技術將成為發展趨勢。

同時，工信部也預計，2014年我國手機行業產銷規模仍將保持一定幅度增長，但受全球市場需求趨於飽和以及行業競爭不斷加劇等不利因素影響，產銷增速與2013年相比將略有放緩。

333333月10日消息，根據工信部運行局預計，在4G網路上線後，我國4G智慧手機的出貨量在2014年達到1.2億部才能滿足使用者對網路接入的龐大需求。 從使用者發展和營收來看，4G發展速度將遠高於3G網路部署之初的記錄，未來3年國內4G市場將呈現爆炸式增長，而非3G初期漸進式增長。

據悉，工信部近日公佈了《2013年手機行業發展情況回顧與展望》，從中得知2013年全年，我國手機產量達到14.6億部，增長23.2%，增速比上年提高18.9個百分點。 據IDC發佈的2013年全球手機18億部的出貨量測算，我國產量占全球出貨量份額達到81.1%，比2012年提高10個百分點以上。

2013年以來，我國手機出口增長較快。 據海關統計，1-12月，我國手機出口11.9億部，同比增長16.9%，增速比上年提高1.0個百分點;出口額951億美元，同比增長17.4%，增速高於電子資訊產品平均水準5.5個百分點。

2013年1-12月，通信終端設備製造業共實現主營業務收入10233億元，同比增長30.4%;實現利潤總額355億元，同比增長20.5%;行業收入增速高於電子製造業平均水準20.0個百分點;行業平均獲利率達到3.5%， 低於電子製造業平均水準1.0個百分點。

2013年，通信終端設備製造業500萬元以上專案完成固定資產投資434億元，同比增長38.8%，增速比上年提高20個百分點以上，高於電子製造業平均水準25.9個百分點。 從投資領域來看，企業的投資重點從生產環節向上下游轉移，主要包括上游的晶片、設計和軟體發展以及下游的增值服務等領域。

在整體出貨方面，2013年，國內手機市場累積出貨量為5.79億部，同比增長24.1%。 其中，2G手機出貨量為1.7億部，3G手機出貨量達到4.08億部。 其中，智慧手機出貨量為4.23億部，同比增長64.1%，市場佔有率達到73.1%;其中Android手機出貨量3.98億部，占同期智慧手機出貨量的94.0%。

在新品上市方面，2013年，國內上市手機新機型2861款，同比下降26.7%。 其中，2G手機新機型786款，3G手機新機型2055款，TD-LTE手機新機型20款。 其中，上市智慧手機新機型2288款，同比增長3.0%，占同期新機型總數的80.0%;其中有2217款採用Android作業系統，占同期智慧手機新機型數的96.9%。

在國產品牌發展方面，2013年，國產品牌手機出貨量4.61億部，同比增長24.9%，占手機總出貨量的79.7%;上市新機型2691款，同比下降27.2%，占手機上市新機型總量的94.1%。 3G手機中，國產品牌出貨量份額分別為：TD-SCDMA手機89.0%、WCDMA手機52.2%、cdma2000手機75.5%; TD-LTE手機中，國產品牌占比54.0%。

工信部指出，由於國內手機生產企業技術積累不足，與眾多的外資手機企業先比，總體技術水準仍遠落後于外資企業，核心技術幾乎全部掌握在外資手機廠商中。

在硬體方面，我國手機企業缺乏晶片和射頻元器件等關鍵核心技術。 一方面直接導致我國國產手機缺乏高端產品，市場競爭力弱，利潤少;另一方面，導致國產手機產品的同質化現象越來越嚴重，直接制約了我國手機產業的健康發展。

在軟體方面，智慧手機風靡全球，逐步取代傳統功能型手機，而國產手機在智慧化領域的拓展明顯落後。 國產手機作業系統大多基於Android及定制業務進行市場開發，真正具有特色的獨創性應用很少，國產手機作業系統普遍存在版本升級緩慢，作業系統「補漏」、「增效」的速度明顯滯後等問題。 從全球智慧手機的毛利率看，蘋果超過50%，三星、HTC維持在30%上下，而國產品牌的毛利率不到20%。

品牌建設力度不足。 國產手機企業發展中存在一個共性問題：企業缺乏做強、做大的長遠規劃，忽視企業品牌的建設。 眾多手機消費者在購買手機時越來越理性，手機品牌對其購買決策影響非常大。 由於缺乏關鍵核心技術，我國國產手機制造商被迫放棄高端產品市場轉戰低端產品市場，並將主戰場定位於千元以下的機型，引發價格戰，並給國內外消費者留下低端產品印象。

此外，國內一些手機制造商為滿足市場對新款手機樣式的需求，極力縮短手機從研發製造到上市的時間，導致部分產品品質不穩定，返修率較高，使用者關於手機品質投訴不斷提高。

國際競爭趨於激烈。 近年來，印度、越南等發展中國家採取各種優惠政策大力扶植本國產業的發展。 由於這些國家擁有非常豐富的廉價工作力，以及產業鏈條配套設施日趨完善，手機類電子產品的訂單向這些國家的轉移趨勢越來越明顯，正逐步搶佔國際手機市場中原本屬於我國的訂單份額。

以三星投資越南為例：自2008年開始，三星首次投資6.7億美元在越南北甯省建造了第一家手機工廠;2012年，三星又投資7億美元在越南北部太原省建立了第二家手機工廠;2013年，三星再次加碼越南投資， 擬斥資20億美元在越南建立第三家生產基地，用於製造手機、相機和筆記本電腦。 據初步測算，2013年三星旗下越南工廠的智慧手機出貨量將達到2.4億部，占其總產量的半數以上，占同期全球智慧手機出貨量的份額達到20%左右。

至於2014年手機行業發展趨勢，摩根大通的資料顯示，2014年，全球智慧手機的出貨量增速將比2013年有較為明顯的回落。 造成這一趨勢的主要原因是高端智慧手機市場正逐漸飽和，首次購機使用者減少;加之現有手機的功能已經足以滿足多數使用者的需求，對手機的升級需求也在減少。 在市場需求逐漸飽和的背景下，手機產品的技術競爭將愈發激烈，多模4G晶片、2K高清螢幕、光學防抖拍攝、NFC(近距離無線通訊)、可彎曲柔性螢幕和電池以及雙作業系統搭載等幾種技術將成為發展趨勢。

同時，工信部也預計，2014年我國手機行業產銷規模仍將保持一定幅度增長，但受全球市場需求趨於飽和以及行業競爭不斷加劇等不利因素影響，產銷增速與2013年相比將略有放緩。