解決大資料的開源工具

針對大資料的開源原始程式碼平臺變得十分流行。 在過去的幾個月裡, 似乎幾乎每個人都感覺到了影響。

低成本、靈活性和適用于受過訓練的人員是開源繁榮的主要原因。 Hadoop、R和NoSQL是現在許多企業大資料策略的支柱，不管他們是否用它管理非結構化資料或執行複雜的統計分析。 」

幾乎難以跟上它：SAP AG最近發佈了一個新的產品, SAP BusinessObjects預測分析，軟體整合了開源R語言的演算法，該語言廣泛使用在針對高級統計模型的學術社區。

幾周之前, Teradata公司宣佈其新的整合分析組合將包括R功能以及到GeoServer的一個連接,一個基於java的開源地理定位平臺。 無數其他公司正急於建立連結到Hadoop。

廣泛的採用狂熱的創新

James Kobielus，曾任Forrester研究公司的分析師 (他現在IBM公司大資料分析解決方案產品行銷任高級專案主管)，在一封電子郵件中這麼寫道,「開源方法有最廣泛採用的勢頭和最狂熱的創新」。

但急什麼?

首先, Kobielus解釋說,正如開源產品的範圍從Mozilla到 Android，在誕生的陣痛之後已經在IT社區贏得廣泛的接受，開來源資料存儲和分析軟體現在已經成熟了(「不再是一兩年以前高風險的賭注」,正如他所說的那樣)。

其次, Kobielus寫道,像Hadoop, R和NoSQL這樣的平臺比專門的軟體享有優勢, 因為它們能更快地演變。 他們也在不斷開發並為各種團體所改進。 他預測, 開源很快將會主宰大資料市常

「隨著封閉式源碼軟體的足跡在很多資料/分析環境中的萎縮，許多現有的供應商將朝著開源的方向發展他們的商業模式,」他寫道,「也會加大專業服務及系統整合以説明客戶走向開源的、基於雲的分析,其中大部分集中在Hadoop和R。

例如，Forrester把Hadoop看作是下一代企業資料倉儲 (EDW) 在雲的核心，而把R看作是未來一波大資料開發工具主要的代碼庫。 我們也期望各種開源NoSQL資料庫和工具聯合成為替代封閉內容分析產品的豐富選擇。 」

紅帽(Red Hat)模型

不同的企業以不同的方式接近開源整合。 有些企業，像SAP，選擇使用他們自己內部的專家使用 Hadoop或R的功能開發產品，而其企業，像Teradata移交了大量的工作給像革命分析公司(Revolution Analytics Inc.) 這樣有些像紅帽公司的大資料公司。 該公司面向企業提供一種商業版的R, 就像紅帽公司對Linux所做的那樣。

一家小公司站在大資料巨頭之間，這家公司專門為不同的業務流程的修改R，革命分析公司(Revolution Analytics)行銷和社區副總裁David Smith說, 「尤其是, 我們讓它運行在真正的大資料集上。 」

在產品中使用開源是公司在市場中突出自己的一種方式, Smith說。 「根據定義, 這意味著你不做競爭對手在做的事。 」

Smith說, 對於大資料分析採取先進的、科學的態度的企業，開源技術是一種自然的選擇。 「那些公司有一點資料科學的文化，對資料有探索和好奇心，真的已經被開源技術所吸引，因為它們如此靈活，並且向他們提供這些不同的方法思考資料並用這些資料探索不同的事情。 」

革命分析的合作夥伴，Teradata實驗室的總裁Scott Gnau說，大型企業將從開源技術的商務軟體套裝中受益最多，這樣他們能持續專注于他們的特定業務線。

「在採用一些新技術中有很多價值被創造，在Hadoop和MapReduce的環境中開發,但將它們作為一種企業級的軟體,有可靠的版本控制,並有可靠的可擴充性和有可得到的支援。

「它必須被打包並可靠地進入主流，因為大多數企業並不想集中去作軟體發展」他說。

EMC Greenplum的產品行銷經理Will Davis表示贊同。 他說, 規模較大的公司需要更穩定、可靠的開源大資料平臺化身，不管他們是否添加了自己的改進或依賴別人來幫他們做。

「很多企業... EMC的傳統客戶, 財富500強的之類的企業, 真的需要該技術的部署適用于企業, 以滿足嚴格的服務級合同(SLA) ，並總是線上可用的,」他說。

一些早期的開源技術採用者開發出專業知識單幹，但「第二波」的公司渴望可以快速建立並運行。 它們可能沒有自己員工來作做開發的工作。

引入資料科學家

目前對大資料才確實是有巨大的需求，而且企業正意識到運行開源平臺成為可以吸引到受過訓練的的人才的最佳位置。 開源技術,尤其是R,被廣泛應用於學術界。

此外，這些資料科學家能更好地利用開源平臺。 Imran Ahmad是一個資料科學家，他已經開發了自己的網格計算演算法,稱為Bileg的Hadoop競爭對手,它是基於開源的Globus 工具箱(GT4)的。 多倫多一家為雲環境開發資料分析技術的Cloudanum公司總裁說，開源平臺最根本的優勢是，像他這樣的人能看到它根本的數學依據。

「如果在開源上，您可以向下挖掘並看到為什麼我得到這些結果，為什麼這些結果是最優的,」Ahamad說。

專有資料分析軟體大多數時候能很好地工作,他補充道。 但是當一個「不尋常的場景」出現時, 讓你無法信任你的結果。 「它們將偏離你要找的東西,」他說。 「這真是一種正可怕的情況」。

毫不意外，有統計建模背景的聰明才智也供不應求，尤其是像如金融機構這樣其它領域的機構正在求賢若渴。

「他們已經聘請了大批校外的人到資料科學部門或研發部門和建模部門,」 Smith說,「而他們發現這些人都學習過R,而不是所說的SAS。 」

所以毫不奇怪，有統計建模背景的聰明人才被求賢若渴，尤其當像金融行業大量招聘他們的時候。

「我們提供Greenplum的諮詢業務,」Davis說,「這是我們的資料科學團隊, 這些人是博士, 已經是各種行業及其相關行業的專家。 我有聰明而勤奮的人 ,坦白說, 這些人正與客戶一起讓他們的資料發揮作用。 」

SAP集團行銷經理Jason Kuo說，需要執行比如預測分析這樣複雜任務的公司無疑正在搜尋著高校的人才。 他說, SAP的新產品群組了一個友好使用者介面和拖放功能，將易於資料科學家轉換角色到企業的世界裡。

「這些人帶著他們的R專長, R的背景,並尋求和R相關的工具，」他說。 「現在有趣的是,在學術環境中,不管出於什麼原因,不管是它的廉價或者熟悉度,他們更有可能使用沒有GUI的 R，而不用圖形介面。 而現在他們走進企業的世界, 在那裡他們的要求更高了, 專案轉變的框架更快, 也許正在追蹤投資回報率(ROI)等等。

「公司能說... 你需要什麼才能更成功? 我們如何能使你更有效率? 和他們為這些統計師準備了在過去不會有的預算。 」

如果你不能戰勝他們

SAS研究公司平臺開發副總裁Paul Kent，為一家經常被視為屬於大資料領域的對立面的公司工作，開發了專有資料分析演算法替代那些用於像R這樣的開來源語言。

Kens說, 在某種程度上, SAS並把開源社區作為一個並肩齊驅的競爭者。 新技術可以在開源環境中非常迅速地開發,而他的公司在將技術轉化成適合市場的產品功能之前可能需要更多的時間來研究它們。

「我們需要更多一點時間對技術作出反應並測試所有的不同角落和排列你可能使用它的方式。 所以, 我們的回應可能有點慢。

然而,他說,SAS在大型的技術支援市場有優勢，而且有使技術適用于不同機構的專業知識，無論是零售企業、銀行、或醫療機構。 SAS的優勢在於「對特殊領域的數學應用。 」Kent說。

與此同時,他說,SAS掌握趨勢,並給它的客戶一樣的開源選項。 Kent說SAS已經「修建一座到R的橋樑」就像它對Hadoop所做的那樣。 Kent表示，每當開源社區有了好的創意，SAS都會關注。

「從長遠看，搭建橋樑或介面到這樣的創意是有用的，勝過試圖假裝它不存在。 」

原文連結：HTTP://www.chinabi.net/Article/binews/201209/2227.html