大資料分析技術的新平臺

在Gartner的發展規律週期（hype cycle）中，大資料還在節節高升，一個全新的大資料服務供應商類別又誕生了。 這一消息對MetaScale是最不陌生的了。 該公司在今年四月進入大眾視野，是Sears Holdings的全控股子公司。

MetaScale位於美國伊利諾斯州的霍夫曼斯特市，是一家在基於雲計算的模型中運營的管理大資料服務供應商。 也就是說，MetaScale可以向那些準備採用大資料分析技術但又沒有相關架構或者能力的客戶，提供不同程度的足夠的所需支援。

在本文中，記者編輯就大資料的挑戰和市場趨勢話題，對MetaScale的創始人兼CEO、同時也是Sears的CTO Phil Shelley進行了採訪。

記者：目前企業面臨的大資料方面的挑戰有哪些？ 您能否對大資料管理和大資料分析進行分別闡述？

Shelley:首先，從大資料管理方面來看，我們現在處於一個全新的門檻。 任何IT行業的資深人士都知道，Holy Grail想要把所有資料都彙集到同一個地方，這對系統要求非常高。 當然了，他們沒能實現願望，結果還是用ETL複製資料；這個複製工作非常龐大，不同的系統用作不同的用途，將資料放到不同的地方。 因此，資料管理一直以來都讓人頭疼。 不過，現在有了改變。 現在已經可以將資料模型放到一個單一的地方，企業中所有的交易資訊、歷史記錄都在同一個地方。 這樣一來，你就可以實實在在地對企業進行管理、製造模型、設計資料架構，從真正意義上提高資料的使用效率。 資料的重複使用十分重要；有了這些技術以後，終於可以實現了。

在把資料集中到一處之後，你就有了使用它們的各種新的可能性，因為Hadoop可以保存海量的歷史記錄。 還不僅僅是保存，它還可以在不用移動資料的情況下對其進行分析。 當你的企業涉及數以P計的資料時，你真的沒有辦法移動它們進行分析。 以前的老辦法是使用ETL將資料移動到一個分析平臺上，現在行不通了。 因此，與過去相比，能夠擁有一個既能存儲資料又能對其進行分析的平臺真是一大進步了。

記者：那麼，也就是說您是把工具帶到資料中去，而不是將資料轉移到工具上來？

Shelley:在目前所有的大資料技術中，也有一些新興的工具可以配置圖形前端和分析前端，這樣你就能在資料倉儲中進行查詢和分析，而不是複製它們，你只需提取那麼一小部分你真正需要的資料，也就是結果集。 這是一種全新的顛覆性的思維方式，人們適應它還需要一段時間。

記者：我聽到過很多說法--「邏輯資料倉儲」、「混合資料生態系統」等等，這些概念強調的都是把資料放到最合適的地方。 這和您說的是一回事吧，對嗎？

Shelley:是的，只不過有些地方我說的更具體一點。 有些人會說，把資料放到合適的地方；那麼如果這麼說，你就會有太多包含大量資料片段的系統。 由於ETL所花費的時間和成本，我不會支援這一說法。 但我絕對擁護工具的生態系統。 如果你需要高速的SQL分析，那麼Hadoop一定不合適，這一點毋庸置疑。 把多少資料放到什麼樣的地方、什麼時候放、怎麼放--這些問題都需要仔細規劃，否則就會產生某些地方資料太多、某些地方空余太大的情況。 如果那樣的話，你又回到了使用ETL時遇到的問題--移動資料。 在企業資料架構方面的考慮尤其得慎重，需要合理地將系統與Hadoop結合，這至關重要。 不過話說回來，我也不太相信太多的其他運算元據存儲和邏輯資料集市，因為那樣只會增加複雜度。 隨著資料變得越來越大，你沒辦法那樣做，也沒必要那樣做。

(責任編輯：蒙遺善)