專訪Teradata高管：如何智慧化地處理大資料

寶立明（Stephen Brobst）是HTTP://www.aliyun.com/zixun/aggregation/8302.html">資料倉儲公司Teradata的首席技術官，而Martin Willcox是公司在歐洲、中東和非洲地區的平臺與解決方案銷售主管。 他們近期接受了TechTarget的採訪，並介紹了他們對於2013年大資料技術行業的看法。 第一部分是Martin Willcox的採訪實錄：

SAP認為它的記憶體資料庫設備HANA是引領變革的技術。 您如何看待記憶體技術？

Willcox：人們對這個行業有兩種看法：SAP認為所有資料都應該保存在記憶體裡;其他人認為記憶體的單位成本無法適應資料容量的增長速度，所以將所有資料存儲在記憶體裡的做法在經濟上是不可行的。 按照後一種觀點，您需要在一個經典結構上組合不同的存儲機制。

Teradata也認為「不能將所有資料存儲在記憶體中」，但是我們與其他供應商的區別是，我們使用一個多元（熱資料和冷資料）模型來自動管理資料在層次中的移動。 這就是我們所謂的Teradata智慧記憶體技術。

您是如何以智慧方式實現‘大資料’處理的？

Willcox：有些供應商錯誤地認為大資料是一個同質問題。 而我們用一個二對二模型將它劃分為兩個座標：x軸是資料結構——左邊是簡單結構，右邊是多重結構;在y軸上，下面是基於集合的分析，上面是非傳統分析，如路徑或圖分析。

後者天然是可反覆運算的。 例如，對銷售資料執行綜合分析：‘與香蕉一起賣得最好的是哪些產品？ ’就是一個經典問題。 如果我想問：‘與香蕉和牛奶一起賣得最好的又是哪些產品？ ’，要在傳統資料庫管理系統上分析這個問題，代價很高的。

在圖的處理上，我們對於節點關係的處理方式也有利於基於集合的分析——社交網路的個體就是一個例子，它們可用於確定影響力。

所以，對於新型資料執行新型分析，才能夠給大資料帶來意義。 否則，它就只是一個術語而已。

在過去一年裡，您在客戶資料庫中發現了哪些與大資料有關的趨勢？

Willcox：雖然大資料庫技術（如AsterData或Hadoop）在全球範圍內蔓延開來，但是大多數客戶仍在觀望中。

我們的一些電信客戶正在執行一些有意思的測試，希望理解網路資料與客戶資料。 移動資料則是另一個需要更好理解的方面，而AsterData、Hadoop和SQL-H都被應用於這個領域。 其中，SQL-H支援使用行業標準SQL對Hadoop分散式檔案系統（HDFS）執行分析。

眾所周知，在技術領域，很少人能夠瞭解自己狹窄專業領域之外的技術。 整個行業並沒有很好地向人們說明過去所解決的問題。 您會發現有許多人用新技術重新實現原有的解決方案。 有一些Hadoop支援者應該對此承擔一定的責任。 他們中有一些（並非全部）並不太理解結構化資料的管理方式。 這裡有很多重複工作。

當我向一些新出現的大資料技術供應商詢問傳統資料倉儲的角色時，他們經常會說：‘它們仍然有價值’。

Willcox：是的，名褒實貶!它仍然是基礎。 有一些新技術很吸引人，但是有一些支援者認為它們就像是基於檔且與特殊應用程式相關的資料處理方式，有點像上世紀60~70年代的事情。

這就是我們實現的方式。 它會產生很大的資料庫冗余性和不一致性。 它不適合那些有複雜資料的大型組織，而且這正是我們發明關係資料庫管理系統的原因所在。 我們發現，保證資料品質和一致性就是將服務抽象到資料庫管理系統層次上，説明負責實現資料完整性的所有開發者解決問題。

在過去30年裡，組織方式並沒有發生變化。 那麼資料品質、資料一致性、中繼資料管理、體系呢？ 如果您只是做一個科學專案，那麼可能不會有問題，但是如果您離開學術領域，並且需要向監管部門彙報，那麼您的資料和資料品質就變得非常重要。

有人認為，這些新公司將取代二對二結構中左下角部分沿用了30年的工程方法，我認為這是不可能的。 但是，它們在多結構資料和非傳統分析上有一定的作用。

沒有一種技術能夠覆蓋所有4個方面——這就是為什麼我們要提出一種統一的資料架構。

(責任編輯：呂光)