Teradata寶立明:迎接大資料時代的來臨

隨著社交網路、移動計算和感應器等新的管道和技術不斷湧現，大量新型資料應運而生。 我們生活在一個資料成指數式急劇增的時代，常規技術已經難以應對PB(1024TB)級的大規模資料量。 我們已經進入了多元化大資料時代。 在這樣一個大資料結構與非機構化資料的時代中我們應如何面對。 記著在採訪Teradata的首席技術官Stephen Brobst寶立明先生時，他表示：「大資料時代的來臨已經毋庸置疑。 只有那些能夠運用這些新資料型態的企業，方能打造可持續的重要競爭優勢。 」

面對海量資料的迷惑 Teradata的解決之道

人們對於海量資料感到困惑是因為對於整個資料的全域沒有很好的把握，他們所看到的只是破碎的、零散的、局部的資料，就像你通常把一些資料做了一個總結一樣，而在這個總結的過程當中，你會丟失掉很多細節， 而有很多有價值的資訊正隱藏在具體的細節當中。 Teradata能説明使用者深度瞭解這些資料的細節，打個比方，説明客戶瞭解資料每一個構成的原子或者是分子。 要實現這樣的目標，需要有很強的可伸展性。 這種可伸展性可以説明使用者能夠去掉那些局部性的對於資料的瞭解，深入到資料的細節，這樣就可以解開使用者對於整個大資料的困惑。

在資料的分析方面，Teradata的資料庫主要用是來分析結構性的資料。 當Teradata收購了協力廠商的工具之後，Teradata可以把一些非結構性資料轉化成結構型資料，再用Teradata的解決方案，或者產品進行相應的分析。 收購Aster Data之後，其實我們可以直接地把一些非結構性的資料存儲到我們這裡，然後可以直接對非結構性的資料進行相應的分析。

如果你問我是不是通過Aster Data，就完全解決了分析非結構性資料的問題，我的答案是我們永遠不可能完全把某些問題都解決。 只不過是現在通過收購Aster Data之後，這項工作變的更加容易一些了。

資料的安全性 Teradata資料保護優勢凜然

關於隱私的保護的問題，Teradata的首席技術官Stephen Brobst寶立明先生認為，可以提供某些層次上的使用者隱私的保護，如：通過對一些資料進行加密，或者只讓需要知道資料的人瞭解、接觸或者訪問到這些資料， 比如說需要做決策的人，這只是一種層次上的隱私保護。 但是更為重要的是，現在人們都非常擔心自己的資料或者資訊會被別人看到，而Teradata可以通過資料採礦的軟體解決這些問題。 通過資料採礦軟體，實際上看到使用者的資料或者資訊的並不是某個具體的人，而是一個軟體。 這個軟體用來處理這些資料，並且判斷這個資料應該被什麼樣的人所使用或者用於什麼樣的目的。

就我個人而言也是資料的消費者，我一旦收到比較有用的、有意思的廣告，儘管我知道這只是隨著郵件而附帶來的廣告，但是我仍然願意收到它。 所以說作為一個消費者，對於這樣有用的資訊資料，我還是能夠接受的。 另外我覺得我作為一個消費者，我也有權利做出一些決定，我要用哪些資料和資訊，不用哪些類型的資料或者資訊。 因此消費者實際上可以對此有一定的控制能力，同時也可以來決定哪些最符合他的利益的資料。

很多國家的立法者或者政府希望通過建立或者制定一些保護隱私的法律來實現對使用者資訊的保護。 但是這些立法者，對於資料相應的分析是非常的不了解。 最後導致的結果可能就是這種出於隱私保護目的的法律，最終產生不理想的結果。 舉個例子，在某些國家對於一些電話使用者的通話記錄，最多隻能保持90天，而且這樣的一種通話記錄只能夠用於計費的目的。 這樣就限制了電信運營公司對資料的保存，不能夠很好地來設計符合消費者或者使用者需求的電信產品;同時在定價方面也受到了很大的限制，進而影響了市場的競爭。

所以這個例子說明，雖然立法者的初衷是想要保護使用者的隱私，但是由於他缺乏對資料分析的瞭解，最終可能限制了使用者真正對資訊和資料的使用。 電信運營商如果要保留使用者電話通信的記錄，也有責任對記錄或者資訊、資料進行保護，以免未經授權的人來使用這些資訊和資料。 在這樣一個過程當中，當然就要用到加密的軟體或者是用到其他資料保護的方法。 我們在全球範圍內是和一個叫做Protegrity公司來進行很好的合作，他們有非常出色的加密的能力和技術，所以我們就把他們加密的技術嵌入到了我們Teradata公司的產品和解決方案當中，來為我們的使用者提供相應的保護。

Teradata有非常先進的加密技術，實際上所有的設計都是加密的，都是來自資料庫加密，所以除此以外我們有完全並行的內部的資料庫加密能力，也就是說在表格等等都可以。 從安全形度來說可以把所有的資料進行編加密、保存還有儲存。 即使有一些也進入了系統，他們也無法瞭解這個資料，而且這些資料都必須加密這是客戶的選擇，最好的做法就是由客戶來進行加密。

資料的備份與恢復Teradata的多系統管理

還有就是資料的備份和災害復原，每一個分支機搆當中都會有一定的資料的存在，關鍵之處就是在創建這些資料的伊始，你就必須要對這些資料實現集中化，這樣做的好處就是這些資料不再是像孤島式的一個一個存在，而是被集中在一起， 這樣你就有一個單一的資料來源。 你可以通過使用資料整合的技術，或者是使用Teradata公司所提供的這些技術和解決方案，深入到每一個資料的細節進行瞭解。 所以實現這樣一個資料的集中化之後，隨之而來的就是它可能也會出現這種單點的故障，這時候出現了單點的故障，就必須具備災害復原的能力。 我們經常採用的是多系統管理的能力，而且也能夠提供一些多個負載的能力。 如果說一旦某一個系統，由於自然的災害出現了故障，比如說由於地震、颶風出現了中斷，它就會自動地來轉到其他的系統進行相應的一些資料處理和分析的能力。

有很多執行這些要徑任務的機構，或者是公司，都在採用這種方式來對自己的資料進行管理。 比如說像沃爾瑪、e-bay、AT&T和世界銀行。 另外中國現在也有很多客戶在完成或者執行一些要徑任務的時候，他們也會採用這樣的方式來做。

另外我還想強調一下，我們的災害復原的系統實際上是一個雙有源系統，或者是一個雙活躍的系統。 Teradata產品跟其他的產品不一樣，其他人員在做災害復原的時候，通常會有兩套系統，一套只是備用的，也就是說只有出現了災難的時候，才會啟動這樣的系統來做。 但是我們的不同之處在于我們有兩套系統，這兩套系統都是在有源狀態下進行工作的，也就是都處於活躍的狀態，我們會在這兩套系統之間，實現非常好的負載均衡。 這兩套系統，都在行之有效地工作，因此也帶來了非常高的成本的效率。 而其他的公司的產品只有一套系統一直在動，而另外一套系統一直處在無源的狀態之下，或者說一直不去積極地在工作，這時候相應的成本也是非常高的。

大資料時代 技術的融合與趨勢

商業智慧分析，能夠給人們帶來什麼樣更多的價值，它最主要的一個價值就在於它能夠讓這些知識型的工作人員，更好地對資料進行控制。 就像剛才我們所提到的，我們提供了一種非常凝結的、雲的環境，讓這些知識性的工作人員，能夠很好地來控制自己的資料，也能夠控制對於資料的分析。 比如說像Teradata公司所提供的資料視覺化技術，就可以使得知識型的工作人員，不需要有IT人員的介入，就可以把自己相應的一些資料進行分析和處理。

我覺得新技術或者說具有突破性意義的技術是非常必要的。 所以這也就是我們為什麼收購Aster Data這家公司，因為它所提供的就是具有突破性意義的新的技術。 我們認為在一段時間內，新舊技術之間是有一個共存的關係，但是最終新的技術還是會合並成為一體，新技術要花一定的時間要不斷演進，最終慢慢地來形成對舊技術的包圍，以及最後把它融為一體。

然後對於未來的技術趨勢的思考我有四點，首先第一點，就是剛才在新聞發佈會的現場也提到的一點，我們會看到感應器將會是無處不在的，物聯網的不斷發展，也給我們帶來了海量的資料，讓我們進行分析。

第二點，我們要實現規模化，很多分析性的規模要進入資料庫當中。 我們不能只是做資料的拷貝，而更多地要把分析性的功能納入到資料庫當中，比如說像現在SAS和Teradata之間的一個合作，我們可以把SAS公司的資料採礦的能力納入到我們資料庫當中，另外還有Informix與我們的合作， 我們要把它的資料整合功能納入到資料庫當中。

第三點，無處不在的或者普遍存在的商業智慧。 商業智慧在將來會發展成為消費者智慧，所以「智慧」以及「分析」這兩個詞應該說是未來非常關鍵的兩個要素。 而且隨著移動終端不斷地普及，我們看到越來越多的智慧和分析的能力，會被終端使用者通過移動的終端來實現。 所以移動終端對於未來也是非常重要的。

第四點，這些非傳統性的資料分析，比如說像社交媒體，像視頻或者像一些話音方面的資料，從傳統意義上來說，我們是不需要對這些資料進行分析的，但是這些資料也成為一個需要分析的資料。

對於CIO們的建議，應該考慮做一些相應的投資，也就是說不要再僅僅局限于對傳統性的資料來進行一些分析和處理，而現在需要來投入一些力量，來對非結構性的資料進行很好的分析。 所以他們在相應的策略和考慮的時候，要進行重新的思索和定位。

在大資料社會化的趨勢下需要捕捉一些社交媒體所產生的使用者感覺，這個時候我們就必須對這些社交媒體整個的網路有一個非常清楚的瞭解和認知，才可以從這個社交媒體網路上提取相應的資料和資訊來近些分析，以此來得出對使用者的感覺、 瞭解和捕捉。 這時候所做的分析就包括，對社交媒體上的使用者的一些自然語言的處理，以及對他們的行為或者是一些相應的活動的分析和處理，這也就是我們收購了Aster Data公司的原因。 這個公司的技術可以説明我們處理非結構性的資料，對非機構性資料進行很好的分析。

(責任編輯：呂光)