雲計算時代建立大資料交易所 勢在必行

隨著大資料技術的成熟和發展，大資料在商業上的應用越來越廣泛，有關大資料的交互、整合、交換、交易的例子也日益增多。 本文就進行大資料交易的一些問題， 以及建立大資料交易所的必要性， 做一些探討和研究。 我們認為，建立大資料交易所是勢在必行的市場需求。

目前下列公司和機構通常擁有大資料：

大型實體商業公司或電子商務公司，如大型連鎖商店walmart,sears等，或amazon,阿裡巴巴。 這類公司大都擁有大量的客戶數量、長期的客戶購賣記錄、客戶的支付歷史等。 這類公司最感興趣的是客戶購物的消費偏好和消費習慣。 目前這類公司的大資料應用包括推薦關聯產品和推出其它新的產品、 新的服務上。

大型服務公司，如銀行、電信服務等公司。 這類公司也擁有客戶的某個方面歷史消費記錄，比如銀行可能擁有客戶的金融帳戶收入支出資訊，電信公司擁有客戶的電話或網路使用歷史。 這類公司通常對本行業內推出新的產品和服務，以及尋找潛在客戶，降低業務風險較感興趣，比如熱門的推薦系統等。

大型製造企業，如福特汽車公司等。 這類公司因為其大量的客戶基礎，往往可以在推出新產品服務上使用大資料技術和應用。

大型網路服務公司，如google,百度，yahoo 等。 這類公司由於在其服務行業的壟斷性，積累有海量的使用者在網路虛擬世界的行為資訊。 這類公司通過歸納和機器學習等，可以挖掘出非常多有價值的應用產品和服務。 目前使用大資料最好的公司是google.google廣告系統adsense就是利用大資料技術來實現的。 另外，google公司還可以利用大資料做出一些預測，如流感的爆發，政治性事件的預測等。 google公司還進一步推出如自動駕駛等大資料應用，及google眼鏡等結合大資料收集與應用於一身的產品應用。

大型社交網站，如facebook,twitter,及其它社交網站如linkedin和其它活躍論壇等。 全世界使用者每天都在社交網站上產生大量的內容。 僅facebook每天需要處理的社交資訊就達到了500tb之多。 目前這些資料正在被大量的個人開發者和技術公司使用，用來做各種商務服務推薦或新的產品。

政府部門和科研機構的公開資料，如有關天氣、交通狀態、道路、地質、環境 以及科學研究的進展等部分。 美國聯邦政府特別提出，將聯邦政府各部門的資料開放給公眾，這些資料的應用包括自動駕駛、智慧交通監測系統等。

除了上述商業機構的大資料之外，國家機構還擁有大量有關國家安全的敏感資訊。 本文只討論商業應用，故不討論這部分大資料的應用和交互。

一位曾在teradata公司工作的資料專家說過，很多商業公司大約只存儲15%的有關他們業務的資料，其餘85%資料都存儲在其它外部公司或網站上。 大資料時代的技術，使得企業內部的大資料和外部資料的整合、交互變得更加重要。

目前一些商業機構對大資料的應用，不止局限于對自身擁有的大資料進行分析，還需要用到其它方面的大資料。

例子1:某些金融企業如銀行希望和利用獲得其使用者的社交資訊，以便和該金融企業擁有的客戶資訊整合起來，推出更多的新產品和更好的客戶體驗。

例子2:一位醫療保險公司的客戶要去某國外城市旅行，在微博上發表了這一資訊，醫療保險公司因為事先得到客戶的許可，可以從社交媒體（微博）上獲得這一資訊，根據這位客戶的個人特殊身體情況， 醫療保險公司馬上給該客戶發去避免某些當地食物的短信。

例子3:一家經營連鎖旅館的企業，除了自己網站、各地客房入住等情況外，希望能夠獲得其它旅遊方面的大資料，例如景區旅遊人數、租車公司的客戶數量、租的汽車的檔次等變化等，這些對旅館的房價定價，經營預期等有著很強的輔助作用。

例子4:一家初創公司，利用城市交通情況的公開資訊（政府資訊），結合其使用者群上傳的即時的城市交通狀況（互聯終端產生的使用者自創資訊或社交資訊），對交通路線、預測到達時間等進行預測，從而為城市里的駕車人群車流進行更好的服務。

商業公司對外部大資料的整合和交互是未來的大趨勢，國外有很多公司已經開始著手這方面的技術和服務，如alteryx、qlikview、tableau、factual等。

對於政府或科研部門公開的大資料資訊，商業公司業可以進行整合和分析，比如人口調查、gdp統計、房產資訊（美國是公開的）交通情況等。 眾多大資料技術公司也已經在這方面發力，如factual、infochimps、socrata等公司。

據gartner預測，到2017年，約三分之二的大資料整合專案，將是企業防火牆之外（外部資料）的整合。

商業公司之間的大資料交互至少有下列幾種：

方式一：兩家或兩家以上的商業公司，他們從事的服務行業不同，擁有客戶的不同方面的資訊，他們的服務行業有的具較有強的相關性，整合、交互資訊對其中一方或參與各方都能增加新的價值。

方式二：商業公司對社交網站的客戶個人資訊資料整合，期望帶來新的業務增長點或實行更好的客戶服務。

方式三：商業公司對政府部門的公開資訊，進行大資料級別的整合和交互，產生新的商業模式、新業務、或改進客戶服務。

方式四：未來，還會有新的外部大資料的整合方式會產生價值，比如某商業公司進行大量的對外部弱相關的資料的整合，當總量達到一定規模之後，仍然會產生對商業公司自身業務具有巨大價值的資訊。

商業公司間的大資料種類眾多，幾乎大多數的情況下，兩個公司之間資料的整合只對其中一方的業務有説明，或者對雙方的業務説明價值不對等，比如社交媒體的資訊對於大眾商品銷售公司等。 因此，購買大資料的可能性遠大於簡單資料交換或資料互通。 如何引導，規範大資料的交易，以及提供交易方式、工具等， 成為有關部門和大資料技術公司研究的重要課題。

我們認為，要開展大資料的交易，需要解決一系列的問題，例如：

如何引導更多企業開放大資料？ 大資料的應用需要更多的企業開發各自行業、領域的資料，市場的參與者越多，市場的交易選擇和能找到的價值就越大。 我國政府應該鼓勵更多企業開放他們的大資料。 企業間的大資料通過更多的交互和交易，才能最大的價值化。

如何保護大資料的屬有權和隱私權？ 大資料往往是個人資訊的集成， 我國對於個人資訊隱私的保護有明確法規和引導，大型企業都特別注意對使用者的隱私保護。 企業間用來交易的大資料，必須遵守國家有關法律，保護個人隱私和重要資訊。 因此，市場能提供的大資料應該更多是經過處理，隱去個人敏感資訊，或者直接就是按照區域、人口年齡、收入情況等進行分類集成後的資訊。 相關部門可以制定關於大資料交易的法規，引導市場參與者在提供大資料的同時，對於國家安全資訊、個人隱私、商業機密等方面進行特別保護和處理。

如何更好地開放政府部門資訊？ 各國政府都在開放更多的公開資訊，建立公開的大資料平臺，更好的利用大資料為社會服務和產生價值。 我國政府在這方面也大有可為。

如何找到有價值的外部資料？ 商業公司只對自身業務有關的外部資料感興趣，如何找到強相關或弱相關的外部資料，成為重要的課題。 大資料創業公司可以在提供工具，建立開放的api等方向有所作為。 各類雲計算平臺也可以提供大資料的api.我們認為，政府或大資料技術公司等業界，應該創造一些基本的資料處理、歸類、分析工具。 為商業公司尋找外部大資料的整合和應用，提供服務和方便。

如何衡量大資料的量和質？ 一般說來，一個大資料包，如果包含某一方面的大資料年限越久，覆蓋人群或服務方向越多，其價值就越高。 但是同樣的大資料，對於不同的潛在買家，可能具有的價值不同。 例如某電子商務網站的客戶消費記錄，對於一個大型綜合類銷售公司，和對某一小型單一產品銷售公司的價值，差別巨大。 如何對大資料產品進行量和質進行價值上的分類，是進行大資料交易必須解決的問題。

如何規範大資料商品的可重複使用性？ 一個大資料包，可能會對不同的外部企業都具有價值，有時而且沒有利益衝突。 理論上一個大資料商品，可能可以出賣多次。 對大資料交易，是否產生使用權，屬有權的改變？ 是否能夠再次出售，能否轉賣？ 能否賣給某位買家的競爭對手？ 等問題，都應該進行明確和規定。

如何建立大資料商品交互技術平臺、開放api、統一api?由於大資料的量大，規格眾多等特性，大部分時候，大資料的直接轉移非常困難或不現實，買家往往需要通過api來使用大資料商品，如何建立統一的api, 建立大資料交互的技術平臺，也是一個巨大的挑戰。

另外，大資料商品，更接近于原始的商品，市場參與者各自帶上自己的貨物，到一個市場進行交易， 類似于擺攤。 由於上述的大資料商品的特性，更加需要建立規範的、方便的交易場所。

大資料商品的交易可能會包含下列過程：

賣家對自己的大資料進行預處理，保證用於交易的大資料商品遵守國家相關的法律和規定；

賣家描述自己的大資料包，並描述以往的交易歷史，包括歷史買家的行業描述等；

買家在大資料交易平臺上尋找對自己業務有説明的大資料商品；

買賣雙方就資料的使用權，資料的轉移，資料是否可以再次出售（時間上，競爭對手限制等），是否委託協力廠商技術公司進行資料分析等等， 達成協議；

買方支付交易金額，同時大資料商品轉移到買方；

買方將對大資料商品進行分析或應用，實現大資料商品的價值。

我們認為，由於大資料商品的特殊性，建立大資料交易所，可以對大資料的交易做出權威性的規範，保證交易安全，同時為市場參與者提供工具和説明。

大資料交易所的重大作用：

大資料交易所可以深化國家有關法律對大資料商品的規範，特別是確保大資料交易的買賣雙方遵守國家有關隱私，國家安全，商業機密等方面的法律，保護消費者的資訊安全和其它權益；

大資料交易所可以引導對大資料商品的規範，對大資料進行定量，定價方面進行引導；

大資料交易所應該建立認證系統，確保大資料商品的真實性和價值；

大資料交易所應該為市場參與者提供技術上的説明，説明市場參與者尋找適合自己的交易方；

大資料交易所應該且可以對大資料的轉移和使用提供法律上的保障；

大資料交易所應該且可以對大資料的轉移和使用提供資料安全上的技術保證；

大資料交易所，應該確保資金的轉移和安全；

大資料交易所，還可以開放大資料期貨，即對未來某時間段將要產生的大資料，進行交易。

由於市場參與者大都為商業公司，大資料的交易更像是實體商品交易而不同于股票交易。 隨著交易的進行和市場參與者的增多，大資料商品的種類會逐漸豐富，從而吸引更多的市場參與者。

大資料交易的參與者至少包含下列幾類：

初端賣家，即提供某方面資訊的大資料商品賣家，該類使用者可能通過從事的行業服務，積累某個方面的資料；

終端買家，對相關行業服務資訊由需求的商務服務公司，買來大資料提升自己的服務或產品；

大資料投資者，這類參與者發現或認可某大資料商品的價值，可以先買入，再買給有需求的大資料終端買家；

加工商，由於大資料商品的高技術含量，大資料技術公司可能先買入原始資料，經過處理，集成後，再賣給終端買家。

市場參與者可能具有多重交易身份，既是大資料的提供者，也是大資料的消費者。 各類市場參與者的交易，能使大資料交易市場更加活躍，增加市場的流動性，引來更多的大資料商品的加入和交易。

綜上所述，建立大資料交易所，雖然在技術上、法律上、流程上尚有一系列需要解決的問題，但我們認為，這是一個可以逐步進行，逐步解決的過程。 我們認為，建立大資料交易所有非常大的必要性和可行性，建立大資料交易所是勢在必行的市場需求。

(責任編輯：蒙遺善)