沃爾瑪大資料技術真相

曾創造了"啤酒與尿布"的經典商業案例的沃爾瑪是最早開始投資和部署大資料應用的傳統企業巨頭之一，通俗得講，大資料天然不是沃爾瑪，但沃爾瑪天然是大資料。

在大資料概念引爆流行產業界之前，沃爾瑪已經開始了網站資料庫整合遷移和Hadoop集群擴展工作，收購Kosmix，在此基礎上建立Walmart Labs，並在近年著手收購專注于資料採礦或移動社交的初創公司如OneOps、 Inkiru，Tasty Labs，OneRiot，進軍互聯網。

沃爾瑪希望通過大資料應用讓消費者成為bigger spender，同時在電子商務領域奮起直追領導者亞馬遜。

通過自身資料積累整合及並購研發，沃爾瑪已然擁有一個涵蓋消費者線下交易資料、沃爾瑪網路商城電子資料與社交媒體應用資料為一體的即時更新積累的大資料庫，為沃爾瑪在做出決策前，將執行成本降到最低，並且創造新的消費機會。

可以虛擬一個場景來講沃爾瑪的資料操作：

Sam，是沃爾瑪的資深會員，其近五年來購買商品的品種、數量、型號、時間資訊，支付方式資訊，商品配送資訊，會員卡資訊，住址、連絡方式，甚至包括Sam在沃爾瑪的購物流程監控視頻、 門禁資料等線下消費資訊都已被沃爾瑪的資訊系統詳細記錄。

當Sam近日再一次驅車來到最近的沃爾瑪大賣場時，剛進入停車場，Sam的手機或者iPad等移動終端的沃爾瑪App可能已經收到購物清單上百分之八十以上商品的推薦資訊和電子優惠券資訊， App上還按商場流程標注了每件商品的具體位置、型號資訊，沃爾瑪測試中的「Scan and Go」的系統未來允許Sam用手機掃描商品，然後收銀台手機掃描支付。 而移動支付完成的瞬間，沃爾瑪已經在資料端開始更新Sam的相關消費資訊，並開始預判Sam下一次購買比如牛奶和啤酒等商品的時間和數量，並提交資料給APP推薦業務。

另外，Sam很喜歡一款899美金威爾遜網球拍但沒有加入掃描清單，球拍旁邊的塑膠運動模特腦袋裡邊的攝像頭記錄下了他的一舉一動，包括Sam的停留時間，拿起網球拍的次數及觀察端詳球拍的視角，甚至他是左手握拍還是右手握拍等等， 而第二個月，Sam的手機推送資訊中已經有了沃爾瑪推薦的性價比更高的一款Babolat輕碳球拍。

在Sam案例風光的背後，是沃爾瑪實驗室及相關團隊在維持其大資料工作。 Walmart Labs著手整合了沃爾瑪旗下網站，將試點Hadoop資料節點正式集群擴展，把分散存放在Oracle、Neteeza、Greenplum等資料庫中資源統一存入Hadoop資料倉儲，並嘗試進行內部資料共用分析。 通過開發大資料工具載入交易資料，體量相對較小但結構化程度較高的線下零售資料結合電子商務網站資料為前向購物選擇預測提供了基本支撐。

2000年網上商店作為應景產品上線，但ebay和亞馬遜讓沃爾瑪認識到電子商務的可怕，便在隨後幾年開始發力線上。 Walmart Labs 推出的 The Social Genome 能夠讓沃爾瑪將消費者線下購物資料、網路流覽點擊資料、社交網路關係資料及消費者個人資料等組合成即時更新擴展且具有定向預測功能的強大資料庫， 逐步解決線上環節與線下管道資料匹配上的難點，並借助于消費者在社交網路上展現的興趣，預測他們可能在Walmart下一個購買的產品。

通過對社交網路進行深度的資料採礦，實現網站主頁、商品搜索個人化，依據消費者的興趣來排列頁面上的結果。 資料顯示，截止到13年1月31日，沃爾瑪全球互聯網銷售額增長30 %增幅十年來第一次超越亞馬遜。

接著講Sam的沃爾瑪購物故事：

月末Sam車被借走了，所以選擇去沃爾瑪的網上商城，cookie自動登入後顯示自己上一次登陸沃爾瑪網店是在六個月前。 Sam的首頁推薦上有會員八折的罐裝威爾遜網球，還有新款特價的全鋼西門子榨汁機，Sam會心一笑：鄰居Peter在twitter上抱怨自家的榨汁機真垃圾，自己前天點了贊，沃爾瑪竟然知道了! 隨後Sam發現自己的facebook上的唯一關注音樂人Robbie Williams的新專輯就在眼前。

另外，自家附近的一家健身房年卡正在打折出售，Sam摸摸肚子上的贅肉一咬牙把年卡加入了購物車，心裡還抱怨沃爾瑪你TM怎麼都知道這麼多。

實際上，沃爾瑪電子商城的消費者線上資料如流覽商品種類時間，購物車狀態及支付方式，搜索記錄等都將結構化然後匯入全球統一的Hadoop資料倉儲， 半年前Sam通過Polaris搜尋引擎尋找網球拍的資料已經為沃爾瑪實體店通過APP給Sam推Babolat輕碳球拍做好了準備。 沃爾瑪的線上大資料已經能夠為其線下營收帶來銷售增量。

收編Kosmix團隊，沃爾瑪看重的是Kosmix對社交媒體的語義分析功能，利用Facebook和Twitter的資料，工程師從每天熱門消息中，推出與社會時事呼應的商品，創造消費需求，同時，針對社交網路快消息流的性質， 沃爾瑪內部的大資料實驗室專門發展出一套追蹤系統，結合手機上網，專門管理追蹤龐大的社交動態，每天能處理的資訊量超過10億筆。

沃爾瑪資訊中心副總經理特瑞爾指出，「沃爾瑪本身就是一個海量資料系統，適用各種商業上的分析行為」。 媒體稱沃爾瑪擁有將近七成美國人的相關消費資料，八成以上的境內郵箱資訊。 通過其強大資料庫的演算法推薦和預測方案，個人消費資料能夠預測一系列的高敏感個人資訊，沃爾瑪將清楚地知道你是誰，你要買什麼，甚至你下一步要幹什麼。

由於缺乏個人資訊保護意識，很多有色，低收入，邊緣化社區人群個人資料資訊受到大資料商業計畫侵犯，而弱勢人群在沃爾瑪的資料標籤化分類中很容易被識別區分出來，遭受弱歧視化待遇。

大資料會隨著資料的結構化和規模化滾動雪球，越來越「大」，越來越「快」，這個世界上最大的零售商在利用資料技術追逐利潤的同時也逐漸引起人們的擔憂：

科技在帶來商業大發展的同時會不會催生出類似《一九八四》中的Big Brother 2.0。

注：本文首發iDoNews 專欄，轉載請注明來源和出處。