日交易筆百萬級，Ping++的巨量資料平臺架構

摘要： 本期日交易筆數為百萬級，目前已經積累了海量交易資料。如何在經過客戶授權的情況下利用資料為客戶賦能，並帶來額外連結價值，從而提高客戶黏性，Ping++亟需搭建可靠、穩定的巨量資料平臺。

11+巨量資料產業套用實踐請見https://yq.aliyun.com/activity/156，同時這裡還有流計算、機器學習服務、效能調優等技術實踐。此外，通過Maxcompute及其配套產品，低廉的巨量資料剖析僅需幾步，詳情存取https://www.aliyun.com/product/odps；其他精彩內容參見雲棲社群巨量資料頻道：https://yq.aliyun.com/big-data。

Ping++ 是上海簡米網路科技有限公司旗下的彙總支付品牌，國內領先的協力廠商支付解決方案SaaS服務商。Ping++成立於2014年4月，2016年初獲得由寬頻資本領投的千萬美元B 輪融資。Ping++為零售、電商、O2O、教育、旅遊、SaaS服務等眾多領域的商戶提供定制化支付解決方案，累計說明15000多家商戶解決支付問題。

從安全強固彙總支付平臺到簡單無憂的彙總支付雲端服務，Ping++不僅極大地簡化了企業與移動支付管道和消費分期管道的對接程序，還將日常交易管理、賬務管理、巨量資料剖析、多級商戶、用戶帳戶等功能整合到統一的管理平臺。從支付接入、交易處理、商務剖析到商務運營、巨量資料行銷，Ping++以定制化全流程的解決方案來說明企業應對在商業變現環節可能面臨的諸多問題。

Ping++的百萬級交易挑戰

Ping++ 通過搭建在雲端的支付處理平臺為商戶暫留處理所需協力廠商支付管道的交易要求並提供統一的SDK接口供商戶叫用，當商戶的使用者發起交易時，就會叫用這個SDK，此時這些資料記錄會隱藏到資料庫中，包括時間、金額、管道等資訊。本期日交易筆數為百萬級，目前已經積累了海量交易資料。如何在經過客戶授權的情況下利用資料為客戶賦能，並帶來額外連結價值，從而提高客戶黏性，Ping++亟需搭建可靠、穩定的巨量資料平臺。在Ping++搭建巨量資料平臺的程序中，存在以下挑戰：

1.一站式巨量資料平臺，可以說明降低資料創新與創業成本，需同時具有隱藏、計算、BI和機器學習服務等功能需求：

• 隱藏: 利用資料倉儲隱藏海量支付訂單資料。
• 計算: 批次處理進行 ETL 資料清洗、統計積存、資料分析。
• BI: 產出資料的監控指標，以圖形化方式反映資料品質和趨勢。
• 機器學習服務: 各類場景下型號的訓練及預測。

2.Ping++作為一個創業公司，前期盡可能以最低的成本去實現商務創新。但是，自己搭建符合上述4種所有要求的巨量資料平臺，需要投入大量硬體投資、時間成本和人力成本。作為互連網創業公司，唯快不破，需要跟時間賽跑，如何快速、高效、低成本的搭建巨量資料平臺也是亟需的。

3.安全是金融產業永遠的話題，作為互連網支付服務提供者，Ping++非常重視巨量資料平臺的安全性、穩定性和強固，並需要平臺具有多角色多權限的帳戶體系。同時，Ping++使用嚴格的資料隱私保護機制，商戶的資料只用于剖析商戶自己的生意。

Ping++的公用雲端廠商考量

如上所述，自建符合要求的巨量資料平臺成本過高、週期過長，而且Ping++是做協力廠商服務的，秉承專業的人做專業的事情的理念，希望能夠通過協力廠商服務去解決問題，因此一開始就決定考慮採用公用雲端巨量資料平臺。“我們認為，對於初創公司和小規模團隊來講，利用雲端服務更加省時和經濟，可以將其他精力投入於套用和商務開發。”Ping++巨量資料總監夏蘇敏表示。

Ping++巨量資料技術團隊對主流的公用雲端巨量資料平臺進行了試用和對比，尤其是跟某國際化雲端運算大公司的巨量資料平臺去進行比較，當時發現此公司在國內提供的服務並不是非常的好，而且伺服器也不是非常的穩定。另外，Ping++的整個交易系統架構在阿裡的金融雲上，其穩定性、安全性均進行了前期的驗證，而且如果巨量資料平臺也採用阿裡雲在資料轉送、相容性和成本上均有很大優勢。鑒於以上考慮，Ping++最後選定了阿裡雲的數加平臺。

Ping++的解決方案及架構

Ping++圍繞積累下來海量的交易資料，主要基於阿裡雲數加平臺進行以下商務場景創新：

1.BI行銷商務系統。基於使用者交易行為資料進行使用者畫像，在用戶畫像的基礎上提供精准行銷方案，在老客戶啟用、提高客單價、潛客追蹤、轉化率升階等方面對客戶賦能。

2.內部監控。基於阿裡雲數加平臺進行資料監控賦能內部管理，包括交易資訊積存、異常交易提醒、資料品質剖析等。

資料來源：來源於支付商務系統，分別使用了阿裡雲RDS、DRDS以及MongoDB，DRDS和RDS主要用來隱藏使用者交易資訊，MongoDB主要用來隱藏商品維度資訊。

巨量資料平臺：通過阿裡雲數加平臺搭建，包含的元件及功能為：

• 巨量資料計算服務（MaxCompute ,原名 ODPS): 用於資料倉儲。目前有包括原始基礎資料表、ETL 結果表、上層 ADM 套用資料集市表在內的共計 630+ 張資料工作表。
• 巨量資料開發套件(DataIDE): 使用其中的 DAG 調度系統支架每天例行化執行 140+ 個節點；利用提供的日誌功能、報警機制、重跑補資料等多種工具進行運維工作；通過阿裡雲子帳號和數加平臺的權限體系實現了多角色多權限的帳戶體系。
• Quick BI: 用於指標的圖表閱聽。目前有 10+ 張圖表以監控資料品質和輔助決策。
• 機器學習服務: 利用提供的演算法庫解決巨量資料量的圖型號問題、機器學習服務分類問題、文本分詞問題等。

結果隱藏及取出:通過阿裡雲數加產品剖析型資料庫（AnalyticDB）同步經過DataIDE處理過的隱藏在MaxCompute中的資料集市表，主要是積存後的脫敏資料，流量分析型資料庫的主要原因是基於其強大的即時計算功能，可實現即時取出剖析。機器學習服務的預測性分析結果存放於MySQL進行取出剖析。

套用：BI行銷商務系統及內部監控。

收益：

1. 阿裡雲數加為Ping++巨量資料實施提供了一套完整的一站式巨量資料解決方案，覆寫了企業數倉、商業智慧、機器學習服務、資料視覺效果等領域，助力Ping++在DT年齡更敏捷、更智能、更具洞察力。數加平臺從資料匯入、尋找、開發、ETL、調度、部署、建模、BI報表、機器學習服務，到服務開發、發佈，以及外部資料交換的完整巨量資料鏈路，一站式整合式開發環境，降低Ping++資料創新與創業成本。
2. 通過阿裡雲數加平臺，Ping++快速搭建了巨量資料平臺，節省了大量成本，因此可以將其他的人力、物力投入到商務創新上來。“現在我們已經開始向客戶提供巨量資料的服務了，如果自己建的話，可能現在才剛剛把這個平臺搭好，商務上的事情還沒有開始做呢，整體上來講，可以為我們節省六到八個月的時間。”夏蘇敏說到。
3. 阿裡雲及其數加平臺提供金融企業級的安全機制，許諾了Ping++商務套用的安全、可靠、穩定執行。核心產品MaxCompute更是提供多種安全機制為DT年齡的企業資料資產保駕護航，如採用業界標準的API認證合約、沒有超級管理員的角色、提供了豐富的專案空間內的用戶管理及授權功能、將用戶作業在執行階段隔離、作業執行階段使用最小權限、資料存取審計以及安全監控系統等。“我們曾經也遭受過一次DDos惡意探索，阿裡雲也成功的說明我們防禦了這樣一次惡意探索。” 夏蘇敏回憶道。

相關產品：

1. 巨量資料計算服務(MaxCompute)
2. 巨量資料開發套件
3. 資料轉送
4. 雲端服務器ECS