大資料技術如何有效阻擊網路黑產？

標籤：oss   協助   圖片   tail   解決方案   偽造   移動   破解   重要   

最近，互連網行業的“網路安全”事件頻發。僅8月就發生了多起網路黑產***事件，包括國內某重要通訊企業多地子公司遭遇Globelmposter勒索病毒***。華住集團被曝旗下酒店約5億條資料被泄露。新三板公司瑞智華勝假借與電訊廠商合作之名，非法竊取了30億條使用者資料，涉及BAT等近百家互連網公司的使用者。

有資料顯示，2017年全球企業遭受網路***總量較去年增長15%，嚴重性增加了23%。網路安全事件不僅侵害了使用者資訊安全，也損害了互連網企業經營安全，其破壞性已經不再局限於傳統意義上的物質、財產損失，而是影響到運營、製造乃至人身安全。
APP運營中會遇到哪些網路黑產***？

APP運營離不開使用者，但是坐在工位上的你，並不知道你的使用者是真實的還是機器虛擬。網上有《Bot Traffic Report 2016》的報告資料顯示，2016年機器人流量佔全網流量的51.8%，超過人類流量，而其中惡意機器人流量佔據了全網流量的28.9%。

有一半的使用者都是機器人，想想也是怕人，而更可怕的是那近三成的惡意機器人流量，他們會對運營工作帶來什麼樣的損害？以下是筆者總結的APP運營中最常見的網路風險。
1、競爭者與不良簡訊代理商的惡意刷量

很多APP的註冊頁面，都會要求使用者填寫真實的手機號，用於註冊、登入、找回密碼等操作。但頁面本身無法判定使用者填寫的手機號是否為個人真實的手機號，這也為應用的競爭者與簡訊代理商提供了可趁之機
——他們會利用黑產的相關工具，向大量手機號碼隨機傳送簡訊，產生高額簡訊費用，造成經濟損失，也對並沒有使用平台但收到驗證簡訊的普通使用者造成了騷擾。
2、推廣公司刷量

某些APP在產品早期會找專門的推廣公司宣傳產品。部分不良推廣公司會使用自動化工具大量註冊，導致團隊付出了大量推廣費用，卻並未吸引真實使用者。
3、注水、廣告黨***

相信大家在日常刷一些內容類別社區的過程中，偶爾會遇到熱門文章下面大量水軍出沒、各類帳號藉機打廣告蹭熱度的情況。而這些注水、廣告黨，在註冊小號之後，從接碼平台擷取大量帳號登入APP，為了某些營銷目的發送大量垃圾廣告甚至違法資訊，嚴重影響了平台的正常運營，破壞了社區氛圍。
4、羊毛黨***

APP在推廣時會採用現金獎勵等優惠活動，招來第一批使用者，但是當產品本身有利可圖的時候，最先被吸引的就是羊毛黨。羊毛黨在APP做運營活動時通過鑽空子獲利，大大地影響了活動的品質和效果。

5、撞庫***

很多互連網使用者為了方便記憶，會將多個平台的帳號設定為同一個密碼。***者利用這一特點，通過自動化工具，擷取了使用者在部分網站、APP泄露的帳號密碼，嘗試用於其他網站或APP的登入，這對使用者的帳號安全來說，是重大安全隱患。一旦發生重大事件，APP運營方也有不可推卸的責任。

揭秘：APP防護+大資料有效命中網路黑產
事實上，APP對抗網路黑產的阻擊戰一直在進行，封IP，驗證碼，簡訊驗證等都是較為常見的對抗策略。但是由於網路黑產混雜在真實使用者當中，APP運營無法精確瞄準他們，往往在對抗中處於被動位置。隨著大資料技術的發展，“精準”的概念也被引入“風險控制”領域。目前行業幾家“領頭”巨量資料服務商正在積極探索大資料在“反欺詐”方面的應用實踐。有了大資料的加持無疑是給APP在反擊時加了一副瞄準鏡，能夠有效地識別電腦對面是真實的使用者還是虛假的***者。具體作用於以下幾個方面：
1、精確地“黑產”畫像

在傳統APP防護措施裡，也會建立行為分析模型用於識別網路黑產，比如：行為聚集，根據使用者登入過程行為判斷，例如頁面停留時間、滑鼠焦點、頁面訪問流程、csrf-token等。裝置聚集，通過用戶端尤其是手機用戶端，上報許多機器資訊，識別是否存在偽造裝置情況。

然而“網路黑產”通過模模擬人行為，能規避背景行為分析模型，從而迷惑APP運營者，鑽了空子。現在，有了大資料技術的加持，APP對黑產的資料分析有了很大的革新。目前，一些第三方巨量資料服務商依託自有的海量資料積累和領先的大資料分析技術，結合APP自有資料，使用者群標籤體系，以及多方權威資料，比如全網黑名單庫等進行多維度建模分析，由此產生精準的“黑產”畫像。此外，第三方巨量資料服務商還能將資料分析通過可視化技術展現，便APP運營者使用。

舉個例子，比如“個推”的反欺詐巨量資料服務，對“黑產”畫像進行了便於解讀的處理。他們給每個分析維度都附上分值，並最終通過統計手法得出使用者風險評分及等級評估，便於APP進行使用者分類，進行精準的風控運營。
APP對於風險評分高的使用者採用積極的防護措施，在業務上予以限制，減少甚至停止紅包與優惠的發放。
APP對於風險評分低的使用者酌情減免防護措施。這麼做既能保障APP和使用者的安全，也能提高使用者體驗。

2、高智商的驗證防護

APP阻擊網路黑產的部署中，設定驗證碼是最廣泛部署的方案。

圖形驗證碼
形式形式多樣，例如字母扭曲、漢字識別、移動滑塊、映像選擇等。普通APP直接接入驗證碼，有後台分析能力的則在後台審計出現異常時才觸發驗證碼以提升普通使用者體驗。

簡訊驗證
通過向手機發送驗證碼，進行真人認證。但這一做法會產生一定簡訊費用，且使用者操作比較麻煩。然而，網路黑產是有辦法對付傳統驗證碼防護措施。對於普通驗證碼，網路黑產會利用機器學習技術，可以有效識別圖片中的驗證碼。對於個別識別難度較高的驗證碼，黑產也僱傭了一些打碼人員進行人工識別。對於簡訊驗證，網路黑產通過手機卡商廉價擷取大量手機號，再批量進行驗證。

針對這些問題，不少巨量資料服務公司都提出許多創新的解決方案。一方面，大資料公司利用技術優勢（機器學習技術也是大資料技術的一種）產生出機器不易識別的驗證碼。例如動畫驗證碼，利用真人對動畫的識別能力強於機器的特點，在保證良好使用者體驗的前提下，提升安全性，增加破解難度。另一方面，大資料公司通過多維度資料洞察，發現識別接碼平台，有效進行抵制。

3、精準的狙擊對抗

當APP面對網路黑產***的時候，查封IP地址是比較正面且效果突出的對抗策略。以往封IP的做法是根據黑IP庫或同IP發起的請求次數、密碼錯誤率等決定是否一段時間內禁止該IP的請求。但是由於同一個IP地址上會有數萬個使用者，容易誤刪使用者。因此在無法識別真使用者的情況下，APP不到萬不得已是不會採用這種辦法的。在大資料的協助下，通過“黑產畫像”，不僅可以辨別問題IP，還能洞察出問題IP地址上的“黑產”使用者，進行有針對性的封鎖行動。

黑產的***與APP的防護是矛與盾的對決，也是一場漫長的持久戰。APP不僅需要及時跟進黑產新技術，儘可能頻繁地更新防護策略，增加黑產的破解成本，還需要與業內的“安全衛士”們並肩作戰，保障使用者資訊安全，提升使用者體驗，有效淨化行業環境，維護網路安全。
參考資料：
澎湃新聞/湃客:華住
5億條資料泄露，背後的網路黑色產業鏈究竟是怎樣的？https://www.thepaper.cn/newsDetail_forward_2393889

大資料技術如何有效阻擊網路黑產？