3B大戰牽出Robots疑雲

摘要： 一個是搜尋引擎市場具有壟斷地位的巨頭，一個是頗具爭議的闖入者，這場圍繞搜尋引擎的3B大戰進入了第二個回合：釣魚。 幾天前，百度工程師放出鬼節捉鬼的釣魚策略，將爭論引向

一個是搜尋引擎市場具有壟斷地位的巨頭，一個是頗具爭議的闖入者，這場圍繞搜尋引擎的「3B大戰」進入了第二個回合：釣魚。

幾天前，百度工程師放出「鬼節捉鬼」的釣魚策略，將爭論引向一直以隱私安全為底牌的360。 問題出在一個叫做Robots的協定上。 360被指不遵守協定，直接用瀏覽器抓取使用者流覽資訊，可能致使使用者資訊洩露。 「3B大戰」的對手百度等互聯網公司發出了要求員工卸載360瀏覽器的號召，搜狗CEO王小川也表示應遵守Robot協定，擔心360在安全上做裁判又做球員。

CNNIC最新的統計資料顯示，360搜索覆蓋中國線民比例已由上周的13.04%降為11.61%，覆蓋人數由3420萬降為3052萬，近一周時間，損失使用者達368萬。

3B大戰第二回合，落在了瀏覽器端直接搜集網頁資訊的爭議上。 《每日經濟新聞》在調查中發現，Robots協定被瀏覽器開發人員視為「Google自己制定的協定規範」，「連行業規範都算不上」，搜尋引擎對使用者隱私權的定義，目前還是空白。

百度非原創式捉「鬼」

8月31日，一則由百度工程師發佈的微博引發了業內的廣泛討論。

這位名叫趙明華的百度互聯網資料研發部經理稱，百度的工程師製作的幾個特殊頁面沒有任何外鏈，由於搜尋引擎爬蟲只能通過連結爬行網頁，因此這個網頁是完全封閉的 「孤島」，不可能被搜尋引擎抓取到。 但令人意外的是，百度工程師試著在360搜索中輸入以上關鍵字，結果這個網頁赫然出現在搜尋結果第一行，並可以直接點擊訪問流覽網頁內容。 但再換百度、谷歌(微博)、搜狗、搜搜等其他瀏覽器搜索相同內容，卻無法返回相應網頁。

為什麼一個完全封閉的網頁竟然能被360搜尋引擎抓取到?趙明華的解釋是，他曾用360瀏覽器打開過這個網頁。 在360瀏覽器的隱私權原則中，注明了360安全瀏覽器會在使用者的電腦上記錄有關瀏覽歷程記錄的實用資訊。

百度認為，百度釣魚流程揭示了360搜索存在安全隱患：只要使用者通過360瀏覽器訪問過一個網頁，無論是私人帳號資訊，還是公司內網機密資料，都會被360瀏覽器記錄下來，並被360搜索爬蟲抓取、上傳到360伺服器。

不過，360卻有著自己的說法。 360在官方微博上指出，百度以所謂的「孤島」資料污蔑360洩露使用者隱私。 其實百度的做法很簡單，只要通過外部連結引導360爬蟲抓取頁面，同時遮罩其他搜尋引擎，然後切斷外鏈，就可以造成隻有360搜索收錄所謂「孤島」的假像。

9月2號，360董事長周鴻禕(微博)對此回應，「這是百度在濫用Robots協定，阻礙360進入搜索市場。 」

百度「鬼節抓鬼」的行為，在互聯網界並非首例。 2011年初，谷歌由於懷疑必應借鑒其搜尋結果，也採取過這種做法。

2010年10月份，谷歌注意到Bing的搜尋結果越來越多地和谷歌重合，頭條結果相同的趨勢也越來越高，由此必應抄襲了他們的搜尋結果。

為了驗證猜想，谷歌在去年12月進行了一場釣魚行動。 他們選擇了100個異常釣餌進行手動搜索排名，將這些關鍵字的搜尋結果指向毫無關聯的頁面。 當時約20位谷歌工程師在電腦上使用IE瀏覽器來搜索這些關鍵字，然後通過IE在谷歌上搜索這些釣餌，誘使必應上鉤。 兩周後，谷歌工程師再通過必應搜索當時的釣餌，預先埋下的結果就開始陸續出現在必應結果中，由此發現必應通過IE收集使用者上網的隱私資料，直接記錄上傳了使用者訪問網址並隨後放入搜尋結果中。

搜尋引擎與商業網站博弈

趙明華稱，360繞過了Robots協定，利用瀏覽器記錄並上傳使用者資料和上網行為，並形成自己的網址庫，再用偽裝和隱藏過的爬蟲來抓取快照，生成搜尋結果。

那麼，從瀏覽器端直接搜集網頁資訊是否正當?

實際上，Robots協定並非強制性法規，而是搜尋引擎誕生後，互聯網業界經過長期博弈，最終在搜尋引擎與商業網站、公眾知情權和使用者隱私權之間達成的一種妥協。

據《每日經濟新聞》瞭解，早期的互聯網主要是「使用者-網站」模式。 使用者通過網站獲取資訊，網站通過吸引使用者點擊來實現廣告收入。 不過，當谷歌把搜尋引擎變成一種成功的商業模式之後，很多網站原有的商業模式遭到了嚴重破壞。

為了維護自身的利益，一些歐美大型網站聯合起來與谷歌談判，要求谷歌「有所為有所不為」，於是就有了Robots協定。 該協定的核心思想就是要求Robots程式不要去檢索那些站長不希望被直接搜索到的內容，並將約束Robots程式的具體方法規范成格式代碼，就成了Robots協定。 一般來說，網站是通過Robots.txt檔來實現Robots協定。

國內使用Robots協定最典型的案例就是淘寶網拒絕百度搜索。 此外還有大量的使用者註冊、郵件等資訊，都利用Robots協定來防止這些內容在互聯網上被搜索到。

不過，絕大多數中小網站需要依靠搜尋引擎來增加流量，因此通常並不排斥搜尋引擎，也很少使用Robots協定。 去年京東商城遮罩一淘網抓取資料時，曾指責一淘網破壞了Robots協定。

技術工程師Joey在接受《每日經濟新聞》採訪時表示，谷歌、百度是通過都是自己的伺服器不停地在網上抓內容進行索引，而360的模式是讓每個使用360瀏覽器的電腦成為360的蜘蛛爬蟲，把流覽的內容上傳到360伺服器上做索引。

Robots協定約束力幾何?

此前，在多次「互聯網大戰」中，360的隱私問題均被競爭對手列為質疑的焦點。

兩年前，奇虎360公司兩名網路工程師利用360公司系統收集的使用者資訊，通過360伺服器雲計算後臺破解了市政一卡通系統的後臺密碼，並遠端為自己和3位同事的一卡通惡意充值2600元。 2011年1月，360收集隱私資料被谷歌爬蟲抓取，結果包括線民在百度搜索的關鍵字、淘寶購物記錄、金蝶等企業內部財務網路資料等連結資料「裸奔」于互聯網上。

對於此次業界的質疑，360認為純系百度 「污蔑」。 360方面表示，其網站後臺、訂單等敏感性資料在每個搜尋引擎中都是存在的。 百度通過人為設置釣魚陷阱網頁來污蔑360上傳使用者資料，目的是為了阻止360進入搜索領域，維護其市場地位。

不過，很多的中立行業觀察人士認為，該事件的重心並不在口水仗，而是作為「行業自律」的Robots協定是否需要更強有力的法律約束?

資深互聯網觀察家洪波(微博)指出，搜尋引擎無視Robots協定，直接抓取未經授權的資訊資料，這樣的行為如果不能從法律和監管上及時制止，將引發行業大亂。 」

鑒於國內像360和搜狗這樣既做瀏覽器又做搜索的公司比較少，可以對比同樣既做搜尋引擎又做瀏覽器的巨頭：谷歌。

一位瀏覽器技術人員對《每日經濟新聞》表示，谷歌的Chrome瀏覽器也會根據使用者訪問的歷史記錄在首頁給出「最常訪問的網站」，但不會優先出現在搜尋結果中。

實際上，在「3B大戰」進入第二輪時，國內互聯網大佬的態度已經發生了轉變。

搜狗CEO王小川表示，歡迎360做搜索，行業更加開放，給線民更多選擇。 而在此之前，王小川對「3B大戰」的態度是「進攻百度防範360」。

目前尷尬的是，Robots協定並沒有上升到一定的高度。 此前有消息稱，政府相關部門已找百度、360、搜狗各方瞭解事態進展，希望能夠從中調停，並防範整個事件升級。 從目前情況看，相關部門正在對360違反Robots協定的事件進行研究。

「所謂Robots協定，其實就是谷歌自己制定的一個協定規範，並不是各大搜索廠商的共識或統一的協定，也從來沒有任何一家國內搜尋引擎服務商公開承諾遵守Robots協定或簽署類似的協定或聲明。 」所以說，Robots協定連個行業規範都算不上，更別說什麼國際標準了，即便在美國，也只有Google把它當回事。 「上述不願意透露姓名的瀏覽器技術人員表示。

「雲」與「端」的較量

主打雲概念的搜索巨頭百度，與以用戶端為武器的360交戰，頗具深意。

事實上，百度之所以取得目前的搜索市場地位，一個很重要的原因就是其一直在佈局中文內容平臺，包括知道、百科、貼吧等。 百度的「護城河」在「雲」，本質上是一家媒體，其戰略思路不是僅提供單純的搜索，而是從具備分類、整理的搜尋引擎轉化為提供、組織內容的平臺。

「在單純的搜索技術提高前景有限的前提下，提供大量的內容使百度具有了巨大的使用者黏性和流量來源。 即使用谷歌搜索，首頁結果裡也有大量的百度知道，百度百科與百度貼吧的內容。 」曹悅平表示。

事實上，早在2009年李彥宏就曾說過，百度不是搜尋引擎，而是第一中文媒體平臺。 而在剛剛結束的百度一年一度的世界大會上，李彥宏首次將雲存儲、大資料智慧、雲計算三大核心雲能力開放出來。

在曹悅平看來，在雲端發力的好處在於，直接獲取的大量內容和使用者資料對後來者築起了「護城河」。 但百度多年來在用戶端領域一直缺乏具有影響力的產品，這恰好是360此次進攻百度的機會。

相比之下，360的競爭優勢完全在 「端」——靠瀏覽器和安全衛士來佔領市場。

「360的端模式，相對於百度的雲模式，在產業鏈上處於下游。 」曹悅平指出，360的風險在於，一旦再出來一個黏性比它更大的用戶端，比如Windows8如果內置了安全軟體，那麼360就危險了。

在新進入的搜索領域，360的份額正在迅速下滑。 CNNIC最新的統計資料顯示，8月27日～9月2日一周，360搜索覆蓋中國線民比例已由上周13.04%降為11.61%，覆蓋人數由3420萬降為3052萬，使用者減少368萬。 無論使用者覆蓋率、搜索次數和PV占比，360搜索都遠低於搜狗、搜搜等。 同時資料顯示，360搜索使用者搜索次數和PV值比例僅為2.22%和1.47%，明顯低於其他搜尋引擎，表明使用360搜索的使用者的使用頻率和深度都很低。