搜尋引擎與spam的戰爭

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

亂世用重典，搜尋引擎在與spam的長期戰爭中總是處于不利地位（這很容易理解，搜尋引擎公司真正考慮搜索結果相關性和排序的只有幾個人，而互聯網上整天琢磨怎麼對付搜尋引擎的有幾萬幾十萬webmaster）， 所以對spam的懲罰很嚴厲，事實上，所有的搜尋引擎對它們認定的spam行為，通常只有一種懲罰：永久遮罩。 現在流行的太極鏈、鳳凰鏈這些超鏈群，就存在被當做spam的可能性。 國內的搜尋引擎注冊還沒有形成市場，但在國外是很發達的產業，每年以200%的速度增長，它們叫SEO，即search engine optimization 從某種角度來說，幾乎是spam在推動著搜尋引擎的進步，很久很久以前的一天 ，搜尋引擎們為了搜索結果能更準確，為了能把最相關的搜索結果排在前面，發明瞭meta tag。 起初，meta tag是很好用的，那時候，誠實的webmaster們如實的填寫網站摘要，如實的列出跟他的網站最相關的關鍵字，搜尋引擎們抓取、索引、檢索這些誠實的meta tag，並作為搜索結果排序的重要依據，然後， 是一段相安無事的甜蜜時光。

歲月迅速流逝，甜蜜時光擋不住資本的力量。 「一旦有適當的利潤，資本就大膽起來...... 有50%的利潤，他就鋌而走險；有100%的利潤，他就敢踐踏一切人間法律；有300%的利潤，他就敢犯任何罪行，甚至冒絞首的危險。 」 越來越多的網站開始追求收入追求pageview，它們開始欺騙搜尋引擎，它們在meta tag中塞進成堆的關鍵字，塞進跟自己的網站內容無關的但是流行的關鍵字。 群眾的力量是巨大的，搜尋引擎的相關性被破壞了。。。

搜尋引擎們對作弊者開始第一輪反擊，但是無力的，它們的做法是：在排序時更多的依賴網頁正文而不是meta tag。

作弊者以進為退，開始第二輪攻擊，他們在正文中大量使用與網頁背景相同顏色的關鍵字，在image tags中塞進關鍵字，在網頁代碼加入「看不見的注釋」。

搜尋引擎開始第二輪反擊，它們找到了有效的方法來過濾這些看不見的文字，取得了小小的勝利。

善良是善良者的墓誌銘，卑鄙是卑鄙者的通行證」，作弊者眼見常規武器無效，開始利用搜尋引擎的真誠。 搜尋引擎的spider是互聯網上的謙謙君子，它們訪問任何網站都會自報身份，並且查閱網站的訪問規定，完全按照各網站的規矩來辦事。 於是，作弊者精心製作了兩個網站，一個專供網友訪問，一個專供搜尋引擎訪問，每當發現訪問請求來自搜尋引擎時，就返回專供搜尋引擎看的能令搜尋引擎滿意的網頁，而正常訪問者只能看到另一個截然不同的網站。 這種方法叫做cloaking。 這第三輪攻擊，作弊者大勝。

1998年3月1日，分別在AltaVista、Excite、HotBot、Infoseek、Lycos搜索當時的熱門詞匯「Monica Lewinsky」，各搜尋引擎首頁居然分別有50%、30%、30%、10%、50% 的搜索結果是spam。 由此可見當時作弊者們猖獗至何等程度！

搜尋引擎們，因為它們道德上的弱點，因為有些手段不願用，所以無法完全辨別cloaking網站，也就無法完全對付作弊者。 搜尋引擎能做的只是嚴厲的懲罰被發現的spam，以警告作弊者，發展到今天的結果是，所有的搜尋引擎對它們認定的spam行為，只有一種懲罰：永久遮罩。

但是，嚴厲的懲罰從來只是無能者推卸責任的藉口，而不能真正的改善狀況。 「一旦有適當的利潤，資本就大膽起來...... 有50%的利潤，他就鋌而走險；有100%的利潤，他就敢踐踏一切人間法律；有300%的利潤，他就敢犯任何罪行，甚至冒絞首的危險。 」 作弊者從來就不怕懲罰，當互聯網狂潮來臨，追求pageview的作弊者們更是肆無忌憚。

無可奈何的搜尋引擎，只有去尋找新的相關性排序依據，只有去尋找作弊者不能控制的排序依據，只有去網站以外尋找排序的依據，搜尋引擎，真的別無選擇。

於是，開始出現了超鏈分析，出現了Pagerank。 一個網頁，說它自己是什麼，它就是什麼嗎？ 物以類聚，如果它說的是真的，那麼指向這個網頁的鏈接應該來自具有同類內容的網頁，所以指向這個網頁的鏈接可以被用來驗證這個網頁的相關性。

誰，最不可能出於貪婪而作弊？ 誰，最可能如實提供網頁內容？ 是政府網站，和教育網站。 所以，在超鏈分析中，gov和edu網站通常被賦予較高的排名，來自gov和edu的超鏈也有更高的價值。

但是PageRank也帶來了一些不請自來的錯誤排序因素：新站不如舊站，小站不如大站，專業站不如通俗站。 一個新網站，一個小網站，一個專業網站，它的內容再好，因為不可能迅速得到大量的超鏈，所以無法得到合適的排名，即使它的內容是無與倫比的。 而一個歷史悠久的老網站、大網站、通俗網站，即使它已久不更新，或者內容遠不如某些小網站，卻可以獲得很高的排名。

當超鏈分析剛出來時，SEO界一片悲觀論調，認為這是無法作弊的，SEO業完蛋了（就象近期各搜尋引擎紛紛收費，SEO業更覺得自己前景慘淡，其實雖然搜尋引擎排名市場的大頭要給搜尋引擎們，但SEO還是有錢賺的，畢竟， 只有勞動模範有下崗的可能，從來沒聽說騙子會失業的），但是，道高一尺魔高一丈，很快SEO們發現了對付超鏈分析的方法：你不是喜歡鏈接麼，好，我就做大量的網站，准備大量的鏈接，哪個客戶出錢，我所有的網頁都給它一個鏈接。 這種SEO方法被稱為link firm。 這種方法剛出現時還算有效，不過很快就不行了，因為一個網站是否有大量來自內容不相干網頁的鏈接，或者一個不是搜尋引擎的網站給出大量不相干的鏈接還不難判斷。 而每當發現一個link firm，那些使用了該link firm的網站就全部死翹翹。 我在wmw的論壇上看過一個傢伙的帖子，說他的網站被封了，但他覺得自己很幹淨，沒有做spam，所以主動去問Google封他網站的原因，原來僅僅是因為他用了一個link firm，真是可憐。

一種搜索結果的排序演算法，如果更多的是基於概念、主題、基於網頁內容的質量，而不是網絡上互相鏈來鏈去的超鏈的重要性，那麼搜索結果的相關性在本質上會更好。

只是，讓計算機學會理解和評價網頁內容嗎？ 好像還是很遙遠的事情；花大量的人力一個個網頁評估麼？ 這肯定是虧本的商業行為，只有靠志願者。 ODP庶幾近之，但也只能點擊，用關鍵字搜索時還是無法跟超鏈分析的結果相比。