搜尋引擎簡史隨筆記載

仲介交易 SEO診斷 淘寶客 雲主機 技術大廳

2006年低，接到一個朋友的委託，幫忙整理搜尋引擎的發展歷史，於是春節期間花了點時間整理出來一份粗糙的簡史。 以為自己研究互聯網歷史的一點筆記吧。

1、        搜尋引擎的發展歷史
1）         搜索簡史History of Search
緣起「亞奇」
網路搜尋引擎的歷史可以追溯到1991年。 最早的搜尋引擎是麥吉爾大學（McGill University）開發的「亞奇」（Archie）。 「亞奇」允許對網站上的檔案名進行關鍵字搜索。

1992年「Gopher」（萬維網的先驅）的降臨帶來了「維羅妮卡」（VERONICA）搜尋引擎的誕生（Poulter，1997），它允許多詞檢索和布林檢索（就是可以使用and和or等運算子搜索）。 儘管有這些早期的進步，1994年才真正算互聯網發展的一個分水嶺，不僅僅因為在這一年裡萬維網開始普及，還因為在這一年中出現了兩個專案，後來都被當作免費服務對公眾開放——它們共同改變了互聯網發展的歷程。

到1994年，今天互聯網流行的兩類搜索服務——關鍵字搜索和主題目錄就已出現（Poutler，1997）。 第一個成功的全文關鍵字搜尋引擎「網路爬行者」（Webcrawler）那時也誕生了，並且發展成為最成功的早期「網路機器人」（Web Robot)之一（注釋2：本質上，網路機器人是一種不斷在網路上巡遊的程式， 它隨著連接去尋找網頁並自己月度網頁。 每發現一個頁面，就將它複製到資料庫中，這樣人們利用關鍵字就能找到它。 ）。 在網上尋找資訊方面的技術進展受到了廣泛歡迎。 布賴恩·平克頓（Brian Pinkerton）的「網路爬行者」很快帶動了現在更有名的搜尋引擎如Lycos和AltaVista的出現。

1994年1月，第一個既可搜索又可流覽的分類目錄EINet Galaxy（Tradewave Galaxy）上線，除了網站搜索，它還支援Gopher和Telnet搜索。

雅虎出現
這一年4月，斯坦福（Stanford）大學的兩名博士生，David Filo和美籍華人楊致遠（Gerry Yang）共同創辦了超級目錄索引Yahoo，並成功地使搜尋引擎的概念深入人心。 從此搜尋引擎進入了高速發展時期。 Stanford兩名博士生，美籍華人Jerry Yang（楊致遠）和David Filo共同創辦了Yahoo。 隨著訪問量和收錄連結數的增長，Yahoo目錄開始支援簡單的資料庫搜索。 因為Yahoo!的資料是手工輸入的，所以不能真正被歸為搜尋引擎，事實上只是一個可搜索的目錄。 但雅虎的出現使得分類搜索進入搜尋引擎的視野，由於搜索效率的明顯提高，非常受歡迎。 Yahoo此後陸續採用Altavista、Inktomi、Google提供搜尋引擎服務，是搜尋引擎發展中很多主要技術的跟蹤者和推行者，因此其存在對於搜尋引擎來說意義非常，由於並非本文的主題，因此不在此贅述。

全文檢索搜尋
1994年4月20日，WebCrawler正式亮相。 WebCrawler是互聯網上第一個支援搜索檔全部文字的全文搜尋引擎，後來webcrawler陸續被AOL和Excite收購，現在和excite一樣改用元搜尋引擎Dogpile。 此後全文檢索搜尋漸漸成為大多數搜尋引擎的功能。

現代意義的搜尋引擎
Lycos，號稱最早的現代意義上的搜尋引擎出現于1994年7月。 當時Michael Mauldin將John Leavitt的編目程式接入到其索引程式中，創建了大家現在熟知的Lycos。 Lycos（Carnegie Mellon University Center for Machine Translation Announces Lycos）是搜尋引擎史上又一個重要的進步。 Carnegie Mellon University的Michael Mauldin將John Leavitt的spider程式接入到其索引程式中，創建了Lycos。 1994年7月20日，資料量為54,000的Lycos正式發佈。 除了相關性排序外，Lycos還提供了首碼匹配和字元相近限制，Lycos第一個在搜尋結果中使用了網頁自動摘要，而最大的優勢還是它遠勝過其它搜尋引擎的資料量：1994年8月－－394,000 documents ；1995年1月－－1.5 million documents；1996年11月－－over 60 million documents。 （注：1999年4月，Lycos停止自己的Spider，改由Fast提供搜尋引擎服務）

使用者介面和附加服務的革新
Infoseek（Steve Kirsch Announces Free Demos Of the Infoseek Search Engine）是另一個重要的搜尋引擎，雖然公司聲稱1994年1月已創立，但直到年底它的搜尋引擎才與公眾見面。 起初，Infoseek只是一個不起眼的搜尋引擎，它沿襲Yahoo!和Lycos的概念，並沒有什麼獨特的革新。 但是它的發展史和後來受到的眾口稱讚證明，起初第一個登臺並不總是很重要。 Infoseek友善的使用者介面、大量附加服務（such as UPS tracking, News, a directory, and the like) 使它聲望日隆。 而1995年12月與Netscape的戰略性協定，使它成為一個強勢搜尋引擎：當使用者點擊Netscape瀏覽器上的搜尋按鈕時，彈出Infoseek的搜索服務，而此前由Yahoo!提供該服務。 （注：Infoseek後來曾以相關性聞名，2001年2月，Infoseek停止了自己的搜尋引擎，開始改用Overture的搜尋結果）

差強人意的元搜尋引擎
1995年，一種新的搜尋引擎形式出現了--元搜尋引擎（A Meta Search Engine Roundup）。 使用者只需提交一次搜索請求，由元搜尋引擎負責轉換處理後提交給多個預先選定的獨立搜尋引擎，並將從各獨立搜尋引擎返回的所有查詢結果，集中起來處理後再返回給使用者。 第一個元搜尋引擎，是Washington大學碩士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。 元搜尋引擎概念上好聽，但搜索效果始終不理想，所以沒有哪個元搜尋引擎有過強勢地位。

自然語法的誕生
AltaVista DEC的AltaVista(2001年夏季起部分網友需通過p-roxy訪問，無p-roxy可用qbseach單選altavista搜索，只能顯示第一頁搜尋結果)是一個遲到者， 1995年12月才登場亮相（AltaVista Public Beta Press Release ）。 但是，大量的創新功能使它迅速到達當時搜尋引擎的頂峰。 Altavista最突出的優勢是它的速度（搜尋引擎9238：比較搞笑，設計altavista的目的，據說只是為了展示DEC Alpha晶片的強大運算能力）。

而Altavista的另一些新功能，則永遠改變了搜尋引擎的定義。 AltaVista是第一個支援自然語言搜尋的搜尋引擎，AltaVista是第一個實現高級搜索語法的搜尋引擎（如AND, OR, NOT等)。 使用者可以用AltaVista搜索Newsgroups（新聞群組）的內容並從互聯網上獲得文章，還可以搜索圖片名稱中的文字、搜索Titles、搜索JAVA applets、搜索ActiveX objects。 AltaVista也聲稱是第一個支援使用者自己向網頁索引庫提交或刪除URL的搜尋引擎，並能在24小時內上線。 AltaVista最有趣的新功能之一，是搜索有連結指向某個URL的所有網站。 在面向使用者的介面上，AltaVista也作了大量革新。 它在搜索框區域下放了「tips」以説明使用者更好的表達搜索式，這些小tip經常更新，這樣，在搜索過幾次以後，使用者會看到很多他們可能從來不知道的的有趣功能。 這系列功能，逐漸被其它搜尋引擎廣泛採用。 1997年，AltaVista發佈了一個圖形演示系統LiveTopics，説明使用者從成千上萬的搜尋結果中找到想要的。

個人化搜索
1995年9月26日，加州伯克利分校CS助教Eric Brewer、博士生Paul Gauthier創立了Inktomi（UC Berkeley Announces Inktomi），1996年5月20日，Inktomi公司成立， 強大的HotBot出現在世人面前。 聲稱每天能抓取索引1千萬頁以上，所以有遠超過其它搜尋引擎的新內容。 HotBot也大量運用cookie儲存使用者的個人搜索喜好設置。 （Hotbot曾是隨後幾年最受歡迎的搜尋引擎之一，後被Lycos收購）雖然Hotbot並未存在很久，但其「個人化搜索」的概念現今已經是搜尋引擎開發商的經典。

Alexa
1996年4月，Alexa出現，這是一個通過安裝在用戶端的軟體來收集客戶訪問的網頁的引擎，根據客戶的訪問和滯留時間來判斷一個網頁的價值從而決定其結果中的排列順序。 其Traffic Rank模式一定程度上成為了網站的價值評定依據。 這也是對於大量使用cookie來搜集客戶資料的方式的一個進步。 經過多年的沉澱，Alexa已經一定程度上成為網站好壞的評判標準之一。

搜尋引擎的資料庫時代
1997年8月，Northernlight搜尋引擎正式現身。 它曾是擁有最大資料庫的搜尋引擎之一，它沒有Stop Words，它有出色的Current News、7,100多出版物組成的Special Collection、良好的高級搜索語法，第一個支援對搜尋結果進行簡單的自動分類。 （2002年1月16日，Northernlight公共搜尋引擎關閉，隨後被divine收購，但在Nlresearch，選中World Wide Web only，仍可使用Northernlight搜尋引擎）它的出現， 也預示著的資料庫應用已經成為搜尋引擎發展潮流的一個必然趨勢。

中文搜尋引擎的出現
1998年1月，Openfind 創立，其技術源自臺灣中正大學吳升教授所領導的GAIS實驗室。 Openfind起先只做中文搜尋引擎，曾經是最好的中文搜尋引擎，鼎盛時期同時為三大著名門戶新浪、奇摩、雅虎提供中文搜尋引擎。

1998年2月，中國人自己的搜尋引擎「搜狐」問世，「出門靠地圖，上網找搜狐」開始了中國互聯網的門戶時代。

2000年，百度中國成立，致力做世界最大的搜尋引擎、中國的google。 並在納斯達克順利上市，創造了中國互聯網又一個神話。

不得不提的Google
Google公司把1998年9月27日認作自己的生日。 1998年10月之前，Google只是Stanford大學的一個小專案BackRub。 1995年博士生Larry Page開始學習搜尋引擎設計，于1997年9月15日註冊了google.com的功能變數名稱，1997年底，在Sergey Brin和Scott Hassan、Alan Steremberg的共同參與下， BachRub開始提供Demo。 1999年2月，Google完成了從Alpha版到Beta版的蛻變。 Google在Pagerank、動態摘要、網頁快照、DailyRefresh、多文檔格式支援、地圖股票詞典尋人等集成搜索、多語言支援、使用者介面等功能上的革新，象Altavista一樣，再一次永遠改變了搜尋引擎的定義。

在2000年中期以前，Google雖然以搜索準確性備受讚譽，但因為資料庫不如其它搜尋引擎大，缺乏高級搜索語法，所以使用價值不是很高，推廣並不快。 直到2000年中資料庫升級並被Yahoo選作搜尋引擎之後，Google才一飛沖天。

2002年12月，Google推出了商品購物搜尋引擎Froogle。 使用者在搜索框中輸入想購買的產品名稱，Google將返回從各個購物網站/網上商店上抓取的資訊，包括產品圖片、產品介紹、價格以及對應的網站連結。 此外Google還提供了14個大類的產品分類檢索，以及限定價格或價格區間等高級搜索功能。

同年6月，Google正式推出了Google Adsense服務，根據網頁內容展示相應廣告。

2005年——2006年，google通過一連串的舉動，向圖像搜索、地圖搜索、視頻搜索等領域均有突破。 可以說，一切都可以以搜索為起點。

2007年1月Google稱即將推出基於adsense的音樂視頻分銷服務