放蜘蛛出來爬1000張免費HOT圖片，拋磚引玉引【垂直搜尋】領域高手圍觀

【本文摘要】

由於本人對垂直搜尋有著濃厚興趣，抱著與園子裡高手一起更深入研究，故拋磚引玉，獻上蜘蛛們爬回來的1000張比較Hot的美女圖片給大家（聲明：大家通過本蜘蛛軟體爬出來的圖片，看看就罷了不要傳播）。搜圖片只是垂直搜尋的一個具體應用，不用我詳說，大家也知道前景遠遠不是這些。本文所提供的爬蟲是受限版（僅能爬1000張熱圖），目的不在於本爬蟲和圖片，而是引無數高手一起探討垂直搜尋這個領域。

【預備概念】

垂直搜尋是針對某一個行業的專業搜尋引擎，是搜尋引擎的細分和延伸，是對網頁庫中的某類專門的資訊進行一次整合，定向分欄位抽取出需要的資料進行處理後再以某種形式返回給使用者。相對通用搜尋引擎的資訊量大、查詢不準確、深度不夠等提出來的新的搜尋引擎服務模式，通過針對某一特定領域、某一特定人群或某一特定需求提供的有一定價值的資訊和相關服務。其特點就是“專、精、深”，且具有行業色彩，相比較通用搜尋引擎的海量資訊無序化，垂直搜尋引擎則顯得更加專註、具體和深入。

 【先看結果】

大家可以在機器上裝上至少.NET3.5以上的環境（具體安裝不用介紹，園友們應該都知道），然後下載以下程式直接運行（僅一個EXE檔案）：

 

如果您的瀏覽器不支援上面的表徵圖下載的話，可通過地址https://skydrive.live.com/?cid=35d7be189926747a&id=35D7BE189926747A%211223直接下載。

第一次執行可能會有些慢，這要看你機器的網路速度如何。當看到EXE檔案下有檔案夾出現，且檔案夾裡有圖片，則表示運行正常。一個針對HOT圖片的垂直搜尋的結果就呈現了。

 【再談原理】

由於筆者知識淺薄，僅簡要談一下原理，搜尋是通過一個已知URL地址，然後遍曆到所有的URL地址，也就是讓蜘蛛機器人自己去尋找URL地址（當然不能讓蜘蛛出現死迴圈，會記錄已經爬過的路徑，避免重複），這樣下去，再加上多線程並發，URL地址會越爬越多，可以說在浩瀚互連網裡，應該沒有終點了。

以上，主要是找到了各家伺服器位址，但是如何搜尋具體領域的資料呢？如本文提到的圖片（美女圖）。這裡就要用到Image Recognition，映像本身是一個二進位檔案，蜘蛛機器人不會和我們肉眼那樣去瞅圖片裡的內容是否是美女，還是醜女，它僅僅知道圖片的一些二進位資訊，通過一些演算法來確認圖片內容和格式。

如果上面的第一段的派蜘蛛機器人出去的華是通用搜尋的話，那麼第二段蜘蛛機器人搜尋URL並識別合格的圖片資料則為垂直搜尋了。接下來，再合理的展現給使用者，便是一套完整的流程。本程式會分析搜尋到的圖片像素大小，小圖片會被過濾不儲存，同名的，也會分析內容是否一樣，不一樣的話則重新命名，總之不用擔心大量的小圖片會被下載和檔案重名等問題。如果可以的話再寫一些終端展現UI給使用者，就更完美了。

 

【最後討論】 

說了那麼多，由於時間原因，有些文字可能講得不那麼清楚，但一點很明確，【蜘蛛爬蟲】->【資料】->【終端呈現】，最近剛拿同學的WP7市場一個Student帳號，實驗性地將以“蜘蛛爬蟲”的Demo程式上傳到了微軟Marketplace，很開心的是沒有任何BUG，測試上都通過。接下來，想寫更多的垂直搜尋方面的產品，如一些具體領域的資料抓取，如珠寶市場價格、手機領域銷量、 微博熱門話題等等。最後，大家有麼有什麼更高深的見解在垂直搜尋上面呢？我已經拋磚了，大家就不要再拋了，歡迎提出自己的看法和建議。

 

 【與此相關】

蜘蛛爬蟲網路高像素圖片抓取工具[ZSpider.NET]