(轉)幾個Java的開源爬蟲__Java

轉自：網路，

原始來源不詳

Heritrix

Heritrix是一個開源，可擴充的web爬蟲項目。Heritrix設計成嚴格按照robots.txt檔案的排除指示和META robots標籤。

WebSPHINX

ebSPHINX是一個Java類包和Web爬蟲的互動式開發環境。Web爬蟲(也叫作機器人或蜘蛛)是可以自動瀏覽與處理Web頁面的程式。WebSPHINX由兩部分組成：爬蟲工作平台和WebSPHINX類包。

WebLech

WebLech是一個功能強大的Web網站下載與鏡像工具。它支援按功能需求來下載web網站並能夠儘可能模仿標準Web瀏覽器的行為。WebLech有一個功能控制台並採用多線程操作。

Arale

Arale主要為個人使用而設計，而沒有像其它爬蟲一樣是關注於頁面索引。Arale能夠下載整個web網站或來自web網站的某些資源。Arale還能夠把動態網頁面映射成靜態頁面。

J-Spider

J-Spider:是一個完全可配置和定製的Web Spider引擎.你可以利用它來檢查網站的錯誤(內在的伺服器錯誤等),網站內外部連結檢查，分析網站的結構(可建立一個網站地圖),下載整個Web網站，你還可以寫一個JSpider外掛程式來擴充你所需要的功能。

spindle

pindle是一個構建在Lucene工具包之上的Web索引/搜尋工具.它包括一個用於建立索引的HTTP spider和一個用於搜尋這些索引的搜尋類。spindle項目提供了一組JSP標籤庫使得那些基於JSP的網站不需要開發任何Java類就能夠增加搜 索功能。

Arachnid

Arachnid:是一個基於Java的web spider架構.它包含一個簡單的HTML剖析器能夠分析包含HTML內容的輸入資料流.通過實現Arachnid的子類就能夠開發一個簡單的Web spiders並能夠在Web站上的每個頁面被解析之後增加幾行代碼調用。 Arachnid的下載包中包含兩個spider應用程式例子用於示範如何使用該架構。

LARM

LARM能夠為Jakarta Lucene搜尋引擎架構的使用者提供一個純Java的搜尋解決方案。它包含能夠為檔案，資料庫表格建立索引的方法和為Web網站建索引的爬蟲。

JoBo

JoBo是一個用於下載整個Web網站的簡單工具。它本質是一個Web Spider。與其它下載工具相比較它的主要優勢是能夠自動填滿form(如：自動登入)和使用cookies來處理session。JoBo還有靈活的 下載規則(如：通過網頁的URL，大小，MIME類型等)來限制下載。

snoics-reptile

snoics-reptile是用純Java開發的，用來進行網站鏡像抓取的工具，可以使用配製檔案中提供的URL入口，把這個網站所有的能用瀏覽器通過 GET的方式擷取到的資源全部抓取到本地，包括網頁和各種類型的檔案，如：圖片、flash、mp3、zip、rar、exe等檔案。可以將整個網站完整 地下傳至硬碟內，並能保持原有的網站結構精確不變。只需要把抓取下來的網站放到web伺服器(如：Apache)中，就可以實現完整的網站鏡像。

Web-Harvest

Web-Harvest是一個Java開源Web資料幫浦工具。它能夠收集指定的Web頁面並從這些頁面中提取有用的資料。Web-Harvest主要是運用了像XSLT,XQuery,Regex等這些技術來實現對text/xml的操作。