nutch1.5 linux下的安裝

主要參考源 http://wiki.apache.org/nutch/NutchTutorial

第一部分：安裝

1 建目錄，下載，解壓mkdir nutchwget "http://mirror.bjtu.edu.cn/apache/nutch/1.5/apache-nutch-1.5-bin.tar.gz"tar zxvf apache-nutch-1.5-bin.tar.gz -C /root/wqj/nutch2 測試，及賦予許可權bin/nutchPermission deniedchmod +x bin/nutch

 

如果出現，則證明nutch1.5安裝成功了

 

第二部分：啟動簡單配置的爬蟲

1 添加種子mkdir -p urlscd urlsvim seed.txt

 

2 添加名稱conf/nutch-site.xml vim conf/nutch-site.xml

 

 

3修改過濾器vim  conf/regex-urlfilter.txt將# accept anything else+.替換為+^http://([a-z0-9]*\.)*nutch.apache.org/

 

4 啟動爬蟲

bin/nutch crawl urls -dir crawl -depth 3 -topN 5

爬蟲啟動成功~