web data scraping的各種解決方案

標籤：style   http   java   使用   os   io   檔案   資料   

對於互連網人來說，web data scraping (web資料擷取)已經成為一個迫切而又實在的需求。在如今這個開源的時代，問題往往不在於是否有解決方案，而是如何選擇適合你的解決方案，因為總是有很多潛在的方案供你選擇。web data scraping當然也不例外，筆者認為，我們至少有四種類型的方案可以選擇，

1. web scraping software

專用的資料擷取軟體不需要你編寫任何代碼，你只需要配置一些資訊，例如採集的目標網址、興趣欄位等等。然而，學習如何使用這些軟體卻是一項非常費力的事情，大部分都需要有一定的技術背景，常常需要瞭解的技術有：xpath, html, regular expression。筆者列舉幾款這方面的軟體如下， 

• 火車頭採集器----支援輸出到各種資料庫
• A1 Website Scraper------ 支援輸出到csv檔案；
• bget web data extraction----- 支援輸出到資料庫和csv檔案；

更多這方面的軟體資訊，可以參考這份文檔： collections of web scraping software and server

 

2. web scraping framework

scraping framework可能是developer的最佳選擇，因為其功能強大且效率高，而且有適用於不同平台的framework可供選擇，例如：

• scrapy, python平台
• upton, ruby平台
• pismo, ruby平台
• nokogiri, ruby平台
• node.io, node.js平台
• crawler, node.js平台

筆者認為，python在資料處理方面具有強大的優勢，更重要的是，python也非常適合實際產品的開發，筆者執著而堅定地推薦scrapy作為web scraping的首選.

 

3. web scraping service

如果你只是想獲得資料，而又不願意勞心費神的去學習具體的scraping技術，那麼一家可靠的web scraping service服務商可能是你最好的選擇，比較知名的web scraping service有如下幾個：

• http://80legs.com/services.html
• http://www.grepsr.com/
• http://scrapinghub.com/
• http://www.connotate.com/
• http://scrapinghub.com/

 

4. 其他的選擇

Selenium 原本是瀏覽器自動化測試載入器，但是也可以用於web scraping。 如果你採集的網頁內容是由javascript自動產生的，那麼你可能需要Selenium, 因為其他的scraping方案中的html parser往往都不支援javascript，例如scrapy。另外，有很多網站禁止scraping, 這個時候你也需要Selenium, 因為Selenium完全是類比人的瀏覽行為，Selenium本質上是工作於瀏覽器之上的。

當然，我們也可以選擇很多基於javascript的scraping方案，例如PhantomJS 就是一種非常好的選擇，PhantomJS本質上也是類比了瀏覽器。