第1.1章 scrapy之python爬蟲準備__python

scrapy
Scrapy，Python開發的一個快速,高層次的螢幕抓取和web抓取架構，用於抓取web網站並從頁面中提取結構化的資料。Scrapy用途廣泛，可以用於資料採礦、監測和自動化測試
scrapy入門教程, 它的安裝參考scrapy安裝指南 Beautiful Soup
執行命令pip install beautifulsoup4，針對的是python2, PyQuery
PyQuery 是 Python 仿照 jQuery 的嚴格實現。文法與 jQuery 幾乎完全相同，所以不用再去費心去記一些奇怪的方法了，執行命令pip install pyquery進行安裝
pyquery官網 pyspider
PhantomJS 是一個基於 WebKit 的伺服器端 JavaScript API。它全面支援web而不需瀏覽器支援，其快速、原生支援各種Web標準：DOM 處理、CSS 選取器、JSON、Canvas 和 SVG。 PhantomJS 可以用於頁面自動化、網路監測、網頁截屏以及無介面測試等。執行命令pip install pyspider進行安裝
pyspider官網

參考資料
Python爬蟲進階一之爬蟲架構概述
Python爬蟲進階二之PySpider架構安裝配置
Python爬蟲利器六之PyQuery的用法
Python爬蟲利器二之Beautiful Soup的用法
Python爬蟲實戰六之抓取愛問知識人問題並儲存至資料庫