python爬蟲之Splash使用初體驗

標籤：twisted   頁面   python爬蟲   webkit   post   www   ping   輕量級   9.png   

Splash是什麼：

　　Splash是一個Javascript渲染服務。它是一個實現了HTTP API的輕量級瀏覽器，Splash是用Python實現的，同時使用Twisted和QT。Twisted（QT）用來讓服務具有非同步處理能力，以發揮webkit的並發能力。

為什麼要有Splash：

　　為了更加有效製作網頁爬蟲，由於目前很多的網頁通過javascript模式進行互動，簡單的爬取網頁模式無法勝任javascript頁面的產生和ajax網頁的爬取，同時通過分析串連請求的方式來落實局部串連資料請求，相對比較複雜，尤其是對帶有特定時間戳記演算法的頁面，分析難度較大，效率不高。而通過呼叫瀏覽器類比頁面動作模式，需要使用瀏覽器，無法實現非同步和大規模爬取需求。鑒於上述理由Splash也就有了用武之地。一個頁面渲染伺服器，返回渲染後的頁面，便於爬取，便於規模應用。

安裝條件：

 

 

安裝：

　　首先點擊下面連結，從docker官網上下載windows下的docker進行安裝，不過請注意系統要求是**windows1064位 pro及以上版本或者教育版 

 　　官網下載：https://store.docker.com/editions/community/docker-ce-desktop-windows

　　

　　安裝包下載完成後以管理員身份運行。

　　

　　查看資訊：

　　#docker info

　　#docker version

 　　

　　查看啟動的容器

　　

　　在docker中下載安裝Splash鏡像，並安裝

　　#docker pull scrapinghub/splash

 　　啟動splash服務

#啟動splash服務，並通過http，https，telnet提供服務#通常一般使用http模式 ，可以只啟動一個8050就好  #Splash 將運行在 0.0.0.0 at ports 8050 (http), 8051 (https) and 5023 (telnet).docker run -p 5023:5023 -p 8050:8050 -p 8051:8051 scrapinghub/splash

　　

　　

參考連結：https://www.jianshu.com/p/4052926bc12c

 

python爬蟲之Splash使用初體驗