Selenium 是一個可以讓瀏覽器自動化地執行一系列任務的工具,常用於自動化測試。不過,也可以用來給網頁。目前,它支援 Java、C#、Ruby 以及 Python 四種用戶端語言。如果你使用 Python,則只需要在命令列裡輸入“sudo easy_install selenium”並斷行符號,即可安裝 selenium 的 Python 版本的用戶端支援。
以 Python 為例,我們可以使用下面的指令碼來給指定頁面(比如指令碼之家首頁):
# -*- coding: utf-8 -*-## author: oldj #from selenium import webdriverimport timedef capture(url, save_fn="capture.png"): browser = webdriver.Firefox() # Get local session of firefox browser.set_window_size(1200, 900) browser.get(url) # Load page browser.execute_script(""" (function () { var y = 0; var step = 100; window.scroll(0, 0); function f() { if (y < document.body.scrollHeight) { y += step; window.scroll(0, y); setTimeout(f, 50); } else { window.scroll(0, 0); document.title += "scroll-done"; } } setTimeout(f, 1000); })(); """) for i in xrange(30): if "scroll-done" in browser.title: break time.sleep(1) browser.save_screenshot(save_fn) browser.close()if __name__ == "__main__": capture("http://www.jb51.net")
注意到,上面的代碼中,我並沒有在開啟頁面後立即,而是先在頁面上執行了一段 JavaScript 指令碼,先將頁面的捲軸拖到最下方,再拖回頂部,然後才。這樣的好處是如果頁面下方有一些消極式載入的內容,在這個操作之後一般也都已載入了。
與 PageSaver 等瀏覽器外掛程式相比,Selenium 功能更為強大,例如,它可以在頁面上注入並執行一段 JS,還可以類比滑鼠點擊等行為,而且可以同時運行多個執行個體(多個線程同時)。這樣看來,使用 Selenium 來給頁面似乎是一個不錯的選擇。