Python爬蟲開發【第1篇】【動態HTML、Selenium、PhantomJS】

標籤：png   state   download   head   ntb   input   彈窗   chrome   stat   

JavaScript

JavaScript 是網路上最常用也是支援者最多的用戶端指令碼語言。它可以收集使用者的跟蹤資料,不需要重載頁面直接提交表單，在頁面嵌入多媒體檔案，甚至運行網頁遊戲。

我們可以在網頁原始碼的<scripy>標籤裡看到，比如：

<script type="text/javascript" src="https://statics.huxiu.com/w/mini/static_2015/js/sea.js?v=201601150944"></script>

jQuery

jQuery是一個十分常見的庫,70% 最流行的網站(約 200 萬)和約 30% 的其他網站(約 2 億)都在使用。一個網站使用 jQuery 的特徵,就是原始碼裡包含了 jQuery 入口,比如:

<script type="text/javascript" src="https://statics.huxiu.com/w/mini/static_2015/js/jquery-1.11.1.min.js?v=201512181512"></script>

如果你在一個網站上看到了 jQuery，那麼採集這個網站資料的時候要格外小心。jQuery 可 以動態地建立 HTML 內容,只有在 JavaScript 代碼執行之後才會顯示。如果你用傳統的方 法採集頁面內容,就只能獲得 JavaScript 代碼執行之前頁面上的內容。

Ajax

我們與網站伺服器通訊的唯一方式，就是發出 HTTP 要求擷取新頁面。如果提交表單之後，或從伺服器擷取資訊之後，網站的頁面不需要重新重新整理，那麼你訪問的網站就在用Ajax 技術。

Ajax其實並不是一門語言,而是用來完成網路任務(可以認為 它與網路資料擷取差不多)的一系列技術。Ajax 全稱是 Asynchronous JavaScript and XML(非同步 JavaScript 和 XML)，網站不需要使用單獨的頁面請求就可以和網路伺服器進行互動 (收發資訊)。

DHTML

Ajax 一樣，動態超文字標記語言(Dynamic HTML, DHTML)也是一系列用於解決網路問題的 技術集合。DHTML 是用用戶端語言改變頁面的 HTML 元素(HTML、CSS，或者二者皆 被改變)。比如頁面上的按鈕只有當使用者移動滑鼠之後才出現,背景色可能每次點擊都會改變，或者用一個 Ajax 請求觸發頁面載入一段新內容，網頁是否屬於DHTML，關鍵要看有沒有用 JavaScript 控制 HTML 和 CSS 元素。

使用 Ajax 或 DHTML 技術改變 / 載入內容的頁面，可能有一些採集手段。但若要用 Python 解決，方法如下：

①、直接從 JavaScript 代碼裡採集內容（費時費力）

②、用 Python 的 第三方庫運行 JavaScript，直接採集你在瀏覽器裡看到的頁面（這個可以有）。

 Selenium

Selenium 可以根據我們的指令，讓瀏覽器自動載入頁面，擷取需要的資料，甚至頁面截屏，或者判斷網站上某些動作是否發生。

Selenium庫https://pypi.python.org/simple/selenium ，可用第三方管理器 pip命令安裝：pip install selenium

Selenium 官方參考文檔：http://selenium-python.readthedocs.io/index.html

 

PhantomJS

PhantomJS是一個基於Webkit的“無介面”(headless)瀏覽器，它會把網站載入到記憶體並執行頁面上的 JavaScript，因為不會展示圖形介面，所以運行起來比完整的瀏覽器要高效。

若將 Selenium 和 PhantomJS 結合在一起，可搭建一個處理 JavaScrip、Cookie、headers，以及任何我們真實使用者需要做的事情。

 

PhantomJS ：http://phantomjs.org/download.html，PhantomJS 是一個功能完善(雖然無介面)的瀏覽器而非一個 Python 庫，所以它不需要像 Python 的其他庫一樣安裝，但可以通過Selenium調用PhantomJS來直接使用

PhantomJS 官方參考文檔：http://phantomjs.org/documentation

 

基礎

Selenium 庫裡有個叫 WebDriver 的 API。WebDriver 有點兒像可以載入網站的瀏覽器，但是它也可以像 BeautifulSoup 或者其他 Selector 對象一樣用來尋找頁面元素，與頁面上的元素進行互動 (發送文本、點擊等)，以及執行其他動作來運行網路爬蟲。

# IPython2 測試代碼# 匯入 webdriverfrom selenium import webdriver# 要想調用鍵盤按鍵動作需要引入keys包from selenium.webdriver.common.keys import Keys# 調用環境變數指定的PhantomJS瀏覽器建立瀏覽器對象driver = webdriver.PhantomJS()# 如果沒有在環境變數指定PhantomJS位置# driver = webdriver.PhantomJS(executable_path="./phantomjs"))# get方法會一直等到頁面被完全載入，然後才會繼續程式，通常測試會在這裡選擇 time.sleep(2)driver.get("http://www.baidu.com/")# 擷取頁面名為 wrapper的id標籤的常值內容data = driver.find_element_by_id("wrapper").text# 列印資料內容print data# 列印頁面標題 "百度一下，你就知道"print driver.title# 產生當前頁面快照並儲存driver.save_screenshot("baidu.png")# id="kw"是百度搜尋輸入框，輸入字串"長城"driver.find_element_by_id("kw").send_keys(u"長城")# id="su"是百度搜尋按鈕，click() 是類比點擊driver.find_element_by_id("su").click()# 擷取新的頁面快照driver.save_screenshot("長城.png")# 列印網頁渲染後的原始碼print driver.page_source# 擷取當前頁面Cookieprint driver.get_cookies()# ctrl+a 全選輸入框內容driver.find_element_by_id("kw").send_keys(Keys.CONTROL,‘a‘)# ctrl+x 剪下輸入框內容driver.find_element_by_id("kw").send_keys(Keys.CONTROL,‘x‘)# 輸入框重新輸入內容driver.find_element_by_id("kw").send_keys("itcast")# 類比Enter斷行符號鍵driver.find_element_by_id("su").send_keys(Keys.RETURN)# 清除輸入框內容driver.find_element_by_id("kw").clear()# 產生新的頁面快照driver.save_screenshot("itcast.png")# 擷取當前urlprint driver.current_url# 關閉當前頁面，如果只有一個頁面，會關閉瀏覽器# driver.close()# 關閉瀏覽器driver.quit()

頁面操作

Selenium 的 WebDriver提供了各種方法來尋找元素，假設下面有一個表單輸入框：

<input type="text" name="user-name" id="passwd-id" />那麼：# 擷取id標籤值element = driver.find_element_by_id("passwd-id")# 擷取name標籤值element = driver.find_element_by_name("user-name")# 擷取標籤名值element = driver.find_elements_by_tag_name("input")# 也可以通過XPath來匹配element = driver.find_element_by_xpath("//input[@id=‘passwd-id‘]")

定位UI元素 (WebElements)

關於元素的選取，有如下的API 單個元素選取

find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

By ID<div id="coolestWidgetEvah">...</div>實現element = driver.find_element_by_id("coolestWidgetEvah")------------------------ or -------------------------from selenium.webdriver.common.by import Byelement = driver.find_element(by=By.ID, value="coolestWidgetEvah")By Class Name<div class="cheese"><span>Cheddar</span></div><div class="cheese"><span>Gouda</span></div>實現cheeses = driver.find_elements_by_class_name("cheese")------------------------ or -------------------------from selenium.webdriver.common.by import Bycheeses = driver.find_elements(By.CLASS_NAME, "cheese")By Tag Name<iframe src="..."></iframe>實現frame = driver.find_element_by_tag_name("iframe")------------------------ or -------------------------from selenium.webdriver.common.by import Byframe = driver.find_element(By.TAG_NAME, "iframe")By Name<input name="cheese" type="text"/>實現cheese = driver.find_element_by_name("cheese")------------------------ or -------------------------from selenium.webdriver.common.by import Bycheese = driver.find_element(By.NAME, "cheese")By Link Text<a href="http://www.google.com/search?q=cheese">cheese</a>實現cheese = driver.find_element_by_link_text("cheese")------------------------ or -------------------------from selenium.webdriver.common.by import Bycheese = driver.find_element(By.LINK_TEXT, "cheese")By Partial Link Text<a href="http://www.google.com/search?q=cheese">search for cheese</a>>實現cheese = driver.find_element_by_partial_link_text("cheese")------------------------ or -------------------------from selenium.webdriver.common.by import Bycheese = driver.find_element(By.PARTIAL_LINK_TEXT, "cheese")By CSS<div id="food"><span class="dairy">milk</span><span class="dairy aged">cheese</span></div>實現cheese = driver.find_element_by_css_selector("#food span.dairy.aged")------------------------ or -------------------------from selenium.webdriver.common.by import Bycheese = driver.find_element(By.CSS_SELECTOR, "#food span.dairy.aged")By XPath<input type="text" name="example" /><INPUT type="text" name="other" />實現inputs = driver.find_elements_by_xpath("//input")------------------------ or -------------------------from selenium.webdriver.common.by import Byinputs = driver.find_elements(By.XPATH, "//input")

 

滑鼠動作鏈

在頁面上類比一些滑鼠操作，可通過匯入 ActionChains 類來做到：

#匯入 ActionChains 類from selenium.webdriver import ActionChains# 滑鼠移動到 ac 位置ac = driver.find_element_by_xpath(‘element‘)ActionChains(driver).move_to_element(ac).perform()# 在 ac 位置單擊ac = driver.find_element_by_xpath("elementA")ActionChains(driver).move_to_element(ac).click(ac).perform()# 在 ac 位置雙擊ac = driver.find_element_by_xpath("elementB")ActionChains(driver).move_to_element(ac).double_click(ac).perform()# 在 ac 位置右擊ac = driver.find_element_by_xpath("elementC")ActionChains(driver).move_to_element(ac).context_click(ac).perform()# 在 ac 位置左鍵單擊hold住ac = driver.find_element_by_xpath(‘elementF‘)ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()# 將 ac1 拖拽到 ac2 位置ac1 = driver.find_element_by_xpath(‘elementD‘)ac2 = driver.find_element_by_xpath(‘elementE‘)ActionChains(driver).drag_and_drop(ac1, ac2).perform()

 

填充表單

當遇到<select> </select>標籤的下拉框，直接點擊下拉框中的選項不一定可行。

<select id="status" class="form-control valid" onchange="" name="status">    <option value=""></option>    <option value="0">未審核</option>    <option value="1">初審通過</option>    <option value="2">複審通過</option>    <option value="3">審核不通過</option></select>

Selenium專門提供了Select類來處理下拉框。 其實 WebDriver 中提供了一個叫 Select 的方法，可以協助我們完成這些事情：

# 匯入 Select 類from selenium.webdriver.support.ui import Select# 找到 name 的選項卡select = Select(driver.find_element_by_name(‘status‘))# select.select_by_index(1)select.select_by_value("0")select.select_by_visible_text(u"未審核")

以上是三種選擇下拉框的方式，它可以根據索引來選擇，可以根據值來選擇，可以根據文字來選擇。注意：

　　index 索引從 0 開始

　　value是option標籤的一個屬性值，並不是顯示在下拉框中的值

　　visible_text是在option標籤文本的值，是顯示在下拉框的值

　　select.deselect_all()全部取消選擇

彈窗處理

當你觸發了某個事件之後，頁面出現了彈窗提示，處理這個提示或者擷取提示資訊方法如下：

alert = driver.switch_to_alert()

頁面切換

一個瀏覽器肯定會有很多視窗，所以我們肯定要有方法來實現視窗的切換。切換視窗的方法如下：

driver.switch_to.window("this is window name")

也可以使用 window_handles 方法來擷取每個視窗的操作對象。例如：

for handle in driver.window_handles:    driver.switch_to_window(handle)

頁面前進和後退

操作頁面的前進和後退功能：

driver.forward()     #前進driver.back()        # 後退

Cookies

擷取頁面每個Cookies值，用法如下：

for cookie in driver.get_cookies():    print "%s -> %s" % (cookie[‘name‘], cookie[‘value‘])

刪除Cookies，用法如下：

# By namedriver.delete_cookie("CookieName")# alldriver.delete_all_cookies()

 

頁面等待

目前，網頁越來越多採用 Ajax 技術，這樣程式便不能確定何時某個元素完全載入出來了。如果實際頁面等待時間過長導致某個dom元素還沒出來，但是你的代碼直接使用了這個WebElement，那麼就會拋出NullPointer的異常。

為了避免這種元素定位困難而且會提高產生 ElementNotVisibleException 的機率。所以 Selenium 提供了兩種等待方式，一種是隱式等待，一種是顯式等待。

隱式等待是等待特定的時間，顯式等待是指定某一條件直到這個條件成立時繼續執行。

 1.顯式等待

顯式等待指定某個條件，然後設定最長等待時間。如果在這個時間還沒有找到元素，那麼便會拋出異常了。

from selenium import webdriverfrom selenium.webdriver.common.by import By# WebDriverWait 庫，負責迴圈等待from selenium.webdriver.support.ui import WebDriverWait# expected_conditions 類，負責條件出發from selenium.webdriver.support import expected_conditions as ECdriver = webdriver.Chrome()driver.get("http://www.xxxxx.com/loading")try:    # 頁面一直迴圈，直到 id="myDynamicElement" 出現    element = WebDriverWait(driver, 10).until(        EC.presence_of_element_located((By.ID, "myDynamicElement"))    )finally:    driver.quit()

如果不寫參數，程式預設會 0.5s 調用一次來查看元素是否已經產生，如果本來元素就是存在的，那麼會立即返回。

下面是一些內建的等待條件，你可以直接調用這些條件，而不用自己寫某些等待條件了。

title_istitle_containspresence_of_element_locatedvisibility_of_element_locatedvisibility_ofpresence_of_all_elements_locatedtext_to_be_present_in_elementtext_to_be_present_in_element_valueframe_to_be_available_and_switch_to_itinvisibility_of_element_locatedelement_to_be_clickable – it is Displayed and Enabled.staleness_ofelement_to_be_selectedelement_located_to_be_selectedelement_selection_state_to_beelement_located_selection_state_to_bealert_is_present

2.隱式等待

隱式等待比較簡單，就是簡單地設定一個等待時間，單位為秒。

from selenium import webdriverdriver = webdriver.Chrome()driver.implicitly_wait(10) # secondsdriver.get("http://www.xxxxx.com/loading")myDynamicElement = driver.find_element_by_id("myDynamicElement")

當然如果不設定，預設等待時間為0。

 

Python爬蟲開發【第1篇】【動態HTML、Selenium、PhantomJS】