Selenium+PhantomJS使用初體驗

標籤：oat   .text   字元   print   ant   _id   win   style   elm   

抓取使用Ajax技術完成的網頁內容時可以使用Selenium+PhantomJS技術

1.pip install selenium2.下載Phantomjs不需要用pip 武漢科技大學首頁有一塊使用js非同步載入的網頁內容，

 

抓取這一塊內容的思路是：判斷這一塊是否載入完畢；selenium抓取

在判斷載入完畢這一步可以判斷是否有‘校企合作‘出現

（ps：其實合理的做法是找非同步內容裡面的某個最後載入出來元素，但是這個例子裡面元素沒有多餘的特徵供選擇了）

 1 #coding:utf-8 2 from selenium import webdriver 3 from selenium.webdriver.common.by import By 4 from selenium.webdriver.support.ui import WebDriverWait 5 from selenium.webdriver.support import expected_conditions as EC 6  7 driver = webdriver.PhantomJS(executable_path = ‘C://Python27//Scripts//phantomjs-2.1.1-windows//bin//phantomjs‘) 8 driver.get("http://www.wust.edu.cn/default.html") 9 10 try:11     elment = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.PARTIAL_LINK_TEXT, ‘校企合作‘)))12 finally:13     ul = driver.find_element_by_id(‘infoCont_137575764138965434_148645613741998292‘)14     status = ‘False:‘15     if ul!=None:16         lis = ul.find_elements_by_tag_name(‘li‘)17         if lis==None:18             print(‘查詢失敗‘)19         for li in lis:20             text = li.find_element_by_tag_name(‘a‘).text21             if text!=‘‘:22                 status = ‘Tuple:‘23                 print(status+text)24     driver.close()

這段程式的執行步驟為：

判斷是否有連結包含“校企合作”字串；

找id為infoCont_137575764138965434_148645613741998292的ul標籤

找ul標籤裡面的li標籤

找li標籤裡的a標籤，並提取a標籤的text

值得注意的是：

windows系統需要在首行設定編碼；

使用WebDriverWait判斷網頁載入狀況，比time.sleep效果更好；

非同步載入可能返回比顯示出來更多的li標籤，審查元素可以看到，但是網頁中沒有讓它顯示出來，因此需要判斷text!=‘‘；

標籤不能直接跨層級尋找。

 

運行結果：

 

Selenium+PhantomJS使用初體驗