Python爬蟲(二十三)_selenium案例：動態類比頁面點擊

標籤：zip   import   har   case   ant   rgs   html   page   bs4   

本篇主要介紹使用selenium類比點擊下一頁，更多內容請參考:Python學習指南

#-*- coding:utf-8 -*-import unittestfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom bs4 import BeautifulSoupimport timeclass douyuSelenium(unittest.TestCase):    #初始化方法    def setUp(self):        self.driver = webdriver.PhantomJS(service_args=['--ignore-ssl-errors=true', '--ssl-protocol=any'])    #具體的測試案例方法，一定要以test開頭    def testDouyu(self):        self.driver.get("http://www.douyu.com/directory/all")        while True:            #指定xml解析            soup = BeautifulSoup(self.driver.page_source, "lxml")            #返回當前頁面的所有房間標題列表和觀眾人數列表            titles = soup.find_all('h3' , {'class':"ellipsis"})            print(len(titles))            nums = soup.find_all('span', {'class': "dy-num fr"})                # #使用zip()函數把列表合并，並建立一個遠相對的列表[(1, 2), (3, 4)]            for title, num in zip(nums, titles):                print(u'觀眾人數： '+num.get_text().strip(), u'\t房間標題： '+title.get_text().strip())            #page_source.find()未找到內容則返回-1            if self.driver.page_source.find('shark-pager-disable-next') != -1:                break            self.driver.find_element_by_class_name('shark-pager-next').click()            time.sleep(1)    # 退出時的清理方法    def tearDown(self):        print("載入完成...")        self.driver.quit()if __name__ == '__main__':    unittest.main()

Python爬蟲(二十三)_selenium案例：動態類比頁面點擊