Python爬蟲教程-24-資料提取-BeautifulSoup4（二）

標籤：attrs   文本   python爬蟲   src   mpi   soup   head   .net   案例   

Python爬蟲教程-24-資料提取-BeautifulSoup4（二）

本篇介紹 bs 如何遍曆一個文檔對象

遍曆文檔對象

• contents：tag 的子節點以列表的方式輸出
• children：子節點以迭代器形式返回
• descendants：所有子孫節點
• string：用string列印出標籤的具體內容，不帶有標籤，只有內容
• 案例代碼27bs3.py檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py27bs3.py

# BeautifulSoup 的使用案例# 遍曆文檔對象from urllib import requestfrom bs4 import BeautifulSoupurl = ‘http://www.baidu.com/‘rsp = request.urlopen(url)content = rsp.read()soup = BeautifulSoup(content, ‘lxml‘)# bs 自動解碼content = soup.prettify()print("=="*12)# 使用 contentsfor node in soup.head.contents:    if node.name == "meta":        print(node)    if node.name == "title":        print(node.string)print("=="*12)

運行結果

常用string列印出標籤的具體內容，不帶有標籤，只有內容
當然，如果覺得遍曆太耗費資源，沒有必要遍曆的時候，可以使用搜尋

搜尋文檔對象

• find_all(name, attrs, recursive, text, ** kwargs)
  • 使用find_all()，返回的列表格式，也就是說如果 find_all(name=‘meta‘) ，如果有多個 meta 就以列表形式返回
  • name 參數：按照哪個字元搜尋，可以傳入的內容為
    • 1.字串
    • 2.Regex，使用正則需要編譯：
      例如：我們需要列印所有以 me 開頭的標籤內容
      tags = soup.find_all(re.compile(‘^me‘))
    • 3.也可以是列表
• keyword 參數，可以用來表示屬性
• text：對應 tag 的文本值
• 案例代碼27bs4.py檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py27bs4.py

# BeautifulSoup 的使用案例# 搜尋文檔對象from urllib import requestfrom bs4 import BeautifulSoupimport reurl = ‘http://www.baidu.com/‘rsp = request.urlopen(url)content = rsp.read()soup = BeautifulSoup(content, ‘lxml‘)# bs 自動解碼content = soup.prettify()# 使用 find_all# 使用 name 參數print("=="*12)tags = soup.find_all(name=‘link‘)for i in tags:    print(i)# 使用Regexprint("=="*12)# 同時使用兩個條件tags = soup.find_all(re.compile(‘^me‘), content=‘always‘)# 這裡直接列印 tags 會列印一個列表for i in tags:    print(i)

運行結果

因為使用兩個條件，所以只匹配到一條 meta
下一篇介紹，BeautifulSoup 的 css 選取器
拜拜

- 本筆記不允許任何個人和組織轉載

Python爬蟲教程-24-資料提取-BeautifulSoup4（二）