python爬蟲之Beautifulsoup學習筆記，
相關內容：
首發時間：2018-03-02 00:10
什麼是beautifulsoup:
Beautiful Soup 3 目前已經停止開發,我們推薦在現在的項目中使用Beautiful Soup 4
beautifulsoup的版本：最新版是bs4
bs4的使用： 1.匯入模組：
from bs4 import beautifulsoup
2.選擇解析器解析指定內容：soup=beautifulsoup(解析內容,解析器)
常用解析器：html.parser,lxml,xml,html5lib
有時候需要安裝安裝解析器：比如pip3 install lxml
BeautifulSoup預設支援Python的標準HTML解析庫，但是它也支援一些第三方的解析庫：
解析器之間的區別 #此處摘自官方文檔3.操作【約定soup是beautifulsoup(解析內容,解析器)返回的解析對象】：Beautiful Soup為不同的解析器提供了相同的介面,但解析器本身時有區別的.同一篇文檔被不同的解析器解析後可能會產生不同結構的樹型文檔.區別最大的是HTML解析器和XML解析器,看下面片段被解析成HTML結構:
BeautifulSoup("<a><b /></a>")# <html><head></head><body><a><b></b></a></body></html>因為空白標籤<b />不符合HTML標準,所以解析器把它解析成<b></b>
同樣的文檔使用XML解析如下(解析XML需要安裝lxml庫).注意,空標籤<b />依然被保留,並且文檔前添加了XML頭,而不是被包含在<html>標籤內:
BeautifulSoup("<a><b /></a>", "xml")# <?xml version="1.0" encoding="utf-8"?># <a><b/></a>HTML解析器之間也有區別,如果被解析的HTML文檔是標準格式,那麼解析器之間沒有任何差別,只是解析速度不同,結果都會返回正確的文檔樹.
但是如果被解析文檔不是標準格式,那麼不同的解析器返回結果可能不同.下面例子中,使用lxml解析錯誤格式的文檔,結果</p>標籤被直接忽略掉了:
BeautifulSoup("<a></p>", "lxml")# <html><body><a></a></body></html>使用html5lib庫解析相同文檔會得到不同的結果:
BeautifulSoup("<a></p>", "html5lib")# <html><head></head><body><a><p></p></a></body></html>html5lib庫沒有忽略掉</p>標籤,而是自動補全了標籤,還給文檔樹添加了<head>標籤.
使用pyhton內建庫解析結果如下:
BeautifulSoup("<a></p>", "html.parser")# <a></a>與lxml [7] 庫類似的,Python內建庫忽略掉了</p>標籤,與html5lib庫不同的是標準庫沒有嘗試建立符合標準的文檔格式或將文檔片段包含在<body>標籤內,與lxml不同的是標準庫甚至連<html>標籤都沒有嘗試去添加.
因為文檔片段“<a></p>”是錯誤格式,所以以上解析方式都能算作”正確”,html5lib庫使用的是HTML5的部分標準,所以最接近”正確”.不過所有解析器的結構都能夠被認為是”正常”的.
不同的解析器可能影響代碼執行結果,如果在分發給別人的代碼中使用了 BeautifulSoup ,那麼最好註明使用了哪種解析器,以減少不必要的麻煩.
補充1：上面的篩選方式可以使用嵌套:
print(soup.p.a)#p標籤下的a標籤
補充2：以上的name,text,string,attrs等方法都可以使用在當結果是一個bs4.element.Tag對象的時候:
from bs4 import BeautifulSouphtml = """<html ><head> <meta charset="UTF-8"> <title>this is a title</title></head><body><p class="news">123</p><p class="contents" id="i1">456</p><a href="http://www.baidu.com">advertisements</a></body></html>"""soup = BeautifulSoup(html,'lxml')print("擷取結點".center(50,'-'))print(soup.head)#擷取head標籤print(soup.p)#返回第一個p標籤#擷取結點名print("擷取結點名".center(50,'-'))print(soup.head.name)print(soup.find(id='i1').name)#擷取常值內容print("擷取常值內容".center(50,'-'))print(soup.title.string)#返回title的內容print(soup.title.text)#返回title的內容print(soup.title.get_text())#擷取屬性print("-----擷取屬性-----")print(soup.p.attrs)#以字典形式返回標籤的內容print(soup.p.attrs['class'])#以列表形式返回標籤的值print(soup.p['class'])#以列表形式返回標籤的值print(soup.p.get('class'))#############t=soup.titleprint(type(t))#<class 'bs4.element.Tag'>print(t.name)#titleprint(t.text)#嵌套選擇:print(soup.head.title.string)
補充3:與補充2一樣，上面的函數都可以使用在當結果是一個bs4.element.Tag對象的時候。
from bs4 import BeautifulSouphtml = """<html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><p class="news"><a >123456</a> <a >78910</a></p><p class="contents" id="i1"></p><a href="http://www.baidu.com">advertisements</a><span>aspan</span></body></html>"""soup = BeautifulSoup(html, 'lxml')#擷取子結點print("擷取子結點".center(50,'-'))print(soup.p.contents)print("\n")c=soup.p.children#返回的是一個可迭代對象for i,child in enumerate(c): print(i,child)print("擷取子孫結點".center(50,'-'))print(soup.p.descendants)c2=soup.p.descendantsfor i,child in enumerate(c2): print(i,child)print("擷取父結點".center(50,'-'))c3=soup.title.parentprint(c3)print("擷取父，祖先結點".center(50,'-'))c4=soup.title.parentsprint(c4)for i,child in enumerate(c4): print(i,child)print("擷取兄弟結點".center(50,'-'))print(soup.p.next_sibling)print(soup.p.previous_sibling)for i,child in enumerate(soup.p.next_siblings): print(i,child,end='\t')for i,child in enumerate(soup.p.previous_siblings): print(i,child,end='\t')
find_all( name , attrs , recursive , text , **kwargs ):【根據參數來找出對應的標籤,但只返回所有合格結果】
篩選條件參數介紹：
name：為標籤名,根據標籤名來篩選標籤
attrs:為屬性,，根據屬性索引值對來篩選標籤，賦值方式可以為:屬性名稱=值,attrs={屬性名稱:值}【但由於class是python關鍵字，需要使用class_】
text：為常值內容，根據指定常值內容來篩選出標籤，【單獨使用text作為篩選條件，只會返回text，所以一般與其他條件配合使用】
recursive：指定篩選是否遞迴，當為False時，不會在子結點的後代結點中尋找，只會尋找子結點
擷取到結點後的結果是一個bs4.element.Tag對象，所以對於擷取屬性、常值內容、標籤名等操作可以參考前面“使用標籤篩選結果”時涉及的方法
from bs4 import BeautifulSouphtml = """<html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><p class="news"><a >123456</a> <a id='i2'>78910</a></p><p class="contents" id="i1"></p><a href="http://www.baidu.com">advertisements</a><span>aspan</span></body></html>"""soup = BeautifulSoup(html, 'lxml')print("---------------------")print(soup.find_all('a'),end='\n\n')print(soup.find_all('a')[0])print(soup.find_all(attrs={'id':'i1'}),end='\n\n')print(soup.find_all(class_='news'),end='\n\n')print(soup.find_all('a',text='123456'))#print(soup.find_all(id='i2',recursive=False),end='\n\n')#a=soup.find_all('a')print(a[0].name)print(a[0].text)print(a[0].attrs)
from bs4 import BeautifulSouphtml = """<html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><p class="news"><a >123456</a> <a id='i2'>78910</a></p><p class="contents" id="i1"></p><a href="http://www.baidu.com">advertisements</a><span class="span1" id='i4'>aspan</span></body></html>"""soup = BeautifulSoup(html, 'lxml')sp1=soup.select('span')#返回結果是一個列表，列表的元素是bs4元素標籤對象print(soup.select("#i2"),end='\n\n')print(soup.select(".news"),end='\n\n')print(soup.select(".news #i2"),end='\n\n')print(type(sp1),type(sp1[0]))print(sp1[0].name)#列表裡面的元素才是bs4元素標籤對象print(sp1[0].attrs)print(sp1[0]['class'])
補充4：
對於代碼不齊全的情況下，可以使用soup.prettify()來自動補全,一般情況下建議使用，以避免代碼不齊。
from bs4 import BeautifulSouphtml = """<html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><p class="news"><a >123456</a> <a id='i2'>78910</a></p><p class="contents" id="i1"></p><a href="http://www.baidu.com">advertisements</a><span class="span1" id='i4'>aspan</html>"""soup = BeautifulSoup(html, 'lxml')c=soup.prettify()#上述html字串中末尾缺少</span> 和 </body>print(c)
如果想要獲得更詳細的介紹，可以參考官方文檔，令人高興的是，有了比較簡易的中文版：
https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#id49
Start building with 50+ products and up to 12 months usage for Elastic Compute Service
1 on 1 presale consultation
24/7 Technical Support 6 Free Tickets per Quarter Faster Response
Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.
A comprehensive suite of global cloud computing services to power your business
Payment Methods We Support
