python爬蟲:BeautifulSoup 使用select方法詳解

來源:互聯網
上載者:User

標籤:元素   篩選   python   time   style   檔案   pytho   http   body   

 1 html = """ 2 <html><head><title>The Dormouse‘s story</title></head> 3 <body> 4 <p class="title" name="dromouse"><b>The Dormouse‘s story</b></p> 5 <p class="story">Once upon a time there were three little sisters; and their names were 6 <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>, 7 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and 8 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; 9 and they lived at the bottom of a well.</p>10 <p class="story">...</p>11 """

 

我們在寫 CSS 時,標籤名不加任何修飾,類名前加點,id名前加 #,在這裡我們也可以利用類似的方法來篩選元素,用到的方法是 soup.select(),傳回型別是 list
(1)通過標籤名尋找
 

print soup.select(‘title‘) #[<title>The Dormouse‘s story</title>] print soup.select(‘a‘)#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] print soup.select(‘b‘)#[<b>The Dormouse‘s story</b>]

(2)通過類名尋找
 

print soup.select(‘.sister‘)#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

(3)通過 id 名尋找
 

print soup.select(‘#link1‘)#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

(4)組合尋找

組合尋找即和寫 class 檔案時,標籤名與類名、id名進行的組合原理是一樣的,例如尋找 p 標籤中,id 等於 link1的內容,二者需要用空格分開
 

print soup.select(‘p #link1‘)#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

直接子標籤尋找
 

print soup.select("head > title")#[<title>The Dormouse‘s story</title>]

(5)屬性尋找

尋找時還可以加入屬性元素,屬性需要用中括弧括起來,注意屬性和標籤屬於同一節點,所以中間不能加空格,否則會無法匹配到。
 

print soup.select("head > title")#[<title>The Dormouse‘s story</title>] print soup.select(‘a[href="http://example.com/elsie"]‘)#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

同樣,屬性仍然可以與上述尋找方式組合,不在同一節點的空格隔開,同一節點的不加空格
 

print soup.select(‘p a[href="http://example.com/elsie"]‘)#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

python爬蟲:BeautifulSoup 使用select方法詳解

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.