Python學習筆記之爬蟲1

標籤：rom   down   資料   ram   for迴圈   idt   app   pos   soup   

 爬蟲的操作步驟：

 

爬蟲三步走

• 爬蟲第一步：使用requests獲得資料：
  1.匯入requests
  2.使用requests.get擷取網頁源碼

• import requestsr = requests.get(‘https://book.douban.com/subject/1084336/comments/‘).text

  　　

  　　

• 爬蟲第二步：使用BeautifulSoup4解析資料：
  1.匯入bs4
  2.解析網頁資料
  3.尋找資料
  4.for迴圈列印

from bs4 import BeautifulSoupsoup = BeautifulSoup(r,‘lxml‘)pattern = soup.find_all(‘p‘,‘comment-content‘)for item in pattern:print(item.string)

　　

• 爬蟲第三步：使用pandas儲存資料：
  1.匯入pandas
  2.建立list對象
  3.使用to_csv寫入

import pandascomments = []for item in pattern:comments.append(item.string)df = pandas.DataFrame(comments)df.to_csv(‘comments.csv‘)

　　 

完整的爬蟲

import requestsr = requests.get(‘https://book.douban.com/subject/1084336/comments/‘).text from bs4 import BeautifulSoupsoup = BeautifulSoup(r,‘lxml‘)pattern = soup.find_all(‘p‘,‘comment-content‘)for item in pattern:print(item.string) import pandascomments = []for item in pattern:comments.append(item.string)df = pandas.DataFrame(comments)df.to_csv(‘comments.csv‘)

代碼運行結果：

　　

Python學習筆記之爬蟲1