python爬蟲爬取網頁表格式資料，python爬蟲網頁表格

python爬蟲爬取網頁表格式資料，python爬蟲網頁表格

用python爬取網頁表格式資料，供大家參考，具體內容如下

from bs4 import BeautifulSoup import requests import csv import bs4   #檢查url地址 def check_link(url):  try:      r = requests.get(url)   r.raise_for_status()   r.encoding = r.apparent_encoding   return r.text  except:   print('無法連結的伺服器！！！')   #爬取資源 def get_contents(ulist,rurl):  soup = BeautifulSoup(rurl,'lxml')  trs = soup.find_all('tr')  for tr in trs:   ui = []   for td in tr:    ui.append(td.string)   ulist.append(ui)   #儲存資源 def save_contents(urlist):  with open("D:/2016年中國企業500強熱門排行榜.csv",'w') as f:   writer = csv.writer(f)   writer.writerow(['2016年中國企業500強熱門排行榜'])   for i in range(len(urlist)):    writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]]) def main():  urli = []  url = "http://www.maigoo.com/news/463071.html"  rs = check_link(url)  get_contents(urli,rs)  save_contents(urli)  main() 

以上就是本文的全部內容，希望對大家的學習有所協助，也希望大家多多支援幫客之家。