抓取58同城二手手機一個列表頁的對應詳情頁的內容

標籤：.text   lis   .sh   get   58同城   頁面   tle   二手   else   

本來是根據教程上的是區分個人和商家的，但是教程是15年的58同城網站進行了改版，個人的二手物品時跳轉轉轉的，商家的還在58，所以兩個詳情頁面的標籤不再通用，沒有實現個人和商家頁面的跳轉。代碼如下：

from bs4 import BeautifulSoup
import requests
import time
url = ‘http://zhuanzhuan.58.com/detail/883905856824967177z.shtml‘
def get_links_from(who_sells):
    urls = []
    list_view = ‘http://bj.58.com/shouji/{}/‘.format(str(who_sells))
    web_date = requests.get(list_view)
    soup = BeautifulSoup(web_date.text,‘lxml‘)
    for link in soup.select(‘td.t a.t‘):
        urls.append(link.get(‘href‘))
    return urls

def get_info(who_sells=0):
    urls = get_links_from(who_sells)
    for url in urls:
        web_date = requests.get(url)
        soup = BeautifulSoup(web_date.text,‘lxml‘)

        data = {
            ‘title‘:soup.title.text,
            ‘price‘:soup.select(‘span.price_now ‘)[0].text if soup.find_all(‘span‘,‘price_now‘) else None,
            ‘area‘: soup.select(‘div.palce_li > span > i ‘)[0].text if soup.find_all(‘div‘,‘palce_li‘) else None,
            ‘catr‘:‘個人‘if who_sells==0 else ‘商家‘,
            ‘view‘:None,
        }
        print(data)
get_info()

抓取58同城二手手機一個列表頁的對應詳情頁的內容