Python開發爬蟲之BeautifulSoup解析網頁篇：爬取安居客網站上北京二手房資料

標籤：.text   https   bsp   imp   爬取   col   內容   2008年   details   

目標：爬取安居客網站上前10頁北京二手房的資料，包括二手房源的名稱、價格、幾室幾廳、大小、建造年份、連絡人、地址、標籤等。

網址為：https://beijing.anjuke.com/sale/

BeautifulSoup官網：https://www.crummy.com/software/BeautifulSoup/

直接上代碼：

import requestsfrom bs4 import BeautifulSoupheaders={‘user-agent‘:‘Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36‘}link=‘https://beijing.anjuke.com/sale/‘def getHouseInfo(link):    r=requests.get(link,headers=headers)    soup=BeautifulSoup(r.text,‘lxml‘)    house_list=soup.find_all(‘li‘,class_=‘list-item‘)    for house in house_list:        name=house.find(‘div‘,class_=‘house-title‘).a.text.strip()        price=house.find(‘span‘,class_=‘price-det‘).text.strip()        price_area=house.find(‘span‘,class_=‘unit-price‘).text.strip()#單位面積        no_room=house.find(‘div‘,class_=‘details-item‘).span.text#幾室幾廳        area=house.find(‘div‘,class_=‘details-item‘).contents[3].text        floor=house.find(‘div‘,class_=‘details-item‘).contents[5].text        year=house.find(‘div‘,class_=‘details-item‘).contents[7].text        broker=house.find(‘span‘,class_=‘brokername‘).text        broker=broker[1:]        address=house.find(‘span‘,class_=‘comm-address‘).text.strip()        address=address.replace(‘\xa0\xa0\n‘,‘ ‘)        tag_list=house.find_all(‘span‘,class_=‘item-tags‘)        tags=[i.text for i in tag_list]        print(name,price,price_area,no_room,area,floor,year,broker,address,tags)for i in range(1,11):    link=link+‘/p‘+str(i)    print(‘page‘+str(i))    getHouseInfo(link)

相關代碼解析請參照前幾篇部落格以及BeautifulSoup官網。

 輸出結果（由於輸出內容過多，此處僅截取一部分）：

page1宏星地產租售部 新出！1700南花園， 贈500萬紅木傢具 3800萬 106442元/m2 5室2廳 357m2 共3層 2008年建造 夏秋冬 碧水莊園                     昌平-沙河-定泗路 [‘獨棟別墅‘, ‘業主唯一房屋‘, ‘業主房屋‘]沒有不喜歡的！《金泉虔南帶露台的房子？+觀水系花園？》少有啊 990萬 107608元/m2 2室2廳 92m2 高層(共30層) 2009年建造 位春雷 金泉家園                     朝陽-亞運村-大屯路 [‘房型正‘, ‘近地鐵‘, ‘虔南戶型‘]滿五年低首付，車位充足，雙臥南，西北旺，軟體園二期，採光好 875萬 66287元/m2 3室2廳 132m2 低層(共9層) 2008年建造 孫國鵬 山語間(保利西山林語)                     海澱-溫泉鎮-黑龍潭路 [‘配套成熟‘, ‘品質小區 ‘, ‘客廳朝南‘]金色21 羅蘭大道經典戶型，每年出房量有限 勿錯過 730萬 61864元/m2 3室1廳 118m2 高層(共15層) 2009年建造 徐功 永珍新天家園                     朝陽-常營-常營北路10號 [‘近地鐵‘, ‘配套成熟‘, ‘景觀房‘]遠洋LAVIE：法式大獨棟，三面臨湖面，花園3500平米 15800萬 92941元/m2 6室3廳 1700m2 地下(共3層) 2013年建造 張雲鋒 遠洋LAVIE                     朝陽-來廣營-康營東路,近機場高速 [‘配套成熟‘, ‘品質小區 ‘, ‘景觀房‘]白菜價！就是為了賣房！《臥室朝南正對花園+送儲藏間》太棒了！ 1250萬 77639元/m2 3室2廳 161m2 低層(共28層) 2009年建造 位春雷 金泉家園                     朝陽-亞運村-大屯路 [‘配套成熟‘, ‘景觀房‘, ‘拎包入住‘]通州地鐵六號線物資學院路+4.5米洋房公寓+大產權獨立房本 296萬 37000元/m2 2室1廳 80m2 高層(共7層) 2016年建造 孫羽 朝北8080                     通州-北關-濱榆東路 [‘近地鐵‘, ‘配套成熟‘, ‘品質小區 ‘]首 付 100萬 正規一居室 出行方便 15萬裝修 國風美唐 260萬 58956元/m2 1室1廳 44m2 低層(共6層) 2003年建造 田小強 天鑫家園                     昌平-霍營-回龍觀東大街 []京核心趨勢剛需房成家立業，幸福生活開始地方，靠近地鐵出行方便 535萬 70973元/m2 2室1廳 75m2 共4層 2008年建造 唐天童 沿海賽洛城南區                     朝陽-百子灣-廣渠東路33號 [‘近地鐵‘, ‘房型正‘, ‘拎包入住‘]珍惜委託 清河強佑新城 新上正規一居室 滿五年 周期4個月 410萬 70689元/m2 1室1廳 58m2 中層(共27層) 2009年建造 白小偉 強佑清河新城                     海澱-清河-京藏高速輔路,近清河中街 [‘近地鐵‘, ‘配套成熟‘, ‘品質小區 ‘]九州好房源 滿二年 育新花園南裡88平通透大兩居 邊戶 精裝 210萬 23863元/m2 2室2廳 88m2 低層(共9層) 2012年建造 付秋豔 育新花園南裡                     大興-大興區其他-育仁街1號 [‘客廳朝南‘, ‘小戶型‘, ‘一梯兩戶‘]主做德勝門 深度瞭解房源 置業店長博濤精心推介 誠信賣房 2300萬 150326元/m2 4室2廳 153m2 高層(共20層) 2003年建造 劉博濤 陽光麗景                     西城-德勝門-黃寺大街23號 [‘近地鐵‘, ‘近學校‘]綠地國際花都南區 新小區 環境好 南北通透 電梯房 240萬 26086元/m2 2室2廳 92m2 低層(共15層) 2011年建造 杜守亮 綠地國際花都                     密雲-密雲-城后街32號 [‘配套成熟‘, ‘環境優美‘, ‘交通便利‘]僅5w的稅+南排樓+前後左右安靜不臨街+南北雙通透+帶陽台 1100萬 79994元/m2 3室2廳 137m2 低層(共24層) 2007年建造 楊韶峰 澳洲康都                     朝陽-望京西-望京北路39號 [‘素質住戶‘, ‘環境優美‘, ‘品質小區‘]上地西二旗融澤嘉園二期，育翔小學旁明廚明衛三居室 商品房！！ 560萬 53333元/m2 3室1廳 105m2 中層(共34層) 2015年建造 馮寶成 融澤嘉園六號院(西區)                     昌平-回龍觀-龍域西二路6號 [‘配套成熟‘, ‘環境優美‘, ‘次新小區‘]西五環精裝新房，西山甲一號，園博園旁 五期正式入市 等您來看 800萬 57142元/m2 4室2廳 140m2 中層(共16層) 2018年建造 劉珍珍 西山甲一號                     丰台-盧溝橋-長順二路 [‘配套成熟‘, ‘環境優美‘, ‘交通便利‘]《專註星河皓月》雙臥朝南+自住精裝+全天採光+家私全送 210萬 22580元/m2 2室1廳 93m2 低層(共18層) 2010年建造 羅剛 星河皓月                     北京周邊-燕郊-燕順路，近燕興街 [‘配套成熟‘, ‘交通便利‘, ‘素質住戶‘]盛景嘉園東西通透四居室，小板樓帶電梯溫泉入戶，滿五年明廚明衛 1550萬 127049元/m2 4室2廳 122m2 中層(共7層) 2005年建造 譚海軍 盛景嘉園                     西城-陶然亭-福長街68號 [‘近地鐵‘, ‘近學校‘]特價房 特價房 天著春秋精裝洋房 贈80平閣樓+20露台 1935萬 120937元/m2 4室2廳 160m2 高層(共6層) 2018年建造 劉素利 遠洋天著春秋                     石景山-蘋果園-金頂山路 [‘南北通透‘, ‘交通便利‘, ‘素質住戶‘]聯排南端戶、花園200平、已委託鑰匙、看房隨時 1600萬 80000元/m2 5室3廳 200m2 共2層 2001年建造 劉飛劍 香江花園                     朝陽-來廣營-香江北路1號 [‘近地鐵‘, ‘獨棟別墅‘, ‘帶花園‘]換房就選這套！經典實用3居還能觀景！有鑰匙！臨地鐵14號線 1050萬 66878元/m2 3室2廳 157m2 高層(共28層) 2000年建造 王豔鴿 麗水嘉園                     朝陽-朝陽公園西-朝陽公園南路 [‘近地鐵‘, ‘近學校‘, ‘交通便利‘]k2集團強力打造通州園林式住宅社區、南北通透格局、30萬首付 205萬 26623元/m2 2室2廳 77m2 高層(共20層) 2018年建造 于海瑞 K2十裡春風                     通州-通州區其他-漷小路 [‘南北通透‘, ‘交通便利‘, ‘素質住戶‘]新出可看！200平花園 2015年全新裝修 大聯排！ 6399萬 110039元/m2 6室4廳 581m2 共3層 2012年建造 吳鵬 亞運新新家園                     朝陽-亞運村-辛店路1號 [‘近地鐵‘, ‘低總價‘]。。。。。。。。精裝修 隨時看房 南北通透 直接拎包入住 無稅 真實照片 235萬 20434元/m2 3室2廳 115m2 中層(共6層) 2000年建造 楊興 明珠花園(東區)                     密雲-密雲-西大橋路 [‘品質小區 ‘, ‘一梯兩戶‘, ‘遠離馬路‘]page10安華裡一區新上兩居室，出行方便，臨近公園，帶自建 480萬 96000元/m2 2室1廳 50m2 低層(共6層) 1989年建造 李朋 安華裡一區                     朝陽-安貞-安定門外大街 [‘近地鐵‘, ‘配套成熟‘, ‘素質住戶‘]朝陽5層別墅，婚房標準，全新未住，同看雙瓏原著、中糧瑞府 3000萬 94637元/m2 4室3廳 317m2 共3層 2016年建造 董偉婧 泰禾北京院子                     朝陽-來廣營-順黃路 []大廠潮白河孔雀城伯頓莊園雙庭堡別墅業主著急出售有鑰匙隨時看房 756萬 24000元/m2 5室2廳 315m2 共3層 2014年建造 田偉民 潮白河孔雀城伯頓莊園(別墅)                     北京周邊-廊坊-侯譚線 [‘配套成熟‘, ‘素質住戶‘, ‘安全性高‘]優山美地 精裝雙拼 花園200平 臨近順義英國* 隨時看 2680萬 63058元/m2 4室2廳 425m2 共4層 2008年建造 李豆豆 優山美地C區                     順義-中央別墅區-裕園路 [‘配套成熟‘, ‘採光好‘, ‘環境優美‘]。。。。。。

 

 

參考書目：唐松，來自《Python 網路爬蟲：從入門到實踐》

 

Python開發爬蟲之BeautifulSoup解析網頁篇：爬取安居客網站上北京二手房資料