Python爬蟲小實踐：爬取任意CSDN部落格所有文章的文字內容（或可改寫為儲存其他的元素），間接增加部落格訪問量

標籤：class   程式碼分析   位置   實踐   https   網站源碼   add   錯誤   存在   

 

 

Python並不是我的主業，當初學Python主要是為了學爬蟲，以為自己覺得能夠從網上爬東西是一件非常神奇又是一件非常有用的事情，因為我們可以擷取一些方面的資料或者其他的東西，反正各有用處。

 

這兩天閑著沒事，主要是讓腦子放鬆一下就寫著爬蟲來玩，上一篇初略的使用BeautifulSoup去爬某個CSDN部落格的基本統計資訊（http://blog.csdn.net/hw140701/article/details/55048364），今天就想要不就直接根據某個CSDN部落格的首頁的地址爬取該部落格的所有文章連結，進而提取每一篇文章中的元素，我這裡是提取每一篇部落格

 

一、主要思路

通過分析CSDN部落格的網站源碼，我們發現當我們輸入某部落客頁網址時，如：http://blog.csdn.net/hw140701

在首頁會有多篇文章，以及文章的連結，預設的是15篇。在首頁部落格的底部會有分頁的連結，如

 

，一共65篇分5頁，每一頁中又包含了15篇文章的連結。

所以我們總體的思路是：

1.輸入部落客頁地址，先擷取當前頁所有文章的連結；

2.擷取每個分頁的連結地址

3.通過每個分頁的連結地址擷取每一個分頁上所有文章的連結地址

4.根據每一篇文章的連結地址，擷取每一篇文章的內容，直到該部落格所有文章都爬取完畢

 

二、程式碼分析

2.1分頁連結源碼分析

用瀏覽器開啟網頁地址，使用開發人員工具查看部落客頁網站源碼，發現分頁連結地址隱藏在下欄標籤之中

 

所以我們通過下列代碼所有分頁連結進行匹配

[python] view plain copy

1. bsObj.findAll("a",href=re.compile("^/([A-Za-z0-9]+)(/article)(/list)(/[0-9]+)*$")):#Regex匹配分頁的連結  

bsObj為BeautifulSoup對象

 

2.2分頁上每一篇文章連結源碼分析

得到每一個分頁的連結後，對每一個分頁上的文章連結源碼進行分析，其源碼如下

 

通過分析，所以我們採取以下的方法進行匹配

[python] view plain copy

1. bsObj.findAll("a",href=re.compile("^/([A-Za-z0-9]+)(/article)(/details)(/[0-9]+)*$"))  

或者

[python] view plain copy

1. bsObj.findAll("span",{"class":"link_title"})  

2.3每一篇文章中文字內容來源碼分析

通過對每一篇文章中的網站源碼進行分析，發現其內容位於源碼中的以下位置

 

所以通過下列代碼進行匹配

[python] view plain copy

1. bsObj.findAll("span",style=re.compile("font-size:([0-9]+)px"))  

3.全部代碼以及結果

現附上全部代碼，注釋部分可能有錯，可以根據此代碼自行修改，去爬取某CSDN部落格中的任意元素

 

[python] view plain copy

1. #__author__ = ‘Administrat  
2. #coding=utf-8  
3. import io  
4. import os  
5. import sys  
6. import urllib  
7. from urllib.request import  urlopen  
8. from urllib  import request  
9. from bs4 import BeautifulSoup  
10. import datetime  
11. import random  
12. import re  
13. import requests  
14. import socket  
15. socket.setdefaulttimeout(5000)#設定全域逾時函數  
18. sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding=‘gb18030‘)  
19. headers1={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0‘}  
20. headers2={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36‘}  
21. headers3={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11‘}  
23. #得到CSDN部落格某一個分頁的所有文章的連結  
24. articles=set()  
25. def getArticleLinks(pageUrl):  
26. #設定代理IP  
27. #代理IP可以上http://zhimaruanjian.com/擷取  
28. proxy_handler=urllib.request.ProxyHandler({‘post‘:‘210.136.17.78:8080‘})  
29. proxy_auth_handler=urllib.request.ProxyBasicAuthHandler()  
30. opener = urllib.request.build_opener(urllib.request.HTTPHandler, proxy_handler)  
31. urllib.request.install_opener(opener)  
32. #擷取網頁資訊  
33. req=request.Request(pageUrl,headers=headers1 or headers2 or headers3)  
34. html=urlopen(req)  
35. bsObj=BeautifulSoup(html.read(),"html.parser")  
36. global articles  
37. #return bsObj.findAll("a",href=re.compile("^/([A-Za-z0-9]+)(/article)(/details)(/[0-9]+)*$"))  
38. #return bsObj.findAll("a")  
39. #for articlelist in bsObj.findAll("span",{"class":"link_title"}):  
40. for articlelist in bsObj.findAll("span",{"class":"link_title"}):#Regex匹配每一篇文章連結  
41. #print(articlelist)  
42. if ‘href‘ in articlelist.a.attrs:  
43. if articlelist.a.attrs["href"] not in articles:  
44. #遇到了新介面  
45. newArticle=articlelist.a.attrs["href"]  
46. #print(newArticle)  
47. articles.add(newArticle)  
48. #articlelinks=getArticleLinks("http://blog.csdn.net/hw140701")  
49. #for list in articlelinks:  
50. #print(list.attrs["href"])  
51. #print(list.a.attrs["href"])  
53. #寫入文本  
54. #def data_out(data):  
55. # with open("E:/CSDN.txt","a+") as out:  
56. # out.write(‘\n‘)  
57. # out.write(data,)  
60. #得到CSDN部落格每一篇文章的文字內容  
61. def getArticleText(articleUrl):  
62. #設定代理IP  
63. #代理IP可以上http://zhimaruanjian.com/擷取  
64. proxy_handler=urllib.request.ProxyHandler({‘https‘:‘111.76.129.200:808‘})  
65. proxy_auth_handler=urllib.request.ProxyBasicAuthHandler()  
66. opener = urllib.request.build_opener(urllib.request.HTTPHandler, proxy_handler)  
67. urllib.request.install_opener(opener)  
68. #擷取網頁資訊  
69. req=request.Request(articleUrl,headers=headers1 or headers2 or headers3)  
70. html=urlopen(req)  
71. bsObj=BeautifulSoup(html.read(),"html.parser")  
72. #擷取文章的文字內容  
73. for textlist in bsObj.findAll("span",style=re.compile("font-size:([0-9]+)px")):#Regex匹配文字內容標籤  
74. print(textlist.get_text())  
75. #data_out(textlist.get_text())  
77. #得到CSDN部落格某個部落客頁上所有分頁的連結，根據分頁連結得到每一篇文章的連結並爬取部落格每篇文章的文字  
78. pages=set()  
79. def getPageLinks(bokezhuye):  
80. #設定代理IP  
81. #代理IP可以上http://zhimaruanjian.com/擷取  
82. proxy_handler=urllib.request.ProxyHandler({‘post‘:‘121.22.252.85:8000‘})  
83. proxy_auth_handler=urllib.request.ProxyBasicAuthHandler()  
84. opener = urllib.request.build_opener(urllib.request.HTTPHandler, proxy_handler)  
85. urllib.request.install_opener(opener)  
86. #擷取網頁資訊  
87. req=request.Request(bokezhuye,headers=headers1 or headers2 or headers3)  
88. html=urlopen(req)  
89. bsObj=BeautifulSoup(html.read(),"html.parser")  
90. #擷取當前頁面(第一頁)的所有文章的連結  
91. getArticleLinks(bokezhuye)  
92. #去除重複的連結  
93. global pages  
94. for pagelist in bsObj.findAll("a",href=re.compile("^/([A-Za-z0-9]+)(/article)(/list)(/[0-9]+)*$")):#Regex匹配分頁的連結  
95. if ‘href‘ in pagelist.attrs:  
96. if pagelist.attrs["href"] not in pages:  
97. #遇到了新的介面  
98. newPage=pagelist.attrs["href"]  
99. #print(newPage)  
100. pages.add(newPage)  
101. #擷取接下來的每一個頁面上的每一篇文章的連結  
102. newPageLink="http://blog.csdn.net/"+newPage  
103. getArticleLinks(newPageLink)  
104. #爬取每一篇文章的文字內容  
105. for articlelist in articles:  
106. newarticlelist="http://blog.csdn.net/"+articlelist  
107. print(newarticlelist)  
108. getArticleText(newarticlelist)  
109. #getArticleLinks("http://blog.csdn.net/hw140701")  
110. getPageLinks("http://blog.csdn.net/hw140701")  
111. #getArticleText("http://blog.csdn.net/hw140701/article/details/55104018")  

 

 

 

 

 

結果

 

 

在其中有時候會出現亂碼，這是由於有空格的存在，暫時還有找到方法解決。

另外在有的時候會出現伺服器沒有響應的錯誤，如下：

 

Python爬蟲小實踐：爬取任意CSDN部落格所有文章的文字內容（或可改寫為儲存其他的元素），間接增加部落格訪問量