python第一個爬蟲指令碼

標籤：reg   join   內容   爬蟲   TE   get   class   div   else   

import urllib.request
import re
import os

url = "http://www.budejie.com/" # 爬的地址

def get_page(url):
page = urllib.request.urlopen(url).read() # 擷取到該地址的所有內容
# page=page.decode(‘gbk‘) #轉碼
page = page.decode(‘utf8‘)
return page
#print(page)
def get_content(html):
zz = r‘<div class="j-r-list-c">.+?</div>.+?</div>‘
rge = re.findall(zz,html,re.S)
# reg = re.compile(r‘<div class="j-r-list-c">.+?</div>.+?</div>‘)
# return re.findall(reg,html)
return "".join(rge)

# print(get_page(url))
# print (get_content(get_page(url)))

zz = r‘data-original="(.+?)" title=".+?" alt="(.+?)"/>‘
html = re.findall(zz,get_content(get_page(url)))
print(html)

def mkdir(path):
folder = os.path.exists(path)

if not folder: # 判斷是否存在檔案夾如果不存在則建立為檔案夾
os.makedirs(path) # makedirs 建立檔案時如果路徑不存在會建立這個路徑
print("建立新檔案夾")

print("建立成功")
else:
print("該檔案夾已經存在")

img_path = ‘D:/photo/‘
mkdir(img_path)

img_path = "D:/photo/"
mkdir(img_path)
i = 0

for line in html:
line = html[i]
# 判斷是否是gif圖片
# if str(line[0]).endswith(".gif"):
p1 = line[0]
p2 = line[1]
print(p2 + " " + p1)
url = p1
# 下載gif圖片放到D:/photo/檔案夾裡面
web = urllib.request.urlopen(url)
data = web.read()
f = open(img_path + p2 + ".gif", "wb")
f.write(data)
f.close()
i = i + 1

python第一個爬蟲指令碼