python(二)：用python抓取指定網頁

標籤：open   word   cli   字串轉換   urllib   res   read   etc   info   

1、抓取網頁的內容

urlopen(url)函數：這個函數返回一個 http.client.HTTPResponse 對象, 這個對象又有各種方法

#coding=utf-8
import urllib.request

url="http://www.baidu.com/"
data=urllib.request.urlopen(url)
read_data=data.read()
info_data=data.info()
getcode_data=data.getcode()

print(read_data)#擷取url內容
print(info_data)#擷取body體內容
print(getcode_data)#狀態代碼

2、抓取 http://blog.163.com/下所有含“linxi要勇敢”的網頁內容

import urllib
import urllib.request

data={} #字典
data[‘word‘]="linxi要勇敢"
url_values=urllib.parse.urlencode(data) #將data裝換為’word=jecvay+notes‘的字串
url="http://blog.163.com/?"
full_url=url+url_values #data和url合并為full_url

data=urllib.request.urlopen(full_url).read()
#data=data.decode(‘UTF-8‘) #通俗字串轉換為url格式的字串
print(data)

python(二)：用python抓取指定網頁