Python 爬蟲實現簡單例子（爬取某個頁面）__Python

Python爬蟲最簡單實現

#!/usr/bin/env python
#coding=utf-8
import  urllib
import urllib2
def login():
    url = 'https://www.oschina.net/action/user/hash_login'
    values= {'userMail':'123@qq.com','userPassword':'123456'}
    headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87Safari/537.36'}
    data = urllib.urlencode(values)
    request = urllib2.Request(url=url,data=data,headers=headers)
    response = urllib2.urlopen(request)
    printresponse.read()
if __name__ == "__main__":
    login()

urllib.urlencode來對輸入的資料進行格式化，urllib2.urlopen後面既可以是一個request對象又可以是一個URL的字串。但是推薦使用的是request對象，因為這樣看起來比較清楚，從建立請求傳入參數，都是比較清晰的。最後對爬到的網頁內容進行輸出即可。

note：在上面的程式中加上了header資訊，並不是所有的網站都是需要加的，但是有些網站禁止爬蟲來爬取這些資訊，所以加上這些資訊之後我們就可以偽造成瀏覽器的訪問請求了。