python爬蟲基本知識，python爬蟲知識

python爬蟲基本知識，python爬蟲知識

爬蟲簡介

      根據百度百科定義：網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻、自動索引、類比程式或者蠕蟲。     

隨著大資料的不斷髮展，爬蟲這個技術慢慢走入人們的視野，可以說爬蟲是大資料應運而生的產物，至少我解除了大資料才瞭解到爬蟲這一技術

隨著資料的海量增長，我們需要在互連網上選取所需要的資料進行自己研究的分析和實驗。這就用到了爬蟲這一技術，下面就跟著小編一起初遇python爬蟲！

一、要求-回應

在利用python語言實現爬蟲時，主要用到了urllib和urllib2兩個庫。首先用一段代碼說明如下：

 import urllib import urllib2 url="http://www.baidu.com" request=urllib2.Request(url) response=urllib2.urlopen(request) print response.read()

我們知道一個網頁就是以html為骨架，js為肌肉，css為衣服所構成的。上述代碼所實現的功能就是把百度網頁的源碼爬取到本地。

其中，url為要爬取的網頁的網址；request發出請求，response是接受請求後給出的響應。最後用read（）函數輸出的就是百度網頁的源碼。

二、GET-POST

兩者都是向網頁傳遞資料，最重要的區別是GET方式是直接以連結形式訪問，連結中包含了所有的參數，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什麼內容。

POST則不會在網址上顯示所有的參數，不過如果你想直接查看提交了什麼就不太方便了，大家可以酌情選擇。

POST方式：

 import urllib import urllib2 values={'username':'2680559065@qq.com','Password':'XXXX'} data=urllib.urlencode(values) url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn' request=urllib2.Request(url,data) response=urllib2.urlopen(request) print response.read()

GET方式：

import urllibimport urllib2values={'username':'2680559065@qq.com','Password':'XXXX'}data=urllib.urlencode(values)url = "http://passport.csdn.net/account/login"geturl = url + "?"+datarequest=urllib2.Request(geturl)response=urllib2.urlopen(request)print response.read()

三、異常處理

處理異常時，用到了try-except語句。

import urllib2 try:   response=urllib2.urlopen("http://www.xxx.com") except urllib2.URLError,e:   print e.reason

總結

以上所述是小編給大家介紹的python爬蟲基本知識，希望對大家有所協助，如果大家有任何疑問請給我留言，小編會及時回複大家的。在此也非常感謝大家對幫客之家網站的支援！