使用Python寫的第一個網路爬蟲程式，python爬蟲

使用Python寫的第一個網路爬蟲程式，python爬蟲

今天嘗試使用python寫一個網路爬蟲代碼，主要是想訪問某個網站，從中選取感興趣的資訊，並將資訊按照一定的格式儲存早Excel中。

此代碼中主要使用到了python的以下幾個功能，由於對python不熟悉，把代碼也粘貼在下面。

1， 使用url開啟網站網頁

import urllib2data = urllib2.urlopen(string_full_link).read().decode('utf8')

print data

2，使用Regex匹配

import re#一般的英文匹配reg = """a href=\S* target='_blank' title=\S*"""dicList = re.compile(reg).findall(data)print dicList

#中文的正則匹配，需要使用中文對應的unicode碼reg=u"\u5730\u5740\S*"      #“地址”對應的 unicode codeaddrList = re.compile(reg).findall(sub_data)

print addrList

3，寫資料到excel檔案

import xlrdimport xlwt        file = xlwt.Workbook()        table = file.add_sheet('hk', cell_overwrite_ok=True)        print index, name, addr, tel        table.write(index, 0, name)        table.write(index, 1, addr)        table.write(index, 2, tel)                file.save("""D:\\test.xls""")