『Python』爬行搜尋引擎結果獲得指定主機所有次層網域

標籤：

　　　　

0x 00 前言

　　　　前天自己在玩的時候，自己通過百度搜尋主機的次層網域感覺好麻煩，自已要一頁頁的去翻

　　　　而且人工識別是否是重複的次層網域也夠蛋疼的，正好最近在學Regex，權當練手了

0x 00 代碼

　　　　

# coding=utf-8# author:Anka9080import urllibimport urllib2import cookielibimport reurl = ‘http://www.haosou.com/s?src=360sou_newhome&q=site:tjut.edu.cn&pn=1‘req = urllib2.Request(url)res = urllib2.urlopen(req)html = res.read().decode(‘utf-8‘)pageStr = re.search(ur‘找到相關結果約(.*?)個‘,html)page = pageStr.group(1)formatNum = ‘0123456789‘for c in page:    if not c in formatNum:       page = page.replace(c,‘‘)page = int(page) / 10print page# 獲得搜尋結果的頁面數if page > 5:    page = 5newItems = []for p in range(0, page):    url = ‘http://www.haosou.com/s?src=360sou_newhome&q=site:tjut.edu.cn&pn=‘+‘p‘    req = urllib2.Request(url)    res = urllib2.urlopen(req)    html = res.read().decode(‘utf-8‘)    pattern = re.compile(r‘linkinfo\"\>\<cite\>(.+?\.tjut\.edu\.cn)‘)            items = re.findall(pattern, html)        # 去重操作    for item in items:        if item not in newItems:              newItems.append(item)    # 列印去重後的子網域名稱列表                for item in newItems:            print item#print html

　　測試結果如下：

1330www.tjut.edu.cnmy.tjut.edu.cnjw.tjut.edu.cnjyzx.tjut.edu.cnlib.tjut.edu.cncs.tjut.edu.cnyjs.tjut.edu.cnmail.tjut.edu.cnacm.tjut.edu.cnwww.tjut.edu.cnmy.tjut.edu.cnjw.tjut.edu.cnjyzx.tjut.edu.cnlib.tjut.edu.cncs.tjut.edu.cnyjs.tjut.edu.cnmail.tjut.edu.cnacm.tjut.edu.cnwww.tjut.edu.cnmy.tjut.edu.cnjw.tjut.edu.cnjyzx.tjut.edu.cnlib.tjut.edu.cncs.tjut.edu.cnyjs.tjut.edu.cnmail.tjut.edu.cnacm.tjut.edu.cnwww.tjut.edu.cnmy.tjut.edu.cnjw.tjut.edu.cnjyzx.tjut.edu.cnlib.tjut.edu.cncs.tjut.edu.cnyjs.tjut.edu.cnmail.tjut.edu.cnacm.tjut.edu.cnwww.tjut.edu.cnmy.tjut.edu.cnjw.tjut.edu.cnjyzx.tjut.edu.cnlib.tjut.edu.cncs.tjut.edu.cnyjs.tjut.edu.cnmail.tjut.edu.cnacm.tjut.edu.cn

　　

0x 02 總結

　　　　思路大概是這個樣子：

　　　　先通過urllib2.Request() 和 urllib2.urlopen()訪問url

　　　　再從返回結果中得到搜尋結果頁面數 

　　　　為了提高效率 頁面數 大於 5 會只爬行搜尋結果的前5個頁面

　　　　後面 又做了去重操作 然後就得到次層網域列表咯 : )

　　　　中間蛋疼的 地方倒是 Py 的 轉義符號問題  身邊能有個可以問問的大牛多好~

　　　　後期 準備使用 http://dns.aizhan.com/的查詢結果 直接獲得 IP以及旁站資訊

 

文中圖片引自：http://developer.51cto.com/art/201403/431104.htm（原部落格連結失效）

　　　　

『Python』爬行搜尋引擎結果獲得指定主機所有次層網域