【Python指令碼】-Python尋找可用代理IP__Python

在用Python爬蟲時，我們有時會用到IP代理。無意中發現一個免費代理IP的網站：http://www.xicidaili.com/nn/。但是，發現很多IP都用不了。故用Python寫了個指令碼，該指令碼可以把能用的代理IP檢測出來。指令碼如下：

#encoding=utf8import urllib2from bs4 import BeautifulSoupimport urllibimport socketUser_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'header = {}header['User-Agent'] = User_Agent'''擷取所有代理IP地址'''def getProxyIp():    proxy = []    for i in range(1,2):        try:            url = 'http://www.xicidaili.com/nn/'+str(i)            req = urllib2.Request(url,headers=header)            res = urllib2.urlopen(req).read()            soup = BeautifulSoup(res)            ips = soup.findAll('tr')            for x in range(1,len(ips)):                ip = ips[x]                tds = ip.findAll("td")                ip_temp = tds[1].contents[0]+"\t"+tds[2].contents[0]                proxy.append(ip_temp)        except:            continue    return proxy'''驗證獲得的代理IP地址是否可用'''def validateIp(proxy):    url = "http://ip.chinaz.com/getip.aspx"    f = open("E:\ip.txt","w")    socket.setdefaulttimeout(3)    for i in range(0,len(proxy)):        try:            ip = proxy[i].strip().split("\t")            proxy_host = "http://"+ip[0]+":"+ip[1]            proxy_temp = {"http":proxy_host}            res = urllib.urlopen(url,proxies=proxy_temp).read()            f.write(proxy[i]+'\n')            print proxy[i]        except Exception,e:            continue    f.close()if __name__ == '__main__':    proxy = getProxyIp()    validateIp(proxy)

運行成功後，開啟E盤下的檔案，可以看到如下可用的代理IP地址和連接埠：

這隻是爬取的第一頁的IP地址，如有需要，可以多爬取幾頁。同時，該網站是時時更新的，建議爬取時只爬取前幾頁的即可。