Python爬蟲DNS解析緩衝方法執行個體分析，python執行個體分析

Python爬蟲DNS解析緩衝方法執行個體分析，python執行個體分析

本文執行個體講述了Python爬蟲DNS解析緩衝方法。分享給大家供大家參考，具體如下：

前言：

這是Python爬蟲中DNS解析緩衝模組中的核心代碼，是去年的代碼了，現在放出來 有興趣的可以看一下。

一般一個網域名稱的DNS解析時間在10~60毫秒之間，這看起來是微不足道，但是對於大型一點的爬蟲而言這就不容忽視了。例如我們要爬新浪微博，同個網域名稱下的請求有1千萬（這已經不算多的了），那麼耗時在10~60萬秒之間，一天才86400秒。也就是說單DNS解析這一項就用了好幾天時間，此時加上DNS解析緩衝，效果就明顯了。

下面直接放代碼，說明在後面。

代碼：

# encoding=utf-8# ---------------------------------------#  版本：0.1#  日期：2016-04-26#  作者：九茶<bone_ace@163.com>#  開發環境：Win64 + Python 2.7# ---------------------------------------import socket# from gevent import socket_dnscache = {}def _setDNSCache():  """ DNS緩衝 """  def _getaddrinfo(*args, **kwargs):    if args in _dnscache:      # print str(args) + " in cache"      return _dnscache[args]    else:      # print str(args) + " not in cache"      _dnscache[args] = socket._getaddrinfo(*args, **kwargs)      return _dnscache[args]  if not hasattr(socket, '_getaddrinfo'):    socket._getaddrinfo = socket.getaddrinfo    socket.getaddrinfo = _getaddrinfo

說明：

其實也沒什麼難度，就是將socket裡面的緩衝儲存下來，避免重複擷取。
可以將上面的代碼放在一個dns_cache.py檔案裡，爬蟲架構裡調用一下這個_setDNSCache()方法就行了。

需要說明一下的是，如果你使用了gevent協程，並且用上了monkey.patch_all()，要注意此時爬蟲已經改用gevent裡面的socket了，DNS解析緩衝模組也應該要用gevent的socket才行。