[python爬蟲]使用urllib函數urlretrieve報錯[socket error][Errno 10054]

標籤：python

為了練手，使用爬蟲爬一個“你懂得”圖床的，使用的是urlretrieve函數，不但速度慢，還總是會報錯，不是open的timeout就是上面提到的socket error。

在網上找了許多辦法諸如請求中加入headers、在調用urllib2.Request.urlopen().read()後需要調用close()等方法並未奏效。
由於不想麻煩scrapy等庫，所以發現了個簡單粗暴的辦法：
直接使用urllib內建的open函數開啟資料流，再以二進位寫入檔案儲存：
參考程式碼片段：其中注釋為原來被替換掉的方法

# urlretrieve速度慢不穩定# urllib.urlretrieve(i, path +‘%s.jpg‘ % ImgNum)urlopen = urllib.URLopener()#下載圖片流fp = urlopen.open(imageUrl)data = fp.read()#清除並以二進位寫入f = open(path + ‘1.jpg‘ , ‘w+b‘)f.write(data)f.close()

[python爬蟲]使用urllib函數urlretrieve報錯[socket error][Errno 10054]