Python天天美味(28) – urlopen

一、開啟一個網頁擷取所有的內容

 from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、擷取Http頭

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

 三、使用代理

    1. 查看環境變數

print ""n".join(["%s=%s" % (k, v)  for k, v in os.environ.items()])
print os.getenv("http_proxy")

    2. 設定環境變數

import   os 
os.putenv("http_proxy",   "http://proxyaddr:<port>")

     3. 使用代理

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)

 

Python 天天美味系列（總）

Python 天天美味(26) - __getattr__與__setattr__  

Python 天天美味(27) - 網路編程起步(Socket發送訊息)  

Python 天天美味(28) - urlopen    

Python 天天美味(29) - 調用VC++的動態連結程式庫(DLL) 

Python 天天美味(30) - python資料結構與演算法之快速排序 

..