標籤:瀏覽器 erro 伺服器 pycurl nss 兩種 elf 環境變數 回呼函數
在python上使用SSL有許多情境,我主要關注的是使用python訪問HTTPS資源,以及使用python提供HTTPS服務。(HTTPS是SSL在WEB上的應用之一)
一、使用python訪問HTTPS網站
這應該算是最簡單也是最常見的情境了。我們使用python做為用戶端去訪問公網上的網站,而這個網站為了傳輸安全(避免被劫持或者竊聽)使用了HTTPS服務,傳輸過程內容都經過了SSL加密。下面來看下具體的python代碼,這裡使用的是python2.7.11,用的是python內建的urllib2。當然你也可以使用requests或者pycurl等第三方庫,都可以,原理都是一樣的,只是實現的手段有些差異而已。
import urllib2
import ssl
if __name__ == ‘__main__‘:
myurl="https://www.baidu.com"
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error :%s" % str(ex)
運行它,我們就可以得到這個網站上的內容了。並且傳輸過程都經過了加密。是不是很簡單。整個的傳輸過程大概是這樣的,用戶端請求SSL串連握手(其中會跟伺服器有些SSL協議之間的互動,這個我們不用詳細去研究)伺服器把自己的認證傳給用戶端,用戶端對這個認證進行認證(每台用戶端電腦上都會預設安裝一些權威CA(認證簽發機構)的認證,這個認證就是使用這些認證進行的,python的ssl模組會自動載入這些權威CA認證,當然你也可以自己指定,這個後面會談到),確保這個認證是由可信的CA頒布的(用戶端對服務端認證進行認證這個操作,是從python2.7.9開始才有的,以前版本的是不進行認證的),之後就是利用認證交換密鑰後,使用金鑰組傳輸內容進行加密傳輸。
互連網上大部分的正規網站都是會有自己的認證的,這些認證都是經過權威CA認證的,可以被認為是可信的(其實這個也不一定,前段時間就有過Google封殺賽門鐵克CA簽發的認證的事件,有興趣的可以去網上搜尋看看)。但是同樣也有不少網站,由於各種各樣的原因沒有這些經過權威CA認證的認證,畢竟申請這些認證流程比較麻煩,並且要支付一定的費用。這些網站也可以提供安全的HTTPS服務,但由於他們的認證是自簽名的或者是由非權威的CA頒發的(這兩種認證後面會談到),所以會被認為是不可信的。當使用瀏覽器開啟這些網站時,瀏覽器會提醒你這是不安全的串連,當然這個不安全是指網站未經權威認證,所以網站本身可能不安全,但在網路傳輸層面上來看,傳輸是安全的。那我們訪問這些網站時,使用上面的代碼會有錯誤提示,下面代碼就是訪問一個這是我自己建立的一個HTTPS網站https://127.0.0.1:8443,該網站使用的是自簽名的認證。如果你使用Google瀏覽器訪問會提示你:您的串連不是私密串連,如果你強制串連則會提示不安全
import urllib2
import ssl
if __name__ == ‘__main__‘:
myurl="https://127.0.0.1:8443"
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error :%s" % str(ex)
運行這個就會出現錯誤:
提示認證校正錯誤。這時如果我們想要訪問這樣的網站就要把用戶端的認證校正關閉。在前面加上一句:ssl._create_default_https_context = ssl._create_unverified_context即可
import urllib2
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
if __name__ == ‘__main__‘:
myurl="https://127.0.0.1:8443"
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error :%s" % str(ex)
當然也可以自己建立一個不校正的SSL上下文,然後引用這個上下文來開啟url
ctx = ssl._create_unverified_context()
然後
response = urllib2.urlopen(req,context=ctx)
二、使用OPENSSL產生認證
1、產生自簽名的認證
在使用python提供HTTPS服務之前,我們需要先產生認證,這裡請參考https://www.cnblogs.com/wucao/archive/2017/02/27/6474711.html 這篇文章講解了如何使用openssl產生認證。在WINDOWS平台記得要設定環境變數,參考我的一篇博文http://blog.sina.com.cn/s/blog_5d18f85f0102xdm7.html。
使用命令:openssl req -x509 -newkey rsa:2048 -nodes -days 365 -keyout private.pem -out cert.crt
之後會要求我們輸入一些組織資訊,你可以根據你的實際情況填寫。之後就產生了自簽名的認證cert.crt,私密金鑰是private.pem
2、自己建立一個CA(認證簽發機構),然後用自己的CA來頒發認證。這個我們後面討論雙向認證的時候會用到。詳細內容請參考http://blog.csdn.net/gx_1983/article/details/47866537
這裡我只是簡單的寫一下我自己的步驟
1) 保證openssl的bin目錄在path環境變數裡面。建立一個工作目錄,這裡我使用ca這個目錄。然後在ca下面再建立目錄demoCA。之後在demoCA下建立空白文字檔index.txt和serial,並且開啟serial寫入字元01
2) 先造成CA的KEY和認證
openssl req -new -x509 -days 36500 -key ca.key -out ca.crt
執行後會出現提示,主要是要求輸入一些組織方面的資訊,請按要求填寫即可
執行成功後會造成ca.key和ca.crt 兩個檔案,ca.key為私密金鑰需要妥善保管,不要輕易給別人。ca.crt為認證可以隨意傳播。
3) 產生伺服器的私密金鑰和認證,其中認證使用了CA的私密金鑰進行簽名:
l 產生server私密金鑰
openssl genrsa -out server.key 2048
l 使用server私密金鑰產生server端認證請求檔案
openssl req -new -key server.key -out server.csr
一樣需要回答一些組織方面的問題
l 使用server認證請求檔案通過CA產生由CA簽名的認證
openssl ca -in server.csr -out server.crt -cert ca.crt -keyfile ca.key
l 驗證server認證
openssl verify -CAfile ca.crt server.crt
這樣就得到兩個檔案:一個是私密金鑰server.key;一個是認證server.crt
4) 用跟3)同樣的方法產生用戶端的client.key和client.crt這兩個檔案在後面的雙向認證裡面會用到
三、使用python提供HTTPS服務
我們有了認證和私密金鑰了,下面就可以正式使用python建立一個HTTPS網站了。這裡我使用架構實現,用的是twisted。使用的認證是之前用OPENSSL產生的自我簽署憑證。
#-* -coding: utf-8 -* -
from twisted.web import server, resource
from twisted.internet import reactor,ssl
class MainResource(resource.Resource):
isLeaf = True
# 用於處理GET類型請求
def render_GET(self, request):
# name參數
name = ‘World‘
if request.args.has_key(‘name‘):
name = request.args[‘name‘][0]
# 設定響應編碼
request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")
# 響應的內容直接返回
return "
Hello, " + name + ""
if __name__ == ‘__main__‘:
sslContext = ssl.DefaultOpenSSLContextFactory(
‘C:/ca/private.pem, # 私密金鑰
‘C:/ca/cert.crt‘ # 認證
)
site = server.Site(MainResource())
reactor.listenSSL(8080, site, sslContext)
print "監聽連接埠:8080"
reactor.run()
使用之前的用戶端訪問,記得關閉認證校正。這時可以看到可以順利訪問。如果使用瀏覽器訪問,也可以正常訪問,但此時會出現安全提示,忽略這個安全提示後也可以正常訪問。
四、SSL雙向校正
上面的樣本都是用戶端對伺服器端認證的校正。這也是最常見的單向校正。這裡面由用戶端來校正伺服器端的認證(當然也可以選擇不校正)。通常的互連網服務都是這種方式。在這種方式下,用戶端不需要有認證。伺服器端也不會校正用戶端的認證。此外還有一種雙向校正模式。在這種模式下,用戶端也要有認證,並且在協商過程中提供給伺服器端。伺服器也會對用戶端的認證進行校正。這種模式一般應用於對安全要求比較高的環境,伺服器和使用者端都需要認證,並且雙方都要能被權威CA驗證通過。看看下面的伺服器端代碼:
#-* -coding: utf-8 -* -
from twisted.web import server, resource
from twisted.internet import reactor,ssl
from OpenSSL import SSL
def verifyCallback(connection, x509, errnum, errdepth, ok):
if not ok:
print ‘invalid cert from subject:‘, x509.get_subject()
return False
else:
print "Certs are fine", x509.get_subject()
return True
class MainResource(resource.Resource):
isLeaf = True
# 用於處理GET類型請求
def render_GET(self, request):
# name參數
name = ‘World‘
if request.args.has_key(‘name‘):
name = request.args[‘name‘][0]
# 設定響應編碼
request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")
# 響應的內容直接返回
return "
Hello, " + name + ""
if __name__ == ‘__main__‘:
sslContext = ssl.DefaultOpenSSLContextFactory(
‘C:/ca/private.pem, # 私密金鑰
‘C:/ca/cert.crt‘ # 認證
)
ctx = sslContext.getContext()
#這裡改為了雙向校正模式
ctx.set_verify(
SSL.VERIFY_PEER | SSL.VERIFY_FAIL_IF_NO_PEER_CERT,
verifyCallback
)
site = server.Site(MainResource())
reactor.listenSSL(8080, site, sslContext)
print "監聽連接埠:8080"
reactor.run()
然後再用用戶端來訪問一下。這時會發現有錯誤出現,錯誤提示為:
提示sslv3協議握手失敗。原因就是伺服器端要求雙向校正,但用戶端沒有提供自己的認證給伺服器,所以握手協商失敗。
好的,我們再改一下用戶端代碼,適配這種雙向校正模式。這裡用戶端使用使用的認證是,是之前使用OPENSSL產生的用戶端認證,並且使用了我們自己建立的CA進行簽名。
import urllib2
import ssl
KEY_FILE="C:/ca/client.key"
CERT_FILE="C:/ca/client.crt"
context = ssl.SSLContext(ssl.PROTOCOL_SSLv23)
context.check_hostname = False
context.load_cert_chain(certfile=CERT_FILE,keyfile=KEY_FILE)
context.verify_mode=ssl.CERT_REQUIRED
if __name__ == ‘__main__‘:
myurl="https://127.0.0.1:8080/?name=qh"
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req,context=context)
#response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error in auth phase:%s" % str(ex)
這裡出現錯誤提示
認證校正失敗。這是因為伺服器提供的認證沒有通過用戶端的校正。
這是因為伺服器端的認證是使用自簽名的認證,當然通不過用戶端校正了。這裡我們要把伺服器端的認證改成我們使用CA簽名的認證。修改一下伺服器端代碼:
sslContext = ssl.DefaultOpenSSLContextFactory(
‘C:/ca/server.key‘, # 私密金鑰
‘C:/ca/server.crt‘ # 認證
)
改過之後再試,可以還出現同樣的錯誤,這是怎麼回事呢?原來伺服器端的認證是使用我們自建的CA進行簽名的,不是權威CA,所以校正失敗了。這怎麼辦呢,我們可以指定CA的認證,把我們的CA認證設定為可信。修改一下用戶端,加上一句:
CA_FILE="c:/ca/ca.crt"
context.load_verify_locations(CA_FILE)
注意ca.crt是之前我們使用OPENSSL建立的CA認證(請參考前面第二部分的內容)。修改之後重新運行,發現還是出現錯誤:
這個錯誤提示變了,提示CA不知名。同時在伺服器端的回呼函數也有錯誤輸出:invalid cert from subject:
這說明伺服器端校正用戶端認證失敗,原因當然是伺服器端我們沒有把我們自己的CA設定為可信。所以同樣的在伺服器端也要修改一下,加上以下兩句:
cafile="c:/ca/ca.crt"
ctx.load_verify_locations( cafile)
重新運行,這下成功了
下面把完整的代碼發一下:
伺服器端:
#-* -coding: utf-8 -* -
‘‘‘
Created on 2018-1-16
@author: qh
‘‘‘
from twisted.internet import iocpreactor as iocpreactor
try:
iocpreactor.install()
except Exception, e:
print "iocp install failed:%s" % str(e)
from twisted.web import server, resource
from twisted.internet import reactor,ssl
from OpenSSL import SSL
cafile="c:/ca/ca.crt"
class MainResource(resource.Resource):
isLeaf = True
# 用於處理GET類型請求
def render_GET(self, request):
# name參數
name = ‘World‘
if request.args.has_key(‘name‘):
name = request.args[‘name‘][0]
# 設定響應編碼
request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")
# 響應的內容直接返回
return "
Hello, " + name + ""
if __name__ == ‘__main__‘:
sslContext = ssl.DefaultOpenSSLContextFactory(
‘C:/ca/server.key‘, # 私密金鑰
‘C:/ca/server.crt‘ # 認證
)
ctx = sslContext.getContext()
ctx.set_verify(
SSL.VERIFY_PEER | SSL.VERIFY_FAIL_IF_NO_PEER_CERT,
verifyCallback
)
ctx.load_verify_locations( cafile)
site = server.Site(MainResource())
reactor.listenSSL(8080, site, sslContext)
print "監聽連接埠:8080"
reactor.run()
用戶端:
‘‘‘
Created on 2018-3-2
@author: qh
‘‘‘
import urllib2
import ssl
KEY_FILE="C:/ca/client.key"
CERT_FILE="C:/ca/client.crt"
CA_FILE="c:/ca/ca.crt"
context = ssl.SSLContext(ssl.PROTOCOL_SSLv23)
context.check_hostname = False
context.load_cert_chain(certfile=CERT_FILE,keyfile=KEY_FILE)
context.load_verify_locations(CA_FILE)
context.verify_mode=ssl.CERT_REQUIRED
if __name__ == ‘__main__‘:
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req,context=context)
#response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error in auth phase:%s" % str(ex)
五、其它
1、context.load_cert_chain(certfile=CERT_FILE,keyfile=KEY_FILE)
這個函數可以只提供一個certfile這一個檔案,這時要求CERT_FILE裡麵包括私密金鑰。其實認證檔案和私密金鑰檔案都是簡單的文字檔,你可以把私密金鑰檔案的內容複寫到認證檔案後面,這樣你就可以在這個函數裡面只提供一個檔案了。
2、如何在request對象裡面讀出用戶端資訊呢?
所有的用戶端資訊都可以request對象裡面讀出,包括用戶端的認證資訊,看看下面,你所需要的基本都有了
def render_GET(self, request):
print request.content.read()
print request.getAllHeaders()
print request.getClientIP()
print request.getHost()
print request.transport.getPeer()
cl=request.transport.getPeerCertificate()
certificate = ssl.Certificate(cl)
print certificate.getIssuer()
print certificate.getSubject()
3、使用POST方法發送JSON資料
def urllib2_open(myurl):
headers = {‘Content-Type‘: ‘application/json‘}
data={‘test‘:‘hello‘}
req = urllib2.Request(myurl,headers=headers, data=json.dumps(data))
try:
response = urllib2.urlopen(req,context=context)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error in auth phase:%s" % str(ex)
4、有一個地方我研究的不是特別清楚:預設情況下python是到哪裡找權威CA認證的,是在某個檔案夾還在通過註冊表,還是直接通過作業系統提供的API。
寫這麼多總算把該寫的寫完了。之前我只是想用python訪問一個HTTPS網站的。但當時很不順利,不管怎麼搞都出現SSLV3_ALERT_HANDSHAKE_FAILURE,當時在網上找了很多類似的解決辦法,什麼啟用SSLV3啊、把加密方式改為ALL啊,另外也用了requests和pycurl等等第三方組件。但所有嘗試無一成功。花了我好幾天時間。最後終於發現原來這個網站需要雙向認證。從這裡面感覺自己對SSL瞭解太少了,走了太多彎路。於是就對SSL好好研究了一下,這才有了上面的內容。這些內容還是比較膚淺,都只限於應用方面,但對我來說足夠了。分享給大家,讓大家少走我走過的彎路。
在python使用SSL(HTTPS)