在python使用SSL(HTTPS)

來源:互聯網
上載者:User

標籤:瀏覽器   erro   伺服器   pycurl   nss   兩種   elf   環境變數   回呼函數   

在python上使用SSL有許多情境,我主要關注的是使用python訪問HTTPS資源,以及使用python提供HTTPS服務。(HTTPS是SSL在WEB上的應用之一)

一、使用python訪問HTTPS網站

這應該算是最簡單也是最常見的情境了。我們使用python做為用戶端去訪問公網上的網站,而這個網站為了傳輸安全(避免被劫持或者竊聽)使用了HTTPS服務,傳輸過程內容都經過了SSL加密。下面來看下具體的python代碼,這裡使用的是python2.7.11,用的是python內建的urllib2。當然你也可以使用requests或者pycurl等第三方庫,都可以,原理都是一樣的,只是實現的手段有些差異而已。

import urllib2

import ssl

if __name__ == ‘__main__‘:

    myurl="https://www.baidu.com"

    req = urllib2.Request(myurl)

    try:

        response = urllib2.urlopen(req)

        print "HTTP return code:%d" % response.getcode()

        strResult= response.read()

        print strResult

    except Exception ,ex:

        print "Found Error :%s" % str(ex)

 

運行它,我們就可以得到這個網站上的內容了。並且傳輸過程都經過了加密。是不是很簡單。整個的傳輸過程大概是這樣的,用戶端請求SSL串連握手(其中會跟伺服器有些SSL協議之間的互動,這個我們不用詳細去研究)伺服器把自己的認證傳給用戶端,用戶端對這個認證進行認證(每台用戶端電腦上都會預設安裝一些權威CA(認證簽發機構)的認證,這個認證就是使用這些認證進行的,python的ssl模組會自動載入這些權威CA認證,當然你也可以自己指定,這個後面會談到),確保這個認證是由可信的CA頒布的(用戶端對服務端認證進行認證這個操作,是從python2.7.9開始才有的,以前版本的是不進行認證的),之後就是利用認證交換密鑰後,使用金鑰組傳輸內容進行加密傳輸。

互連網上大部分的正規網站都是會有自己的認證的,這些認證都是經過權威CA認證的,可以被認為是可信的(其實這個也不一定,前段時間就有過Google封殺賽門鐵克CA簽發的認證的事件,有興趣的可以去網上搜尋看看)。但是同樣也有不少網站,由於各種各樣的原因沒有這些經過權威CA認證的認證,畢竟申請這些認證流程比較麻煩,並且要支付一定的費用。這些網站也可以提供安全的HTTPS服務,但由於他們的認證是自簽名的或者是由非權威的CA頒發的(這兩種認證後面會談到),所以會被認為是不可信的。當使用瀏覽器開啟這些網站時,瀏覽器會提醒你這是不安全的串連,當然這個不安全是指網站未經權威認證,所以網站本身可能不安全,但在網路傳輸層面上來看,傳輸是安全的。那我們訪問這些網站時,使用上面的代碼會有錯誤提示,下面代碼就是訪問一個這是我自己建立的一個HTTPS網站https://127.0.0.1:8443,該網站使用的是自簽名的認證。如果你使用Google瀏覽器訪問會提示你:您的串連不是私密串連,如果你強制串連則會提示不安全

import urllib2

import ssl

if __name__ == ‘__main__‘:

    myurl="https://127.0.0.1:8443"

    req = urllib2.Request(myurl)

    try:

        response = urllib2.urlopen(req)

        print "HTTP return code:%d" % response.getcode()

        strResult= response.read()

        print strResult

    except Exception ,ex:

        print "Found Error :%s" % str(ex)

 

運行這個就會出現錯誤:

提示認證校正錯誤。這時如果我們想要訪問這樣的網站就要把用戶端的認證校正關閉。在前面加上一句:ssl._create_default_https_context = ssl._create_unverified_context即可

 

import urllib2

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == ‘__main__‘:

    myurl="https://127.0.0.1:8443"

    req = urllib2.Request(myurl)

    try:

        response = urllib2.urlopen(req)

        print "HTTP return code:%d" % response.getcode()

        strResult= response.read()

        print strResult

    except Exception ,ex:

        print "Found Error :%s" % str(ex)

 

當然也可以自己建立一個不校正的SSL上下文,然後引用這個上下文來開啟url

ctx = ssl._create_unverified_context()

然後

response = urllib2.urlopen(req,context=ctx)

 

二、使用OPENSSL產生認證

1、產生自簽名的認證

在使用python提供HTTPS服務之前,我們需要先產生認證,這裡請參考https://www.cnblogs.com/wucao/archive/2017/02/27/6474711.html 這篇文章講解了如何使用openssl產生認證。在WINDOWS平台記得要設定環境變數,參考我的一篇博文http://blog.sina.com.cn/s/blog_5d18f85f0102xdm7.html。

使用命令:openssl req -x509 -newkey rsa:2048 -nodes -days 365 -keyout private.pem -out cert.crt

之後會要求我們輸入一些組織資訊,你可以根據你的實際情況填寫。之後就產生了自簽名的認證cert.crt,私密金鑰是private.pem

 

2、自己建立一個CA(認證簽發機構),然後用自己的CA來頒發認證。這個我們後面討論雙向認證的時候會用到。詳細內容請參考http://blog.csdn.net/gx_1983/article/details/47866537

 

這裡我只是簡單的寫一下我自己的步驟

1)      保證openssl的bin目錄在path環境變數裡面。建立一個工作目錄,這裡我使用ca這個目錄。然後在ca下面再建立目錄demoCA。之後在demoCA下建立空白文字檔index.txt和serial,並且開啟serial寫入字元01

2)      先造成CA的KEY和認證

openssl req -new -x509 -days 36500 -key ca.key -out ca.crt

執行後會出現提示,主要是要求輸入一些組織方面的資訊,請按要求填寫即可

執行成功後會造成ca.key和ca.crt 兩個檔案,ca.key為私密金鑰需要妥善保管,不要輕易給別人。ca.crt為認證可以隨意傳播。

3)      產生伺服器的私密金鑰和認證,其中認證使用了CA的私密金鑰進行簽名:

l  產生server私密金鑰

openssl genrsa -out server.key 2048

l  使用server私密金鑰產生server端認證請求檔案

openssl req -new -key server.key -out server.csr

一樣需要回答一些組織方面的問題

l  使用server認證請求檔案通過CA產生由CA簽名的認證

openssl ca -in server.csr -out server.crt -cert ca.crt -keyfile ca.key

l  驗證server認證

openssl verify -CAfile ca.crt server.crt

這樣就得到兩個檔案:一個是私密金鑰server.key;一個是認證server.crt

4)      用跟3)同樣的方法產生用戶端的client.key和client.crt這兩個檔案在後面的雙向認證裡面會用到

 

 

 

 

三、使用python提供HTTPS服務

我們有了認證和私密金鑰了,下面就可以正式使用python建立一個HTTPS網站了。這裡我使用架構實現,用的是twisted。使用的認證是之前用OPENSSL產生的自我簽署憑證。

#-* -coding: utf-8 -* -

from twisted.web import server, resource

from twisted.internet import reactor,ssl

 

class MainResource(resource.Resource):

 

    isLeaf = True

 

    # 用於處理GET類型請求

    def render_GET(self, request):

 

        # name參數

        name = ‘World‘

        if request.args.has_key(‘name‘):

            name = request.args[‘name‘][0]

 

        # 設定響應編碼

        request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")

 

        # 響應的內容直接返回

        return "

Hello, " + name + ""

 

if __name__ == ‘__main__‘:

    sslContext = ssl.DefaultOpenSSLContextFactory(

        ‘C:/ca/private.pem, # 私密金鑰

        ‘C:/ca/cert.crt‘ # 認證

    )

 

    site = server.Site(MainResource())

    reactor.listenSSL(8080, site, sslContext)

    print "監聽連接埠:8080"

reactor.run()

 

使用之前的用戶端訪問,記得關閉認證校正。這時可以看到可以順利訪問。如果使用瀏覽器訪問,也可以正常訪問,但此時會出現安全提示,忽略這個安全提示後也可以正常訪問。

 

 

 

四、SSL雙向校正

上面的樣本都是用戶端對伺服器端認證的校正。這也是最常見的單向校正。這裡面由用戶端來校正伺服器端的認證(當然也可以選擇不校正)。通常的互連網服務都是這種方式。在這種方式下,用戶端不需要有認證。伺服器端也不會校正用戶端的認證。此外還有一種雙向校正模式。在這種模式下,用戶端也要有認證,並且在協商過程中提供給伺服器端。伺服器也會對用戶端的認證進行校正。這種模式一般應用於對安全要求比較高的環境,伺服器和使用者端都需要認證,並且雙方都要能被權威CA驗證通過。看看下面的伺服器端代碼:

#-* -coding: utf-8 -* -

from twisted.web import server, resource

from twisted.internet import reactor,ssl

from OpenSSL import SSL

def verifyCallback(connection, x509, errnum, errdepth, ok):

    if not ok:

        print ‘invalid cert from subject:‘, x509.get_subject()

        return False

    else:

        print "Certs are fine", x509.get_subject()

    return True

 

class MainResource(resource.Resource):

 

    isLeaf = True

 

    # 用於處理GET類型請求

    def render_GET(self, request):

 

        # name參數

        name = ‘World‘

        if request.args.has_key(‘name‘):

            name = request.args[‘name‘][0]

 

        # 設定響應編碼

        request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")

 

        # 響應的內容直接返回

        return "

Hello, " + name + ""

 

if __name__ == ‘__main__‘:

    sslContext = ssl.DefaultOpenSSLContextFactory(

        ‘C:/ca/private.pem, # 私密金鑰

        ‘C:/ca/cert.crt‘ # 認證

    )

    ctx = sslContext.getContext()

   

#這裡改為了雙向校正模式

    ctx.set_verify(

        SSL.VERIFY_PEER | SSL.VERIFY_FAIL_IF_NO_PEER_CERT,

        verifyCallback

        )

    site = server.Site(MainResource())

    reactor.listenSSL(8080, site, sslContext)

    print "監聽連接埠:8080"

reactor.run()

 

然後再用用戶端來訪問一下。這時會發現有錯誤出現,錯誤提示為:

提示sslv3協議握手失敗。原因就是伺服器端要求雙向校正,但用戶端沒有提供自己的認證給伺服器,所以握手協商失敗。

好的,我們再改一下用戶端代碼,適配這種雙向校正模式。這裡用戶端使用使用的認證是,是之前使用OPENSSL產生的用戶端認證,並且使用了我們自己建立的CA進行簽名。

import urllib2

import ssl

 

KEY_FILE="C:/ca/client.key"

CERT_FILE="C:/ca/client.crt"

 

context = ssl.SSLContext(ssl.PROTOCOL_SSLv23) 

context.check_hostname = False 

context.load_cert_chain(certfile=CERT_FILE,keyfile=KEY_FILE)

context.verify_mode=ssl.CERT_REQUIRED

       

if __name__ == ‘__main__‘:

    myurl="https://127.0.0.1:8080/?name=qh"

    req = urllib2.Request(myurl)

    try:

        response = urllib2.urlopen(req,context=context)

        #response = urllib2.urlopen(req)

        print "HTTP return code:%d" % response.getcode()

        strResult= response.read()

        print strResult

    except Exception ,ex:

        print "Found Error in auth phase:%s" % str(ex)

 

這裡出現錯誤提示

認證校正失敗。這是因為伺服器提供的認證沒有通過用戶端的校正。

這是因為伺服器端的認證是使用自簽名的認證,當然通不過用戶端校正了。這裡我們要把伺服器端的認證改成我們使用CA簽名的認證。修改一下伺服器端代碼:

    sslContext = ssl.DefaultOpenSSLContextFactory(

        ‘C:/ca/server.key‘, # 私密金鑰

        ‘C:/ca/server.crt‘ # 認證

    )

改過之後再試,可以還出現同樣的錯誤,這是怎麼回事呢?原來伺服器端的認證是使用我們自建的CA進行簽名的,不是權威CA,所以校正失敗了。這怎麼辦呢,我們可以指定CA的認證,把我們的CA認證設定為可信。修改一下用戶端,加上一句:

CA_FILE="c:/ca/ca.crt"

context.load_verify_locations(CA_FILE)

注意ca.crt是之前我們使用OPENSSL建立的CA認證(請參考前面第二部分的內容)。修改之後重新運行,發現還是出現錯誤:

 

這個錯誤提示變了,提示CA不知名。同時在伺服器端的回呼函數也有錯誤輸出:invalid cert from subject:

這說明伺服器端校正用戶端認證失敗,原因當然是伺服器端我們沒有把我們自己的CA設定為可信。所以同樣的在伺服器端也要修改一下,加上以下兩句:

cafile="c:/ca/ca.crt"

ctx.load_verify_locations( cafile)

 

重新運行,這下成功了

下面把完整的代碼發一下:

伺服器端:

#-* -coding: utf-8 -* -

‘‘‘

Created on 2018-1-16

 

@author: qh

‘‘‘

from twisted.internet import iocpreactor as iocpreactor

 

try:

    iocpreactor.install()

except Exception, e:

    print "iocp install failed:%s" % str(e)

   

from twisted.web import server, resource

from twisted.internet import reactor,ssl

from OpenSSL import SSL

cafile="c:/ca/ca.crt"

 

 

class MainResource(resource.Resource):

 

    isLeaf = True

 

    # 用於處理GET類型請求

    def render_GET(self, request):

 

        # name參數

        name = ‘World‘

        if request.args.has_key(‘name‘):

            name = request.args[‘name‘][0]

 

        # 設定響應編碼

        request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")

 

        # 響應的內容直接返回

        return "

Hello, " + name + ""

 

 

 

if __name__ == ‘__main__‘:

    sslContext = ssl.DefaultOpenSSLContextFactory(

        ‘C:/ca/server.key‘, # 私密金鑰

        ‘C:/ca/server.crt‘ # 認證

    )

    ctx = sslContext.getContext()

   

    ctx.set_verify(

        SSL.VERIFY_PEER | SSL.VERIFY_FAIL_IF_NO_PEER_CERT,

        verifyCallback

        )

    ctx.load_verify_locations( cafile)

    site = server.Site(MainResource())

    reactor.listenSSL(8080, site, sslContext)

    print "監聽連接埠:8080"

    reactor.run()

 

用戶端:

‘‘‘

Created on 2018-3-2

 

@author: qh

‘‘‘

import urllib2

import ssl

 

 

 

KEY_FILE="C:/ca/client.key"

CERT_FILE="C:/ca/client.crt"

CA_FILE="c:/ca/ca.crt"

 

context = ssl.SSLContext(ssl.PROTOCOL_SSLv23) 

context.check_hostname = False 

context.load_cert_chain(certfile=CERT_FILE,keyfile=KEY_FILE)

context.load_verify_locations(CA_FILE)

context.verify_mode=ssl.CERT_REQUIRED

if __name__ == ‘__main__‘:

    req = urllib2.Request(myurl)

    try:

        response = urllib2.urlopen(req,context=context)

        #response = urllib2.urlopen(req)

        print "HTTP return code:%d" % response.getcode()

        strResult= response.read()

        print strResult

    except Exception ,ex:

        print "Found Error in auth phase:%s" % str(ex)

 

 

五、其它

1、context.load_cert_chain(certfile=CERT_FILE,keyfile=KEY_FILE)

這個函數可以只提供一個certfile這一個檔案,這時要求CERT_FILE裡麵包括私密金鑰。其實認證檔案和私密金鑰檔案都是簡單的文字檔,你可以把私密金鑰檔案的內容複寫到認證檔案後面,這樣你就可以在這個函數裡面只提供一個檔案了。

 

2、如何在request對象裡面讀出用戶端資訊呢?

所有的用戶端資訊都可以request對象裡面讀出,包括用戶端的認證資訊,看看下面,你所需要的基本都有了

def render_GET(self, request):

        print request.content.read()

        print request.getAllHeaders()

        print request.getClientIP()

        print request.getHost()

        print request.transport.getPeer()

        cl=request.transport.getPeerCertificate()

        certificate = ssl.Certificate(cl)

        print certificate.getIssuer()

        print certificate.getSubject()

 

3、使用POST方法發送JSON資料

def urllib2_open(myurl):

    headers = {‘Content-Type‘: ‘application/json‘}

    data={‘test‘:‘hello‘}

    req = urllib2.Request(myurl,headers=headers, data=json.dumps(data))

    try:

       

        response = urllib2.urlopen(req,context=context)

        print "HTTP return code:%d" % response.getcode()

        strResult= response.read()

        print strResult

    except Exception ,ex:

        print "Found Error in auth phase:%s" % str(ex)

4、有一個地方我研究的不是特別清楚:預設情況下python是到哪裡找權威CA認證的,是在某個檔案夾還在通過註冊表,還是直接通過作業系統提供的API。

 

 

寫這麼多總算把該寫的寫完了。之前我只是想用python訪問一個HTTPS網站的。但當時很不順利,不管怎麼搞都出現SSLV3_ALERT_HANDSHAKE_FAILURE,當時在網上找了很多類似的解決辦法,什麼啟用SSLV3啊、把加密方式改為ALL啊,另外也用了requests和pycurl等等第三方組件。但所有嘗試無一成功。花了我好幾天時間。最後終於發現原來這個網站需要雙向認證。從這裡面感覺自己對SSL瞭解太少了,走了太多彎路。於是就對SSL好好研究了一下,這才有了上面的內容。這些內容還是比較膚淺,都只限於應用方面,但對我來說足夠了。分享給大家,讓大家少走我走過的彎路。

在python使用SSL(HTTPS)

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.