Python實現Mysql資料庫連接池

標籤：

python串連Mysql資料庫：

python編程中可以使用MySQLdb進行資料庫的串連及諸如查詢/插入/更新等操作，但是每次串連mysql資料庫請求時，都是獨立的去請求訪問，相當浪費資源，而且訪問數量達到一定數量時，對mysql的效能會產生較大的影響。因此，實際使用中，通常會使用資料庫的串連池技術，來訪問資料庫達到資源複用的目的。

python的資料庫連接池包 DBUtils：

DBUtils是一套Python資料庫連接池包，並允許對非安全執行緒的資料庫介面進行安全執行緒封裝。DBUtils來自Webware for Python。

DBUtils提供兩種外部介面：

• * PersistentDB ：提供線程專用的資料庫連接，並自動管理串連。
• * PooledDB ：提供線程間可共用資料庫串連，並自動管理串連。

：DBUtils   下載解壓後，使用python setup.py install 命令進行安裝

下面利用MySQLdb和DBUtils建立自己的mysql資料庫連接池工具包

在工程目錄下建立package命名為:dbConnecttion，並建立module命名為MySqlConn，下面是MySqlConn.py，該模組建立Mysql的串連池對象，並建立了如查詢/插入等通用的操作方法。該部分代碼實現如下：

# -*- coding: UTF-8 -*-"""Created on 2016年5月7日@author: baocheng1、執行帶參數的ＳＱＬ時，請先用sql語句指定需要輸入的條件列表，然後再用tuple/list進行條件批配２、在格式ＳＱＬ中不需要使用引號指定資料類型，系統會根據輸入參數自動識別３、在輸入的值中不需要使用轉意函數，系統會自動處理""" import MySQLdbfrom MySQLdb.cursors import DictCursorfrom DBUtils.PooledDB import PooledDB#from PooledDB import PooledDBimport Config"""Config是一些資料庫的設定檔""" class Mysql(object):    """    MYSQL資料庫物件，負責產生資料庫連接 , 此類中的串連採用串連池實現擷取連線物件：conn = Mysql.getConn()            釋放連線物件;conn.close()或del conn    """    #串連池對象    __pool = None    def __init__(self):        #資料庫建構函式，從串連池中取出串連，並產生操作遊標        self._conn = Mysql.__getConn()        self._cursor = self._conn.cursor()     @staticmethod    def __getConn():        """        @summary: 靜態方法，從串連池中取出串連        @return MySQLdb.connection        """        if Mysql.__pool is None:            __pool = PooledDB(creator=MySQLdb, mincached=1 , maxcached=20 ,                              host=Config.DBHOST , port=Config.DBPORT , user=Config.DBUSER , passwd=Config.DBPWD ,                              db=Config.DBNAME,use_unicode=False,charset=Config.DBCHAR,cursorclass=DictCursor)        return __pool.connection()     def getAll(self,sql,param=None):        """        @summary: 執行查詢，並取出所有結果集        @param sql:查詢ＳＱＬ，如果有查詢條件，請只指定條件列表，並將條件值使用參數[param]傳遞進來        @param param: 選擇性參數，條件列表值（元組/列表）        @return: result list(字典對象)/boolean 查詢到的結果集        """        if param is None:            count = self._cursor.execute(sql)        else:            count = self._cursor.execute(sql,param)        if count>0:            result = self._cursor.fetchall()        else:            result = False        return result     def getOne(self,sql,param=None):        """        @summary: 執行查詢，並取出第一條        @param sql:查詢ＳＱＬ，如果有查詢條件，請只指定條件列表，並將條件值使用參數[param]傳遞進來        @param param: 選擇性參數，條件列表值（元組/列表）        @return: result list/boolean 查詢到的結果集        """        if param is None:            count = self._cursor.execute(sql)        else:            count = self._cursor.execute(sql,param)        if count>0:            result = self._cursor.fetchone()        else:            result = False        return result     def getMany(self,sql,num,param=None):        """        @summary: 執行查詢，並取出num條結果        @param sql:查詢ＳＱＬ，如果有查詢條件，請只指定條件列表，並將條件值使用參數[param]傳遞進來        @param num:取得的結果條數        @param param: 選擇性參數，條件列表值（元組/列表）        @return: result list/boolean 查詢到的結果集        """        if param is None:            count = self._cursor.execute(sql)        else:            count = self._cursor.execute(sql,param)        if count>0:            result = self._cursor.fetchmany(num)        else:            result = False        return result     def insertOne(self,sql,value):        """        @summary: 向資料表插入一條記錄        @param sql:要插入的ＳＱＬ格式        @param value:要插入的記錄資料tuple/list        @return: insertId 受影響的行數        """        self._cursor.execute(sql,value)        return self.__getInsertId()     def insertMany(self,sql,values):        """        @summary: 向資料表插入多條記錄        @param sql:要插入的ＳＱＬ格式        @param values:要插入的記錄資料tuple(tuple)/list[list]        @return: count 受影響的行數        """        count = self._cursor.executemany(sql,values)        return count     def __getInsertId(self):        """        擷取當前串連最後一次插入操作產生的id,如果沒有則為０        """        self._cursor.execute("SELECT @@IDENTITY AS id")        result = self._cursor.fetchall()        return result[0]['id']     def __query(self,sql,param=None):        if param is None:            count = self._cursor.execute(sql)        else:            count = self._cursor.execute(sql,param)        return count     def update(self,sql,param=None):        """        @summary: 更新資料表記錄        @param sql: ＳＱＬ格式及條件，使用(%s,%s)        @param param: 要更新的  值 tuple/list        @return: count 受影響的行數        """        return self.__query(sql,param)     def delete(self,sql,param=None):        """        @summary: 刪除資料表記錄        @param sql: ＳＱＬ格式及條件，使用(%s,%s)        @param param: 要刪除的條件 值 tuple/list        @return: count 受影響的行數        """        return self.__query(sql,param)     def begin(self):        """        @summary: 開啟事務        """        self._conn.autocommit(0)     def end(self,option='commit'):        """        @summary: 結束事務        """        if option=='commit':            self._conn.commit()        else:            self._conn.rollback()     def dispose(self,isEnd=1):        """        @summary: 釋放串連池資源        """        if isEnd==1:            self.end('commit')        else:            self.end('rollback');        self._cursor.close()        self._conn.close()

設定檔模組Cnofig,包括資料庫的串連資訊/使用者名稱密碼等：

#coding:utf-8'''Created on 2016年5月7日@author: baocheng'''DBHOST = "localhost"DBPORT = 33606DBUSER = "zbc"DBPWD = "123456"DBNAME = "test"DBCHAR = "utf8"

建立test模組，測試一下使用串連池進行mysql訪問：

#coding:utf-8'''@author: baocheng'''from MySqlConn import Mysqlfrom _sqlite3 import Row#申請資源mysql = Mysql()sqlAll = "SELECT tb.uid as uid, group_concat(tb.goodsname) as goodsname FROM ( SELECT goods.uid AS uid, IF ( ISNULL(goodsrelation.goodsname), goods.goodsID, goodsrelation.goodsname ) AS goodsname FROM goods LEFT JOIN goodsrelation ON goods.goodsID = goodsrelation.goodsId ) tb GROUP BY tb.uid"result = mysql.getAll(sqlAll)if result :    print "get all"    for row in result :        print "%s\t%s"%(row["uid"],row["goodsname"])sqlAll = "SELECT tb.uid as uid, group_concat(tb.goodsname) as goodsname FROM ( SELECT goods.uid AS uid, IF ( ISNULL(goodsrelation.goodsname), goods.goodsID, goodsrelation.goodsname ) AS goodsname FROM goods LEFT JOIN goodsrelation ON goods.goodsID = goodsrelation.goodsId ) tb GROUP BY tb.uid"result = mysql.getMany(sqlAll,2)if result :    print "get many"    for row in result :        print "%s\t%s"%(row["uid"],row["goodsname"])                        result = mysql.getOne(sqlAll)print "get one"print "%s\t%s"%(result["uid"],result["goodsname"])#釋放資源mysql.dispose()

當然，還有很多其他參數可以配置：

• dbapi ：資料庫介面
• mincached ：啟動時開啟的空串連數量
• maxcached ：串連池最大可用串連數量
• maxshared ：串連池最大可共用串連數量
• maxconnections ：最大允許串連數量
• blocking ：達到最大數量時是否阻塞
• maxusage ：單個串連最大複用次數

根據自己的需要合理配置上述的資源參數，以滿足自己的實際需要。
至此，python中的mysql串連池實現完了，下次就直接拿來用就好了。
部落格地址：data mining club

Python實現Mysql資料庫連接池