Python+Mysql產生zabbix統計資料（最佳化）

標籤：python   mysql   zabbix   報表   

周末重新整理了一下，把有些不合理的地方改了下，自我感覺好多了

ZabbixReport.py

#!/usr/bin/python#coding:utf-8import MySQLdbimport time,datetime#zabbix資料庫資訊：zdbhost = ‘192.168.1.100‘zdbuser = ‘zabbix‘zdbpass = ‘zabbixreport‘zdbport = 3306zdbname = ‘zabbix‘#組建檔案名稱：xlsfilename = ‘damo.xls‘#需要查詢的key列表 [名稱，表名，key值，取值，格式化，資料整除處理]keys = [    [‘CPU核心數‘,‘trends_uint‘,‘system.cpu.num‘,‘avg‘,‘‘,1],    [‘CPU平均空閑值‘,‘trends‘,‘system.cpu.util[,idle]‘,‘avg‘,‘%.2f‘,1],    [‘CPU最小空閑值‘,‘trends‘,‘system.cpu.util[,idle]‘,‘min‘,‘%.2f‘,1],    [‘CPU5分鐘負載‘,‘trends‘,‘system.cpu.load[percpu,avg5]‘,‘avg‘,‘%.2f‘,1],    [‘實體記憶體大小(單位G)‘,‘trends_uint‘,‘vm.memory.size[total]‘,‘avg‘,‘‘,1048576000],    [‘可用平均記憶體(單位G)‘,‘trends_uint‘,‘vm.memory.size[available]‘,‘avg‘,‘‘,1048576000],    [‘可用最小記憶體(單位G)‘,‘trends_uint‘,‘vm.memory.size[available]‘,‘min‘,‘‘,1048576000],    [‘swap總大小(單位G)‘,‘trends_uint‘,‘system.swap.size[,total]‘,‘avg‘,‘‘,1048576000],    [‘swap平均剩餘(單位G)‘,‘trends_uint‘,‘system.swap.size[,free]‘,‘avg‘,‘‘,1048576000],    [‘根分區總大小(單位G)‘,‘trends_uint‘,‘vfs.fs.size[/,total]‘,‘avg‘,‘‘,1073741824],    [‘根分區平均剩餘(單位G)‘,‘trends_uint‘,‘vfs.fs.size[/,free]‘,‘avg‘,‘‘,1073741824],    [‘進入最大流量（單位Kbps）‘,‘trends_uint‘,‘net.if.in[eth0]‘,‘max‘,‘‘,1000],    [‘進入平均流量（單位Kbps）‘,‘trends_uint‘,‘net.if.in[eth0]‘,‘avg‘,‘‘,1000],    [‘出去最大流量（單位Kbps）‘,‘trends_uint‘,‘net.if.out[eth0]‘,‘max‘,‘‘,1000],    [‘出去平均流量（單位Kbps）‘,‘trends_uint‘,‘net.if.out[eth0]‘,‘avg‘,‘‘,1000],]class ReportForm:    def __init__(self):        ‘‘‘開啟資料庫連接‘‘‘        self.conn = MySQLdb.connect(host=zdbhost,user=zdbuser,passwd=zdbpass,port=zdbport,db=zdbname)        self.cursor = self.conn.cursor(cursorclass=MySQLdb.cursors.DictCursor)        #產生zabbix哪個分組報表        self.groupname = ‘qjsh‘        #擷取IP資訊：        self.IpInfoList = self.__getHostList()    def __getHostList(self):        ‘‘‘根據zabbix組名擷取該組所有IP‘‘‘        #查詢組ID:        sql = ‘‘‘select groupid from groups where name = ‘%s‘ ‘‘‘ % self.groupname        self.cursor.execute(sql)        groupid = self.cursor.fetchone()[‘groupid‘]        #根據groupid查詢該分組下面的所有主機ID（hostid）：        sql = ‘‘‘select hostid from hosts_groups where groupid = %s‘‘‘ % groupid        self.cursor.execute(sql)        hostlist = self.cursor.fetchall()        #產生IP資訊字典：結構為{‘119.146.207.19‘:{‘hostid‘:10086L,},}        IpInfoList = {}        for i in hostlist:            hostid = i[‘hostid‘]            sql = ‘‘‘select host from hosts where status = 0 and hostid = %s‘‘‘ % hostid            ret = self.cursor.execute(sql)            if ret:                IpInfoList[self.cursor.fetchone()[‘host‘]] = {‘hostid‘:hostid}        return IpInfoList    def __getItemid(self,hostid,itemname):        ‘‘‘擷取itemid‘‘‘        sql = ‘‘‘select itemid from items where hostid = %s and key_ = ‘%s‘ ‘‘‘ % (hostid, itemname)        if self.cursor.execute(sql):            itemid = self.cursor.fetchone()[‘itemid‘]        else:            itemid = None        return itemid    def getTrendsValue(self,type, itemid, start_time, stop_time):        ‘‘‘查詢trends_uint表的值,type的值為min,max,avg三種‘‘‘        sql = ‘‘‘select %s(value_%s) as result from trends where itemid = %s and clock >= %s and clock <= %s‘‘‘ % (type, type, itemid, start_time, stop_time)        self.cursor.execute(sql)        result = self.cursor.fetchone()[‘result‘]        if result == None:            result = 0        return result    def getTrends_uintValue(self,type, itemid, start_time, stop_time):        ‘‘‘查詢trends_uint表的值,type的值為min,max,avg三種‘‘‘        sql = ‘‘‘select %s(value_%s) as result from trends_uint where itemid = %s and clock >= %s and clock <= %s‘‘‘ % (type, type, itemid, start_time, stop_time)        self.cursor.execute(sql)        result = self.cursor.fetchone()[‘result‘]        if result:            result = int(result)        else:            result = 0        return result    def getLastMonthData(self,type,hostid,table,itemname):        ‘‘‘根據hostid,itemname擷取該監控項的值‘‘‘        #擷取上個月的第一天和最後一天        ts_first = int(time.mktime(datetime.date(datetime.date.today().year,datetime.date.today().month-1,1).timetuple()))        lst_last = datetime.date(datetime.date.today().year,datetime.date.today().month,1)-datetime.timedelta(1)        ts_last = int(time.mktime(lst_last.timetuple()))        itemid = self.__getItemid(hostid, itemname)        function = getattr(self,‘get%sValue‘ % table.capitalize())        return  function(type,itemid, ts_first, ts_last)    def getInfo(self):        #迴圈讀取IP列表資訊        for ip,resultdict in  zabbix.IpInfoList.items():            print "正在查詢 IP:%-15s hostid:%5d 的資訊！" % (ip, resultdict[‘hostid‘])            #迴圈讀取keys，逐個key統計資料：            for value in keys:                print "\t正在統計 key_:%s" % value[2]                if not value[2] in zabbix.IpInfoList[ip]:                    zabbix.IpInfoList[ip][value[2]] = {}                data =  zabbix.getLastMonthData(value[3], resultdict[‘hostid‘],value[1],value[2])                zabbix.IpInfoList[ip][value[2]][value[3]] = data    def writeToXls2(self):        ‘‘‘產生xls檔案‘‘‘        try:            import xlsxwriter            #建立檔案            workbook = xlsxwriter.Workbook(xlsfilename)            #建立工作薄            worksheet = workbook.add_worksheet()            #寫入第一列：            worksheet.write(0,0,"主機".decode(‘utf-8‘))            i = 1            for ip in self.IpInfoList:                worksheet.write(i,0,ip)                i = i + 1            #寫入其他列：            i = 1            for value in keys:                worksheet.write(0,i,value[0].decode(‘utf-8‘))                #寫入該列內容：                j = 1                for ip,result in self.IpInfoList.items():                    if value[4]:                        worksheet.write(j,i, value[4] % result[value[2]][value[3]])                    else:                        worksheet.write(j,i, result[value[2]][value[3]] / value[5])                    j = j + 1                i = i + 1        except Exception,e:            print e    def __del__(self):        ‘‘‘關閉資料庫連接‘‘‘        self.cursor.close()        self.conn.close()if __name__ == "__main__":    zabbix = ReportForm()    zabbix.getInfo()    zabbix.writeToXls2()

本文出自 “營運筆記” 部落格，請務必保留此出處http://lihuipeng.blog.51cto.com/3064864/1535454