Python自動化開發學習的第十周----Redis

標籤：blog   apt-get   where   源碼安裝   浮點型   tran   安裝   遊標   dict   

Redis

redis是業界主流的key-value nosql 資料庫之一。和Memcached類似，它支援儲存的value類型相對更多，包括string(字串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash（雜湊類型）。這些資料類型都支援push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支援各種不同方式的排序。與memcached一樣，為了保證效率，資料都是緩衝在記憶體中。區別的是redis會周期性的把更新的資料寫入磁碟或者把修改操作寫入追加的記錄檔案，並且在此基礎上實現了master-slave(主從)同步。

Redis優點

• 異常快速 : Redis是非常快的，每秒可以執行大約110000設定作業，81000個/每秒的讀取操作。

• 支援豐富的資料類型 : Redis支援最大多數開發人員已經知道如列表，集合，可排序集合，雜湊等資料類型。

  這使得在應用中很容易解決的各種問題，因為我們知道哪些問題處理使用哪種資料類型更好解決。

• 操作都是原子的 : 所有 Redis 的操作都是原子，從而確保當兩個客戶同時訪問 Redis 伺服器得到的是更新後的值（最新值）。

• MultiUtility工具：Redis是一個多功能工具 + 生產力，可以在很多如：緩衝，訊息傳遞佇列中使用（Redis原生支援發布/訂閱），在應用程式中，如：Web應用程式工作階段，網站頁面點擊數等任何短暫的資料；

安裝Redis環境要在 Ubuntu 上安裝 Redis，開啟終端，然後輸入以下命令：

$sudo apt-get update$sudo apt-get install redis-server

這將在您的電腦上安裝Redis

啟動 Redis

$redis-server

查看 redis 是否還在運行

$redis-cli

這將開啟一個 Redis 提示符，如所示：

redis 127.0.0.1:6379>

在上面的提示資訊中：127.0.0.1 是原生IP地址，6379是 Redis 伺服器啟動並執行連接埠。現在輸入 PING 命令，如所示：

redis 127.0.0.1:6379> pingPONG

這說明現在你已經成功地在電腦上安裝了 Redis。Python操作Redis

sudo pip install redisorsudo easy_install redisor源碼安裝  詳見：https://github.com/WoLpH/redis-py

在Ubuntu上安裝Redis案頭管理器

要在Ubuntu 上安裝 Redis案頭管理，可以從 http://redisdesktop.com/download 下載包並安裝它。

Redis 案頭管理器會給你使用者介面來管理 Redis 鍵和資料。 Redis API使用串連方式1、操作模式

redis-py提供兩個類Redis和StrictRedis用於實現Redis的命令，StrictRedis用於實現大部分官方的命令，並使用官方的文法和命令，Redis是StrictRedis的子類，用於向後相容舊版本的redis-py。

import redis  r = redis.Redis(host=‘10.211.55.4‘, port=6379)r.set(‘foo‘, ‘Bar‘)print r.get(‘foo‘)

2、串連池

redis-py使用connection pool來管理對一個redis server的所有串連，避免每次建立、釋放串連的開銷。預設，每個Redis執行個體都會維護一個自己的串連池。可以直接建立一個串連池，然後作為參數Redis，這樣就可以實現多個Redis執行個體共用一個串連池。

import redispool = redis.ConnectionPool(host=‘10.211.55.4‘, port=6379)  r = redis.Redis(connection_pool = pool)r.set(‘foo‘, ‘Bar‘)print (r.get(‘foo‘)) 

操作1. String操作

redis中的String在在記憶體中按照一個name對應一個value來儲存。

　　set(name, value, ex=None, px=None, nx=False, xx=False)

在Redis中設定值，預設，不存在則建立，存在則修改參數：     ex，到期時間（秒）     px，到期時間（毫秒）     nx，如果設定為True，則只有name不存在時，當前set操作才執行     xx，如果設定為True，則只有name存在時，崗前set操作才執行

　　setnx(name, value)

設定值，只有name不存在時，執行設定作業（添加）

　　setex(name, value, time)

# 設定值# 參數：    # time，到期時間（數字秒 或 timedelta對象）

　　psetex(name, time_ms, value)

# 設定值# 參數：    # time_ms，到期時間（數字毫秒 或 timedelta對象）

　　mset(*args, **kwargs)

大量設定值如：    mset(k1=‘v1‘, k2=‘v2‘)    或    mget({‘k1‘: ‘v1‘, ‘k2‘: ‘v2‘})

　　get(name)

擷取值

　　mget(keys, *args)

批量擷取如：    mget(‘ylr‘, ‘wupeiqi‘)    或    r.mget([‘ylr‘, ‘wupeiqi‘])

　　getset(name, value)

設定新值並擷取原來的值

　　getrange(key, start, end)

# 擷取子序列（根據位元組擷取，非字元）# 參數：    # name，Redis 的 name    # start，起始位置（位元組）    # end，結束位置（位元組）# 如： "武沛齊" ，0-3表示 "武"

　　setrange(name, offset, value)

# 修改字串內容，從指定字串索引開始向後替換（新值太長時，則向後添加）# 參數：    # offset，字串的索引，位元組（一個漢字三個位元組）    # value，要設定的值

　　setbit(name, offset, value)

# 對name對應值的二進位表示的位進行操作 # 參數：    # name，redis的name    # offset，位的索引（將值變換成二進位後再進行索引）    # value，值只能是 1 或 0 # 註：如果在Redis中有一個對應： n1 = "foo"，        那麼字串foo的二進位表示為：01100110 01101111 01101111    所以，如果執行 setbit(‘n1‘, 7, 1)，則就會將第7位設定為1，        那麼最終二進位則變成 01100111 01101111 01101111，即："goo" # 擴充，轉換二進位表示：     # source = "武沛齊"    source = "foo"     for i in source:        num = ord(i)        print bin(num).replace(‘b‘,‘‘)     特別的，如果source是漢字 "武沛齊"怎麼辦？    答：對於utf-8，每一個漢字占 3 個位元組，那麼 "武沛齊" 則有 9個位元組       對於漢字，for迴圈時候會按照 位元組 迭代，那麼在迭代時，將每一個位元組轉換 十進位數，然後再將十進位數轉換成二進位        11100110 10101101 10100110 11100110 10110010 10011011 11101001 10111101 10010000        -------------------------- ----------------------------- -----------------------------                    武                         沛                           齊

*用途舉例，用最省空間的方式，儲存線上使用者數及分別是哪些使用者線上

　　getbit(name, offset)

# 擷取name對應的值的二進位表示中的某位的值 （0或1）

　　bitcount(key, start=None, end=None)

# 擷取name對應的值的二進位表示中 1 的個數# 參數：    # key，Redis的name    # start，位起始位置    # end，位結束位置

　　strlen(name)

# 返回name對應值的位元組長度（一個漢字3個位元組）

　　incr(self, name, amount=1)

# 自增 name對應的值，當name不存在時，則建立name＝amount，否則，則自增。 # 參數：    # name,Redis的name    # amount,自增數（必須是整數） # 註：同incrby

　　incrbyfloat(self, name, amount=1.0)

# 自增 name對應的值，當name不存在時，則建立name＝amount，否則，則自增。 # 參數：    # name,Redis的name    # amount,自增數（浮點型）

　　decr(self, name, amount=1)

# 自減 name對應的值，當name不存在時，則建立name＝amount，否則，則自減。 # 參數：    # name,Redis的name    # amount,自減數（整數）

　　append(key, value)

# 在redis name對應的值後面追加內容 # 參數：    key, redis的name    value, 要追加的字串

2. Hash操作

hash表現形式上有些像pyhton中的dict,可以儲存一組關聯性較強的資料 ， redis中Hash在記憶體中的儲存格式如：　　

 　　hset(name, key, value)

# name對應的hash中設定一個索引值對（不存在，則建立；否則，修改） # 參數：    # name，redis的name    # key，name對應的hash中的key    # value，name對應的hash中的value # 註：    # hsetnx(name, key, value),當name對應的hash中不存在當前key時則建立（相當於添加）

　　hmset(name, mapping)

# 在name對應的hash中大量設定索引值對 # 參數：    # name，redis的name    # mapping，字典，如：{‘k1‘:‘v1‘, ‘k2‘: ‘v2‘} # 如：    # r.hmset(‘xx‘, {‘k1‘:‘v1‘, ‘k2‘: ‘v2‘})

　　hget(name,key)

# 在name對應的hash中擷取根據key擷取value

　　hmget(name, keys, *args)

# 在name對應的hash中擷取多個key的值 # 參數：    # name，reids對應的name    # keys，要擷取key集合，如：[‘k1‘, ‘k2‘, ‘k3‘]    # *args，要擷取的key，如：k1,k2,k3 # 如：    # r.mget(‘xx‘, [‘k1‘, ‘k2‘])    # 或    # print r.hmget(‘xx‘, ‘k1‘, ‘k2‘)

　　hgetall(name)

擷取name對應hash的所有索引值

　　hlen(name)

# 擷取name對應的hash中索引值對的個數

　　hkeys(name)

# 擷取name對應的hash中所有的key的值

　　hvals(name)

# 擷取name對應的hash中所有的value的值

　　hexists(name, key)

# 檢查name對應的hash是否存在當前傳入的key

　　hdel(name,*keys)

# 將name對應的hash中指定key的索引值對刪除

　　hincrby(name, key, amount=1)

# 自增name對應的hash中的指定key的值，不存在則建立key=amount# 參數：    # name，redis中的name    # key， hash對應的key    # amount，自增數（整數）

　hincrbyfloat(name, key, amount=1.0)

# 自增name對應的hash中的指定key的值，不存在則建立key=amount # 參數：    # name，redis中的name    # key， hash對應的key    # amount，自增數（浮點數） # 自增name對應的hash中的指定key的值，不存在則建立key=amount

　　hscan(name, cursor=0, match=None, count=None)

# 增量式迭代擷取，對於資料大的資料非常有用，hscan可以實現分區的擷取資料，並非一次性將資料全部擷取完，從而放置記憶體被撐爆 # 參數：    # name，redis的name    # cursor，遊標（基於遊標分批取擷取資料）    # match，匹配指定key，預設None 表示所有的key    # count，每次分區最少擷取個數，預設None表示採用Redis的預設分區個數 # 如：    # 第一次：cursor1, data1 = r.hscan(‘xx‘, cursor=0, match=None, count=None)    # 第二次：cursor2, data1 = r.hscan(‘xx‘, cursor=cursor1, match=None, count=None)    # ...    # 直到傳回值cursor的值為0時，表示資料已經通過分區擷取完畢

　　hscan_iter(name, match=None, count=None)

# 利用yield封裝hscan建立產生器，實現分批去redis中擷取資料  # 參數：    # match，匹配指定key，預設None 表示所有的key    # count，每次分區最少擷取個數，預設None表示採用Redis的預設分區個數  # 如：    # for item in r.hscan_iter(‘xx‘):    #     print item 

3. list操作

List操作，redis中的List在在記憶體中按照一個name對應一個List來儲存。　　

　　lpush(name,values)

# 在name對應的list中添加元素，每個新的元素都添加到列表的最左邊 # 如：    # r.lpush(‘oo‘, 11,22,33)    # 儲存順序為: 33,22,11 # 擴充：    # rpush(name, values) 表示從右向左操作

　　lpushx(name,value)

# 在name對應的list中添加元素，只有name已經存在時，值添加到列表的最左邊 # 更多：    # rpushx(name, value) 表示從右向左操作

　　llen(name)

# name對應的list元素的個數

　　linsert(name, where, refvalue, value))

# 在name對應的列表的某一個值前或後插入一個新值 # 參數：    # name，redis的name    # where，BEFORE或AFTER    # refvalue，標杆值，即：在它前後插入資料    # value，要插入的資料

　　r.lset(name, index, value)

# 對name對應的list中的某一個索引位置重新賦值 # 參數：    # name，redis的name    # index，list的索引位置    # value，要設定的值

　　r.lrem(name, value, num)

# 在name對應的list中刪除指定的值 # 參數：    # name，redis的name    # value，要刪除的值    # num，  num=0，刪除列表中所有的指定值；           # num=2,從前到後，刪除2個；           # num=-2,從後向前，刪除2個

　　lpop(name)

# 在name對應的列表的左側擷取第一個元素並在列表中移除，傳回值則是第一個元素 # 更多：    # rpop(name) 表示從右向左操作

　　lindex(name, index)

在name對應的列表中根據索引擷取列表元素

　　lrange(name, start, end)

# 在name對應的列表分區擷取資料# 參數：    # name，redis的name    # start，索引的起始位置    # end，索引結束位置

　　ltrim(name, start, end)

# 在name對應的列表中移除沒有在start-end索引之間的值# 參數：    # name，redis的name    # start，索引的起始位置    # end，索引結束位置

　　rpoplpush(src, dst)

# 從一個列表取出最右邊的元素，同時將其添加至另一個列表的最左邊# 參數：    # src，要取資料的列表的name    # dst，要添加資料的列表的name

　　blpop(keys, timeout)

# 將多個列表排列，按照從左至右去pop對應列表的元素 # 參數：    # keys，redis的name的集合    # timeout，逾時時間，當元素所有列表的元素擷取完之後，阻塞等待列表內有資料的時間（秒）, 0 表示永遠阻塞 # 更多：    # r.brpop(keys, timeout)，從右向左擷取資料

　　brpoplpush(src, dst, timeout=0)

# 從一個列表的右側移除一個元素並將其添加到另一個列表的左側 # 參數：    # src，取出並要移除元素的列表對應的name    # dst，要插入元素的列表對應的name    # timeout，當src對應的列表中沒有資料時，阻塞等待其有資料的逾時時間（秒），0 表示永遠阻塞

　　

4.set集合操作

Set操作，Set集合就是不允許重複的列表

　　sadd(name,values)

# name對應的集合中添加元素

　　scard(name)

擷取name對應的集合中元素個數

　　sdiff(keys, *args)

在第一個name對應的集合中且不在其他name對應的集合的元素集合

　　sdiffstore(dest, keys, *args)

# 擷取第一個name對應的集合中且不在其他name對應的集合，再將其新加入到dest對應的集合中

　　sinter(keys, *args)

# 擷取多一個name對應集合的並集

　　sinterstore(dest, keys, *args)

# 擷取多一個name對應集合的交集，再講其加入到dest對應的集合中

　　sismember(name, value)

# 檢查value是否是name對應的集合的成員

　　smembers(name)

# 擷取name對應的集合的所有成員

　　smove(src, dst, value)

# 將某個成員從一個集合中移動到另外一個集合

　　spop(name)

# 從集合的右側（尾部）移除一個成員，並將其返回

　　srandmember(name, numbers)

# 從name對應的集合中隨機擷取 numbers 個元素

　　srem(name, values)

# 在name對應的集合中刪除某些值

　　sunion(keys, *args)

# 擷取多一個name對應的集合的並集

　　sunionstore(dest,keys, *args)

# 擷取多一個name對應的集合的並集，並將結果儲存到dest對應的集合中

　　

sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)

# 同字串的操作，用於增量迭代分批擷取元素，避免記憶體消耗太大

 有序集合，在集合的基礎上，為每元素排序；元素的排序需要根據另外一個值來進行比較，所以，對於有序集合，每一個元素有兩個值，即：值和分數，分數專門用來做排序。

zadd(name, *args, **kwargs)

# 在name對應的有序集合中添加元素# 如：     # zadd(‘zz‘, ‘n1‘, 1, ‘n2‘, 2)     # 或     # zadd(‘zz‘, n1=11, n2=22)

　　zcard(name)

# 擷取name對應的有序集合元素的數量

　　zcount(name, min, max)

# 擷取name對應的有序集合中分數 在 [min,max] 之間的個數

　　zincrby(name, value, amount)

# 自增name對應的有序集合的 name 對應的分數

　　r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)

# 按照索引範圍擷取name對應的有序集合的元素 # 參數：    # name，redis的name    # start，有序集合索引起始位置（非分數）    # end，有序集合索引結束位置（非分數）    # desc，定序，預設按照分數從小到大排序    # withscores，是否擷取元素的分數，預設只擷取元素的值    # score_cast_func，對分數進行資料轉換的函數 # 更多：    # 從大到小排序    # zrevrange(name, start, end, withscores=False, score_cast_func=float)     # 按照分數範圍擷取name對應的有序集合的元素    # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)    # 從大到小排序    # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)

　　zrank(name, value)

# 擷取某個值在 name對應的有序集合中的排行（從 0 開始） # 更多：    # zrevrank(name, value)，從大到小排序

　　zrem(name, values)

# 刪除name對應的有序集合中值是values的成員 # 如：zrem(‘zz‘, [‘s1‘, ‘s2‘])

　　zremrangebyrank(name, min, max)

# 根據排行範圍刪除

　　zremrangebyscore(name, min, max)

# 根據分數範圍刪除

　　zscore(name, value)

# 擷取name對應有序集合中 value 對應的分數

　　zinterstore(dest, keys, aggregate=None)

# 擷取兩個有序集合的交集，如果遇到相同值不同分數，則按照aggregate進行操作# aggregate的值為:  SUM  MIN  MAX

　　zunionstore(dest, keys, aggregate=None)

# 擷取兩個有序集合的並集，如果遇到相同值不同分數，則按照aggregate進行操作# aggregate的值為:  SUM  MIN  MAX

　　zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)

# 同字串相似，相較於字串新增score_cast_func，用來對分數進行操作

　　

5.其他常用操作

delete(*names)

# 根據刪除redis中的任意資料類型

　　exists(name)

# 檢測redis的name是否存在

　　keys(pattern=‘*‘)

# 根據模型擷取redis的name # 更多：    # KEYS * 匹配資料庫中所有 key 。    # KEYS h?llo 匹配 hello ， hallo 和 hxllo 等。    # KEYS h*llo 匹配 hllo 和 heeeeello 等。    # KEYS h[ae]llo 匹配 hello 和 hallo ，但不匹配 hillo

　　expire(name ,time)

# 為某個redis的某個name設定逾時時間

　　rename(src, dst)

# 對redis的name重新命名為

　　move(name, db))

# 將redis的某個值移動到指定的db下

　　randomkey()

# 隨機擷取一個redis的name（不刪除）

　　type(name)

# 擷取name對應值的類型

　　scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)

# 同字串操作，用於增量迭代擷取key

　　

管道

redis-py預設在執行每次請求都會建立（串連池申請串連）和斷開（歸還串連池）一次串連操作，如果想要在一次請求中指定多個命令，則可以使用pipline實現一次請求指定多個命令，並且預設情況下一次pipline 是原子性操作。

#!/usr/bin/env python# -*- coding:utf-8 -*- import redis pool = redis.ConnectionPool(host=‘10.211.55.4‘, port=6379) r = redis.Redis(connection_pool=pool) # pipe = r.pipeline(transaction=False)pipe = r.pipeline(transaction=True) pipe.set(‘name‘, ‘alex‘)pipe.set(‘role‘, ‘sb‘) pipe.execute()

發布訂閱

發行者：伺服器

訂閱者：Dashboad和資料處理

Demo如下：

import redisclass RedisHelper:    def __init__(self):        self.__conn = redis.Redis(host=‘10.211.55.4‘)        self.chan_sub = ‘fm104.5‘        self.chan_pub = ‘fm104.5‘    def public(self, msg):        self.__conn.publish(self.chan_pub, msg)        return True    def subscribe(self):        pub = self.__conn.pubsub()        pub.subscribe(self.chan_sub)        pub.parse_response()        return pubredis helper

 訂閱者：

#!/usr/bin/env python# -*- coding:utf-8 -*- from monitor.RedisHelper import RedisHelper obj = RedisHelper()redis_sub = obj.subscribe() while True:    msg= redis_sub.parse_response()    print msg

發行者：

#!/usr/bin/env python# -*- coding:utf-8 -*- from monitor.RedisHelper import RedisHelper obj = RedisHelper()obj.public(‘hello‘)

 

更多參見：https://github.com/andymccurdy/redis-py/

http://doc.redisfans.com/

 

 

Python自動化開發學習的第十周----Redis