REDIS快取資料庫

標籤：伺服器   div   規模   周期性   日誌   ram   self   sql   集合   

快取資料庫介紹

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，泛指非關係型的資料庫，隨著互連網web2.0網站的興起，傳統的關聯式資料庫在應付web2.0網站，特別是超大規模和高並發的SNS類型的web2.0純動態網站已經顯得力不從心，暴露了很多難以克服的問題，而非關係型的資料庫則由於其本身的特點得到了非常迅速的發展。NoSQL資料庫的產生就是為瞭解決大規模資料集合多重資料種類帶來的挑戰，尤其是大資料應用難題。

NoSQL資料庫的四大分類

索引值(Key-Value)儲存資料庫

這一類資料庫主要會使用到一個雜湊表，這個表中有一個特定的鍵和一個指標指向特定的資料。Key/value模型對於IT系統來說的優勢在於簡單、易部署。但是如果DBA只對部分值進行查詢或更新的時候，Key/value就顯得效率低下了。[3]  舉例如：Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB.  列儲存資料庫。這部分資料庫通常是用來應對分布式儲存的海量資料。鍵仍然存在，但是它們的特點是指向了多個列。這些列是由列家族來安排的。如：Cassandra, HBase, Riak.  文檔型資料庫文檔型資料庫的靈感是來自於Lotus Notes辦公軟體的，而且它同第一種KVStore for Redis相類似。該類型的資料模型是版本化的文檔，半結構化的文檔以特定的格式儲存，比如JSON。文檔型資料庫可 以看作是索引值資料庫的升級版，允許之間嵌套索引值。而且文檔型資料庫比索引值資料庫的查詢效率更高。如：CouchDB, MongoDb. 國內也有文檔型資料庫SequoiaDB，已經開源。  圖形(Graph)資料庫圖形結構的資料庫同其他行列以及剛性結構的SQL資料庫不同，它是使用靈活的圖形模型，並且能夠擴充到多個伺服器上。NoSQL資料庫沒有標準的查詢語言(SQL)，因此進行資料庫查詢需要制定資料模型。許多NoSQL資料庫都有REST式的資料介面或者查詢API。[2]  如：Neo4J, InfoGrid, Infinite Graph.因此，我們總結NoSQL資料庫在以下的這幾種情況下比較適用：1、資料模型比較簡單；2、需要靈活性更強的IT系統；3、對資料庫效能要求較高；4、不需要高度的資料一致性；5、對於給定key，比較容易映射複雜值的環境。NoSQL資料庫的四大分類表格分析

分類	Examples舉例	典型應用情境	資料模型	優點	缺點
索引值（key-value）[3]	Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB	內容緩衝，主要用於處理大量資料的高訪問負載，也用於一些日誌系統等等。[3]	Key 指向 Value 的索引值對，通常用hash table來實現[3]	尋找速度快	資料無結構化，通常只被當作字串或者位元據[3]
列儲存資料庫[3]	Cassandra, HBase, Riak	分布式的檔案系統	以列簇式儲存，將同一列資料存在一起	尋找速度快，可擴充性強，更容易進行分布式擴充	功能相對局限
文檔型資料庫[3]	CouchDB, MongoDb	Web應用（與Key-Value類似，Value是結構化的，不同的是資料庫能夠瞭解Value的內容）	Key-Value對應的索引值對，Value為結構化資料	資料結構要求不嚴格，表結構可變，不需要像關係型資料庫一樣需要預先定義表結構	查詢效能不高，而且缺乏統一的查詢文法。
圖形(Graph)資料庫[3]	Neo4J, InfoGrid, Infinite Graph	社交網路，推薦系統等。專註於構建關係圖譜	圖結構	利用圖結構相關演算法。比如最短路徑定址，N度關係尋找等	很多時候需要對整個圖做計算才能得出需要的資訊，而且這種結構不太好做分布式的叢集方案。[3]

 redis介紹

redis是業界主流的key-value nosql 資料庫之一。和Memcached類似，它支援儲存的value類型相對更多，包括string(字串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash（雜湊類型）。這些資料類型都支援push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支援各種不同方式的排序。與memcached一樣，為了保證效率，資料都是緩衝在記憶體中。區別的是redis會周期性的把更新的資料寫入磁碟或者把修改操作寫入追加的記錄檔案，並且在此基礎上實現了master-slave(主從)同步。

Redis優點

• 異常快速 : Redis是非常快的，每秒可以執行大約110000設定作業，81000個/每秒的讀取操作。

• 支援豐富的資料類型 : Redis支援最大多數開發人員已經知道如列表，集合，可排序集合，雜湊等資料類型。

  這使得在應用中很容易解決的各種問題，因為我們知道哪些問題處理使用哪種資料類型更好解決。

• 操作都是原子的 : 所有 Redis 的操作都是原子，從而確保當兩個客戶同時訪問 Redis 伺服器得到的是更新後的值（最新值）。

• MultiUtility工具：Redis是一個多功能工具 + 生產力，可以在很多如：緩衝，訊息傳遞佇列中使用（Redis原生支援發布/訂閱），在應用程式中，如：Web應用程式工作階段，網站頁面點擊數等任何短暫的資料；

安裝redis

yum install redis　　

 啟動redis

redis-server  # 6379　　

 命令列進入rediredis-cli

python 安裝模組

pip3.5 install redis

Redis API使用

連結方式

1. 單連結

redis-py提供兩個類Redis和StrictRedis用於實現Redis的命令，StrictRedis用於實現大部分官方的命令，並使用官方的文法和命令，Redis是StrictRedis的子類，用於向後相容舊版本的redis-py。

# 連結import redisr = redis.Redis(host=‘remoteip‘, port=6379)r.set(‘name‘, ‘joker‘)print(r.get(‘name‘))  # joker

2. 連結池

redis-py使用connection pool來管理對一個redis server的所有串連，避免每次建立、釋放串連的開銷。預設，每個Redis執行個體都會維護一個自己的串連池。可以直接建立一個串連池，然後作為參數Redis，這樣就可以實現多個Redis執行個體共用一個串連池。　　

# 連結池import redispool = redis.ConnectionPool(host=‘remoteip‘, port=6379)r = redis.Redis(connection_pool=pool)r.set(‘name‘,‘joker‘)print(r.get(‘name‘))

 

操作1. String操作

redis中的String在在記憶體中按照一個name對應一個value來儲存

set(name, value, ex=None, px=None, nx=False, xx=False)

在Redis中設定值，預設，不存在則建立，存在則修改參數：     ex，到期時間（秒）     px，到期時間（毫秒）     nx，如果設定為True，則只有name不存在時，當前set操作才執行     xx，如果設定為True，則只有name存在時，崗前set操作才執行

setnx (key value)

設定值，只有name不存在時，執行設定作業（添加）

setex(name, value, time)

# 設定值# 參數：# time，到期時間（數字秒 或 timedelta對象）

psetex(name, time_ms, value)

# 設定值# 參數：# time_ms，到期時間（數字毫秒 或 timedelta對象）　　

mset(*args, **kwargs)

大量設定值如：    mset(k1=‘v1‘, k2=‘v2‘)    或    mget({‘k1‘: ‘v1‘, ‘k2‘: ‘v2‘})

get(name)

擷取值

mget(keys, *args)

批量擷取如：    mget(‘name‘, ‘age‘)    或    r.mget([‘name‘, ‘age‘])

getset(name, value)

設定新值並擷取原來的值

getrange(key, start, end)

# 擷取子序列（根據位元組擷取，非字元）# 參數：    # name，Redis 的 name    # start，起始位置（位元組）    # end，結束位置（位元組）# 如： "李大拿" ，0-3表示 "李"

 

###

setbit(name, offset, value)

# 對name對應值的二進位表示的位進行操作 # 參數：    # name，redis的name    # offset，位的索引（將值變換成二進位後再進行索引）    # value，值只能是 1 或 0 # 註：如果在Redis中有一個對應： n1 = "foo"，        那麼字串foo的二進位表示為：01100110 01101111 01101111    所以，如果執行 setbit(‘n1‘, 7, 1)，則就會將第7位設定為1，        那麼最終二進位則變成 01100111 01101111 01101111，即："goo" # 擴充，轉換二進位表示：     # source = "武沛齊"    source = "foo"     for i in source:        num = ord(i)        print bin(num).replace(‘b‘,‘‘)     特別的，如果source是漢字 "武沛齊"怎麼辦？    答：對於utf-8，每一個漢字占 3 個位元組，那麼 "武沛齊" 則有 9個位元組       對於漢字，for迴圈時候會按照 位元組 迭代，那麼在迭代時，將每一個位元組轉換 十進位數，然後再將十進位數轉換成二進位        11100110 10101101 10100110 11100110 10110010 10011011 11101001 10111101 10010000        -------------------------- ----------------------------- -----------------------------                    武                         沛                           齊

*用途舉例，用最省空間的方式，儲存線上使用者數及分別是哪些使用者線上

getbit(name, offset)

# 擷取name對應的值的二進位表示中的某位的值 （0或1）

bitcount(key, start=None, end=None)

# 擷取name對應的值的二進位表示中 1 的個數# 參數：    # key，Redis的name    # start，位起始位置    # end，位結束位置

strlen(name)

# 返回name對應值的位元組長度（一個漢字3個位元組）

incr(self, name, amount=1)

# 自增 name對應的值，當name不存在時，則建立name＝amount，否則，則自增。 # 參數：    # name,Redis的name    # amount,自增數（必須是整數） # 註：同incrby

incrbyfloat(self, name, amount=1.0)

# 自增 name對應的值，當name不存在時，則建立name＝amount，否則，則自增。 # 參數：    # name,Redis的name    # amount,自增數（浮點型）

decr(self, name, amount=1)

# 自減 name對應的值，當name不存在時，則建立name＝amount，否則，則自減。 # 參數：    # name,Redis的name    # amount,自減數（整數）

append(key, value)

# 在redis name對應的值後面追加內容 # 參數：    key, redis的name    value, 要追加的字串

 

2. Hash操作

hash表現形式上有些像pyhton中的dict,可以儲存一組關聯性較強的資料 ， redis中Hash在記憶體中的儲存格式如下

 

 

hset(name, key, value)

# name對應的hash中設定一個索引值對（不存在，則建立；否則，修改） # 參數：    # name，redis的name    # key，name對應的hash中的key    # value，name對應的hash中的value # 註：    # hsetnx(name, key, value),當name對應的hash中不存在當前key時則建立（相當於添加）

hmset(name, mapping)

# 在name對應的hash中大量設定索引值對 # 參數：    # name，redis的name    # mapping，字典，如：{‘k1‘:‘v1‘, ‘k2‘: ‘v2‘} # 如：    # r.hmset(‘xx‘, {‘k1‘:‘v1‘, ‘k2‘: ‘v2‘})

hget(name,key)

# 在name對應的hash中擷取根據key擷取value

hmget(name, keys, *args)

# 在name對應的hash中擷取多個key的值 # 參數：    # name，reids對應的name    # keys，要擷取key集合，如：[‘k1‘, ‘k2‘, ‘k3‘]    # *args，要擷取的key，如：k1,k2,k3 # 如：    # r.mget(‘xx‘, [‘k1‘, ‘k2‘])    # 或    # print r.hmget(‘xx‘, ‘k1‘, ‘k2‘)

hgetall(name)

# 擷取name對應hash的所有索引值

hlen(name)

# 擷取name對應的hash中索引值對的個數

hkeys(name)

# 擷取name對應的hash中所有的key的值

hvals(name)

# 擷取name對應的hash中所有的value的值

hexists(name, key)

# 檢查name對應的hash是否存在當前傳入的key

hdel(name,*keys)

# 將name對應的hash中指定key的索引值對刪除

hincrby(name, key, amount=1)

# 自增name對應的hash中的指定key的值，不存在則建立key=amount# 參數：    # name，redis中的name    # key， hash對應的key    # amount，自增數（整數）

hincrbyfloat(name, key, amount=1.0)

# 自增name對應的hash中的指定key的值，不存在則建立key=amount # 參數：    # name，redis中的name    # key， hash對應的key    # amount，自增數（浮點數） # 自增name對應的hash中的指定key的值，不存在則建立key=amount

hscan(name, cursor=0, match=None, count=None)

Start a full hash scan with:

HSCAN myhash 0

Start a hash scan with fields matching a pattern with:

HSCAN myhash 0 MATCH order_*

Start a hash scan with fields matching a pattern and forcing the scan command to do more scanning with:

HSCAN myhash 0 MATCH order_* COUNT 1000

# 增量式迭代擷取，對於資料大的資料非常有用，hscan可以實現分區的擷取資料，並非一次性將資料全部擷取完，從而放置記憶體被撐爆 # 參數：    # name，redis的name    # cursor，遊標（基於遊標分批取擷取資料）    # match，匹配指定key，預設None 表示所有的key    # count，每次分區最少擷取個數，預設None表示採用Redis的預設分區個數 # 如：    # 第一次：cursor1, data1 = r.hscan(‘xx‘, cursor=0, match=None, count=None)    # 第二次：cursor2, data1 = r.hscan(‘xx‘, cursor=cursor1, match=None, count=None)    # ...    # 直到傳回值cursor的值為0時，表示資料已經通過分區擷取完畢

hscan_iter(name, match=None, count=None)

# 利用yield封裝hscan建立產生器，實現分批去redis中擷取資料  # 參數：    # match，匹配指定key，預設None 表示所有的key    # count，每次分區最少擷取個數，預設None表示採用Redis的預設分區個數  # 如：    # for item in r.hscan_iter(‘xx‘):    #     print item

 

3. list

List操作，redis中的List在在記憶體中按照一個name對應一個List來儲存。

lpush(name,values)

# 在name對應的list中添加元素，每個新的元素都添加到列表的最左邊 # 如：    # r.lpush(‘oo‘, 11,22,33)    # 儲存順序為: 33,22,11 # 擴充：# rpush(name, values) 表示從右向左操作

lpushx(name,value)

# 在name對應的list中添加元素，只有name已經存在時，值添加到列表的最左邊 # 更多：# rpushx(name, value) 表示從右向左操作

llen(name)

# name對應的list元素的個數

linsert(name, where, refvalue, value))

# 在name對應的列表的某一個值前或後插入一個新值 # 參數：    # name，redis的name    # where，BEFORE或AFTER    # refvalue，標杆值，即：在它前後插入資料    # value，要插入的資料

r.lset(name, index, value)

# 對name對應的list中的某一個索引位置重新賦值 # 參數：    # name，redis的name    # index，list的索引位置    # value，要設定的值

r.lrem(name, value, num)

# 在name對應的list中刪除指定的值 # 參數：    # name，redis的name    # value，要刪除的值    # num，  num=0，刪除列表中所有的指定值；           # num=2,從前到後，刪除2個；           # num=-2,從後向前，刪除2個

lpop(name)

# 在name對應的列表的左側擷取第一個元素並在列表中移除，傳回值則是第一個元素 # 更多：# rpop(name) 表示從右向左操作

lindex(name, index)

# 在name對應的列表中根據索引擷取列表元素

lrange(name, start, end)

# 在name對應的列表分區擷取資料# 參數：    # name，redis的name    # start，索引的起始位置    # end，索引結束位置

ltrim(name, start, end)

# 在name對應的列表中移除沒有在start-end索引之間的值# 參數：    # name，redis的name    # start，索引的起始位置    # end，索引結束位置

rpoplpush(src, dst)

# 從一個列表取出最右邊的元素，同時將其添加至另一個列表的最左邊# 參數：    # src，要取資料的列表的name    # dst，要添加資料的列表的name

blpop(keys, timeout)

# 將多個列表排列，按照從左至右去pop對應列表的元素 # 參數：    # keys，redis的name的集合    # timeout，逾時時間，當元素所有列表的元素擷取完之後，阻塞等待列表內有資料的時間（秒）, 0 表示永遠阻塞 # 更多：    # r.brpop(keys, timeout)，從右向左擷取資料

brpoplpush(src, dst, timeout=0)

# 從一個列表的右側移除一個元素並將其添加到另一個列表的左側 # 參數：    # src，取出並要移除元素的列表對應的name    # dst，要插入元素的列表對應的name    # timeout，當src對應的列表中沒有資料時，阻塞等待其有資料的逾時時間（秒），0 表示永遠阻塞

 

4.set集合操作

Set操作，Set集合就是不允許重複的列表

sadd(name,values)

# name對應的集合中添加元素

scard(name)

# 擷取name對應的集合中元素個數

sdiff(keys, *args)

# 在第一個name對應的集合中且不在其他name對應的集合的元素集合

sdiffstore(dest, keys, *args)

# 擷取第一個name對應的集合中且不在其他name對應的集合，再將其新加入到dest對應的集合中

sinter(keys, *args)

# 擷取多一個name對應集合的並集

sinterstore(dest, keys, *args)

# 擷取多一個name對應集合的並集，再講其加入到dest對應的集合中

sismember(name, value)

# 檢查value是否是name對應的集合的成員

smembers(name)

# 擷取name對應的集合的所有成員

smove(src, dst, value)

# 將某個成員從一個集合中移動到另外一個集合

spop(name)

# 從集合隨機移除一個成員，並將其返回

srandmember(name, numbers)

# 從name對應的集合中隨機擷取 numbers 個元素

srem(name, values)

# 在name對應的集合中刪除某些值

sunion(keys, *args)

# 擷取多一個name對應的集合的並集

sunionstore(dest,keys, *args)

# 擷取多一個name對應的集合的並集，並將結果儲存到dest對應的集合中

sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)

# 同字串的操作，用於增量迭代分批擷取元素，避免記憶體消耗太大

有序集合，在集合的基礎上，為每元素排序；元素的排序需要根據另外一個值來進行比較，所以，對於有序集合，每一個元素有兩個值，即：值和分數，分數專門用來做排序。　　

 

其他常用操作

delete(*names)

# 根據刪除redis中的任意資料類型

exists(name)

# 檢測redis的name是否存在

keys(pattern=‘*‘)

# 根據模型擷取redis的name # 更多：    # KEYS * 匹配資料庫中所有 key 。    # KEYS h?llo 匹配 hello ， hallo 和 hxllo 等。    # KEYS h*llo 匹配 hllo 和 heeeeello 等。    # KEYS h[ae]llo 匹配 hello 和 hallo ，但不匹配 hillo

expire(name ,time)

# 為某個redis的某個name設定逾時時間，逾時之後元素消失

rename(src, dst)

# 對redis的name重新命名為

move(name, db))

# 將redis的某個值移動到指定的db下，如果db上有就不會移動

randomkey()

# 隨機擷取一個redis的name（不刪除）

type(name)

# 擷取name對應值的類型

scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)

# 同字串操作，用於增量迭代擷取key

　　

管道

redis-py預設在執行每次請求都會建立（串連池申請串連）和斷開（歸還串連池）一次串連操作，如果想要在一次請求中指定多個命令，則可以使用pipline實現一次請求指定多個命令，並且預設情況下一次pipline 是原子性操作。

import redis,timepool = redis.ConnectionPool(host=‘remoreip‘, port=6379)r = redis.Redis(connection_pool=pool)# pipe = r.pipeline(transaction=False)pipe = r.pipeline(transaction=True)pipe.set(‘name‘, ‘JOKER‘)time.sleep(10)pipe.set(‘role‘, ‘ADMIN‘)pipe.execute()

 

發布訂閱　　

發行者：伺服器

Demo如下

import redisclass RedisHelper:    def __init__(self):        self.__conn = redis.Redis(host=‘remoteip‘)        self.chan_sub = ‘fm104.5‘        self.chan_pub = ‘fm104.5‘    def public(self, msg):        self.__conn.publish(self.chan_pub, msg) # 發訊息        return True    def subscribe(self):        pub = self.__conn.pubsub()      # 開始訂閱，開啟收音機        pub.subscribe(self.chan_sub)    # 調頻道        pub.parse_response()　　　　　　　 # 準備接收，在調用一次就該接受了，看訂閱者裡面
        return pubredis helper

訂閱者：Dashboad和資料處理

#!/usr/bin/env python# -*- coding:utf-8 -*- from monitor.RedisHelper import RedisHelper obj = RedisHelper()redis_sub = obj.subscribe() while True:    msg= redis_sub.parse_response()  # 接收訊息，收不到會卡住    print(msg)

發行者：

#!/usr/bin/env python# -*- coding:utf-8 -*- from monitor.RedisHelper import RedisHelper obj = RedisHelper()obj.public(‘hello‘)　　

命令列發送訊息

publish fm104.5 hello

更多功能命令 http://doc.redisfans.com/

 

 

 

REDIS快取資料庫