標籤:
Redis介紹
REmote DIctionary Server(Redis) 是一個由Salvatore Sanfilippo寫的key-value儲存系統。
Redis是一個開源的使用ANSI C語言編寫、遵守BSD協議、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value資料庫,並提供多種語言的API。
它通常被稱為資料結構伺服器,因為值(value)可以是字串(String), 雜湊(Map), 列表(list), 集合(sets) 和有序集合(sorted sets)等類型。
詳細介紹請查看wiki Redis和Redis官網。
Redis安裝
- unix系請直接官網下載。
- window 64位版請在這個地址下載。
- 下載好後請解壓縮或者window直接安裝msi檔案,在解壓縮目錄或者安裝目錄建立兩個bat檔案。分別是start.bat,內容是redis-server redis.windows.conf 和clear.bat,內容是redis-cli flushdb。
- 雙擊開啟redis-cli.exe,輸入ping,得到pong說明redis串連正常。
Redis常用命令
Redis的命令可以直接在redis-cli.exe中互動使用,輸入
set k 1
返回
ok
即reids已經儲存key為“k”,value為“1”的資料。
具體常用命令請參考以下教程:
- RUNOOB.com的redis教程
- blog中梳理的簡單常用命令教程
- Royce Wang梳理的進階常用命令教程
- Redis官方命令文檔
進階特性1. 安全性
設定用戶端串連後進行任何操作指定前要求輸入密碼,一個外部使用者可以再一秒鐘進行150W次訪問。
修改密碼:
- 方法一:通過命令列進行配置:config set requirepass abc即可。查看密碼是:config get requirepass授權還是auth abc
- 方法二:修改設定redis.conf裡面的requirepass屬性給予密碼,我這裡給的是abc。之後如果想操作可以採用登陸的時候就授權使用sudo /opt/java/redis/bin/redis-cli -a abc或者是進入以後auth abc然後就可以隨意操作了。
2. 主從複製
準備了兩個虛擬機器,ip分別是192.168.15.128和192.168.15.133,通過主從複製可以允許多個slave server擁有和master server相同的資料庫副本
具體配置是在slave上面配置slave
```slaveof 192.168.15.128 6379masterauth abc```如果沒有主從同步那麼就檢查一下是不是防火牆的問題,我用的是ufw,設定一下sudo ufw allow 6379就可以了,這個時候可以通過info查看具體的情況
3. 交易處理
redis對事務的支援還比較簡單,redis只能保證一個client發起的事務中的命令可以連續執行,而中間不會插入其他client的命令。當一個client在一個串連中發出multi命令時,這個串連會進入一個事務的上下文,串連後續命令不會立即執行,而是先放到一個隊列中,當執行exec命令時,redis會順序的執行隊列中的所有命令。
比如下面的一個例子:
```set age 100multiset age 10set age 20execget age --這個內容就應該是20multiset age 20set age 10execget age --這個時候的內容就成了10,充分體現了一下按照隊列順序執行的方式discard 取消所有事務,也就是交易回復```
樂觀鎖
watch key如果沒watch的key有改動那麼outdate的事務是不能執行的。
但是要注意的是,並不能保證隊列中操作的key沒有變化(並發環境),可以使用WATCH來監視並在並發時復原(開放式並行存取)。當然,Redis中也提供了很多組合型的原子命令(比如檢查並添加,刪除後添加,這些組合特別有用)。
4. 持久化機制
redis是一個支援持久化的記憶體資料庫。
- snapshotting快照方式是預設的儲存方式,預設寫入dump.rdb的二進位檔案中,可以配置redis在n秒內如果超過m個key被修改過就自動做快照
- append-only file aof日誌方式,使用aof時候redis會將每一次的函 數都追加到檔案中,當redis重啟時會重新執行檔案中的儲存的寫命令在記憶體中。
5. 管道
一次性提交多個命令(如果只是進行一些設定,命令之間不需要依賴前置命令結果的話,可以提高不少效率)。當然,Redis還提供了很多Multi-的命令,允許一次性進行多個值的添加,擷取等等。
6. VM
作業系統的頁過大,Redis預設使用32位元組的頁。把所有的鍵儲存在記憶體中,把所有的值壓縮(很厲害,儲存10G的資料才佔用2G不到的儲存,我都懷疑我看錯了)儲存在swap中。也可以配置選擇使用同步或非同步方式進行換入換出。
用戶端
在官網有Redis支援各種語言的用戶端,我下載的用戶端是java版的jedis。https://github.com/xetorthio/jedis
java使用樣本:
//串連本地的 Redis 服務Jedis jedis = new Jedis("localhost");System.out.println("Connection to server sucessfully");//jedis.auth("abc");//授權密碼,沒有設定可以注釋掉jedis.set("foo", "bar");String value = jedis.get("foo");System.out.println("value:"+value);
詳解設定檔
直接執行redis-server就可以啟動redis服務,預設監聽連接埠為6379,而後用戶端即可以串連服務端,執行操作。
Redis提供了redis.conf的設定檔,其中包含redis各參數的樣本和功能描述:
- daemonize:預設值no,該參數用於定製redis服務是否以守護模式運行。
- pidfile:預設值/var/run/redis.pid,指定redis服務的進程號檔案路徑,以守護模式運行時需要配置本參數;
- port:預設值6379,指定redis服務的連接埠; bind:綁定ip,預設是本機所有網路裝置;
- timeout:用戶端空閑n秒後中斷連線; loglevel:設定服務端的記錄層級,有下列幾種選擇:
- debug:記錄詳細資料,用於開發或調試; verbose:提供很多有用的資訊,但是又不像debug那麼詳盡,預設就是這一選項;
- notice:適度提醒,多用於產品環境; warning:僅顯示重要的警告資訊;
- logfile:指定日誌的輸出路徑,預設值stdout,表示輸出到螢幕,守護模式時則輸出到/dev/null;如果要輸出日誌到syslog中,可以啟動syslog-enabled yes,預設該選項值為no。
- databases:指定資料庫的數量,預設為16個,預設使用的資料庫是DB 0。
以下為快照相關的設定:
- save :指定多長時間重新整理快照至磁碟,這個選項有兩個屬性值,只有當兩個屬性值均滿足時才會觸發;可以設定多種層級,例如預設的參數檔案中就設定了:
- save 900 1:每900秒(15分鐘)至少一次索引值變更時被觸發;
- save 300 10:每300秒(5分鐘)至少10次索引值變更時被觸發;
- save 60 10000:每60秒至少10000次索引值變更時被觸發;
- rdbcompression:預設值yes,當dump資料庫時使用LZF壓縮字串對象,如果CPU資源比較緊張,可以設定為no,選擇不壓縮;
- dbfilename:預設值dump.rdb,dump到檔案系統中的檔案名稱;
- dir:預設值./,即目前的目錄,dump出的資料檔案的儲存路徑;
以下為複製相關的設定,複製預設是不啟用的,因此在預設的參數檔案下列表參數均被注釋:
# slaveof :指定主端ip和連接埠,用於建立一個鏡像服務;# masterauth :如果master配置了密碼的話,此處也需做設定;slave-serve-stale-data:預設值yes。當slave丟失與master端的串連,或者複製仍在處理,那麼slave會有下列兩種表現:當本參數值為yes時,slave為繼續響應用戶端請求,儘管資料已不同步甚至沒有資料(出現在初次同步的情況下);當本參數值為no時,slave會返回"SYNC with master in progreee"的錯誤資訊;# repl-ping-slave-period:預設值10,指定slave定期ping master的周期;# repl-timeout:預設值60,指定逾時時間。注意本參數包括批量傳輸資料和ping響應的時間。以下為安全相關的設定# requirepass:指定一個密碼,用戶端串連時也需要通過密碼才能成功串連;# rename-command:重定義命令,例如將CONFIG命令更名為一個很複雜的名字:rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52;rename-command CONFIG "":取消這個命令;
以下為資源限制方面的設定:
# maxclients:指定用戶端的最大並發串連數,預設是沒有限制,直到redis無法建立新的進程為止,設定該參數值為0也表示不限制,如果該參數指定了值,當並發串連達到指定值時,redis會關閉所有新串連,並返回‘max number of clients reached‘的錯誤資訊;# maxmemory:設定redis最大可使用記憶體。當達到最大記憶體後,redis會嘗試按照設定的回收策略刪除索引值。如果無法刪除索引值,或者保留原則設定為不清除,那麼redis就會向發出記憶體的請求返回錯誤資訊。當把redis做為一級LRU的緩衝時本參數較為有用。# maxmemory-policy:預設值volatile-lru,指定清除策略,有下列幾種方法:volatile-lru -> remove the key with an expire set using an LRU algorithmallkeys-lru -> remove any key accordingly to the LRU algorithmvolatile-random -> remove a random key with an expire setallkeys->random -> remove a random key, any keyvolatile-ttl -> remove the key with the nearest expire time (minor TTL)noeviction -> don‘t expire at all, just return an error on write operations# maxmemory-samples:預設值3,LRU和最小TTL策略並非嚴謹的策略,而是大約估算的方式,因此可以選擇取樣值以便檢查。
以下為APPEND ONLY模式的設定,預設情況下redis採用非同步方式dump資料到磁碟上,極端情況下這可能會導致丟失部分資料(比如伺服器突然宕機),如果資料比較重要,不希望丟失,可以啟用直寫的模式,這種模式下redis會將所有接收到的寫操作同步到appendonly.aof檔案中,該檔案會在redis服務啟動時在記憶體中重建所有資料。注意這種模式對效能影響非常之大。
appendonly:預設值no,指定是否啟用直寫入模式;# appendfilename:直寫入模式的預設檔案名稱appendonly.aof;appendfsync:調用fsync()方式讓作業系統寫資料到磁碟上,資料同步方式,有下列幾種模式:always:每次都調用,比如安全,但速度最慢;everysec:每秒同步,這也是預設;no:不調用fsync,由作業系統決定何時同步,比如快的模式;no-appendfsync-on-rewrite:預設值no。當AOF fsync原則設定為always或everysec,後台儲存進程會執行大量的I/O操作。某些linux配置下redis可能會阻塞過多的fsync()調用。auto-aof-rewrite-percentage:預設值100auto-aof-rewrite-min-size:預設值64mb
以下為慢日誌相關的設定,用以記錄執行時間超出閥值的查詢。執行時間不包括I/O操作或發送資料到用戶端等佔用的時間,而是真正執行命令所花費的時間(即線程阻塞不能接受其它請求的時間):
- slowlog-log-slower-than:預設值10000,單位微秒,定義為慢的執行的閥值;
- slowlog-max-len:預設值1024,慢日誌的最大資料。注意這會佔用內容資源,如果要清空它可以執行SLOWLOG RESET命令;
以下為虛擬記憶體相關的設定,虛擬記憶體在2.4版本廢棄,這裡也略過不提了 vm-enabled no vm-swap-file /tmp/redis.swap vm-max-memory 0 vm-page-size 32 vm-pages 134217728 vm-max-threads 4
以下為進階配置相關的設定:
- hash-max-zipmap-entries:預設值512,當某個map的元素個數達到最大值,但是其中最大元素的長度沒有達到設定閥值時,其HASH的編碼採用一種特殊的方式(更有效利用記憶體)。本參數與下面的參數組合使用來設定這兩項閥值。設定元素個數;
- hash-max-zipmap-value:預設值64,設定map中元素的值的最大長度;這兩個
- list-max-ziplist-entries:預設值512,與hash類似,滿足條件的list數組也會採用特殊的方式以節省空間的。
- list-max-ziplist-value:預設值64
- set-max-intset-entries:預設值512,當set類型中的資料都是數實值型別,並且set中整型元素的數量不超過指定值時,使用特殊的編碼方式。
- zset-max-ziplist-entries:預設值128,與hash和list類似。
- zset-max-ziplist-value:預設值64
- activerehashing:預設值yes,用來控制是否自動重建hash。Active rehashing每100微秒使用1微秒cpu時間排序,以重組Redis的hash表。重建是通過一種lazy方式,寫入hash表的操作越多,需要執行rehashing的步驟也越多,如果伺服器當前空閑,那麼rehashing操作會一直執行。如果對即時性要求較高,難以接受redis時不時出現的2微秒的延遲,則可以設定activerehashing為no,否則建議設定為yes,以節省記憶體空間。
建立一個conf檔案(當然也可以直接使用redis內建的redis.conf)並根據實際情況設定好參數,而後啟動Redis服務時,指定設定檔即可,例如:
# more redis.conf daemonize yespidfile /data/software/redis/redis.pidport 6379logfile /data/software/redis/redis.logdatabases 16save 900 1save 300 10save 60 10000rdbcompression yesdbfilename dump.rdbdir /data/software/redis/# redis-server /data/software/redis/redis.conf
參考文獻
- Redis官網文檔 http://redis.io/documentation
- 陽光島主部落格http://blog.csdn.net/ithomer/article/details/9213185
- Royce Wang部落格http://blog.csdn.net/wf1982/article/details/7209083
- RUNOOB教程http://www.runoob.com/redis/redis-tutorial.html
- 百度文庫入門詳解http://wenku.baidu.com/view/bc9f266448d7c1c708a145fb.html
Redis入門