通過MySQL自動同步重新整理Redis

標籤：基本操作   安全   blank   瓶頸   bool   最簡   cli   *args   system   

在服務端開發過程中，一般會使用MySQL等關係型資料庫作為最終的儲存引擎，Redis其實也可以作為一種索引值對型的資料庫，但在一些實際情境中，特別是關係型結構並不適合使用Redis直接作為資料庫。這倆傢伙簡直可以用“男女搭配，幹活不累”來形容，搭配起來使用才能事半功倍。本篇我們就這兩者如何合理搭配以及他們之間資料如何進行同步展開。

一般地，Redis可以用來作為MySQL的緩衝層。為什麼MySQL最好有緩衝層呢？想象一下這樣的情境：在一個多人線上的遊戲裡，熱門排行榜、好友關係、隊列等直接關係資料的情景下，如果直接和MySQL正面交手，大量的資料請求可能會讓MySQL疲憊不堪，甚至過量的請求將會擊穿資料庫，導致整個資料服務中斷，資料庫效能的瓶頸將掣肘業務的開發；那麼如果通過Redis來做資料緩衝，將大大減小查詢資料的壓力。在這種架子裡，當我們在業務層有資料查詢需求時，先到Redis緩衝中查詢，如果查不到，再到MySQL資料庫中查詢，同時將查到的資料更新到Redis裡；當我們在業務層有修改插入資料需求時，直接向MySQL發起請求，同時更新Redis緩衝。

在上面這種架子中，有一個關鍵點，就是MySQL的CRUD發生後自動地更新到Redis裡，這需要通過MySQL UDF來實現。具體來說，我們把更新Redis的邏輯放到MySQL中去做，即定義一個觸發器Trigger，監聽CRUD這些操作，當操作發生後，調用對應的UDF函數，遠程寫回Redis，所以商務邏輯只需要負責更新MySQL就行了，剩下的交給MySQL UDF去完成。

一. 什麼是UDF

UDF，是User Defined Function的縮寫，使用者定義函數。MySQL支援函數，也支援自訂的函數。UDF比儲存方法有更高的執行效率，並且支援聚集合函式。

UDF定義了5個API：xxx_init()、xxx_deinit()、xxx()、xxx_add()、xxx_clear()。官方文檔（http://dev.mysql.com/doc/refman/5.7/en/adding-udf.html）給出了這些API的說明。相關的結構體定義在mysql_com.h裡，它又被mysql.h包含，使用時只需#include<mysql.h>即可。他們之間的關係和執行順序可以以來表示：

1. xxx()

這是主函數，5個函數至少需要xxx()，對MySQL操作的結果在此返回。函數的聲明如下：

char *xxx(UDF_INIT *initid, UDF_ARGS *args, char *result, unsigned long *length, char *is_null, char *error);

long long xxx(UDF_INIT *initid, UDF_ARGS *args, char *is_null, char *error);

double xxx(UDF_INIT *initid, UDF_ARGS *args, char *is_null, char *error);

SQL的類型和C/C++類型的映射：

SQL Type	C/C++ Type
STRING	char *
INTEGER	long long
REAL	double

2. xxx_init()

xxx()主函數的初始化，如果定義了，則用來檢查傳入xxx()的參數數量、類型、分配記憶體空間等初始化操作。函數的聲明如下：

my_bool xxx_init(UDF_INIT *initid, UDF_ARGS *args, char *message);

3. xxx_deinit()

xxx()主函數的反初始化，如果定義了，則用來釋放初始化時分配的記憶體空間。函數的聲明如下：

void xxx_deinit(UDF_INIT *initid);

4. xxx_add()

在彙總UDF中反覆調用，將參數加入彙總參數中。函數的聲明如下：

void xxx_add(UDF_INIT *initid, UDF_ARGS *args, char *is_null,char *error);

5. xxx_clear()

在彙總UDF中反覆調用，重設彙總參數，為下一行資料的操作做準備。函數的聲明如下：

void xxx_clear(UDF_INIT *initid, char *is_null, char *error);

二. UDF函數的基本使用

在此之前，需要先安裝mysql的開發包：

[[email protected] zhxilin]# yum install mysql-devel -y

我們定義一個最簡單的UDF主函數：

 1 /*simple.cpp*/ 2 #include <mysql.h> 3  4 extern "C" long long simple_add(UDF_INIT *initid, UDF_ARGS *args, char *is_null, char *error) 5 { 6     int a = *((long long *)args->args[0]); 7     int b = *((long long *)args->args[1]); 8     return a + b; 9 }10 11 extern "C" my_bool simple_add_init(UDF_INIT *initid, UDF_ARGS *args, char *message)12 {13     return 0;14 }

由於mysql提供的介面是C實現的，我們在C++中使用時需要添加：

extern "C" { ... }

接下來編譯成動態庫.so：

[[email protected] mysql-redis-test]$ g++ -shared -fPIC -I /usr/include/mysql -o simple_add.so simple.cpp

-shared 表示編譯和連結時使用的是全域共用的類庫;

-fPIC編譯器輸出位置無關的目標代碼，適用於動態庫；

-I /usr/include/mysql 指明包含的標頭檔mysql.h所在的位置。

編譯出simple_add.so後用root拷貝到/usr/lib64/mysql/plugin下：

[[email protected] mysql-redis-test]# cp simple_add.so /usr/lib64/mysql/plugin/

緊接著可以在MySQL中建立函數執行了。登入MySQL，建立關聯函數：

mysql> CREATE FUNCTION simple_add RETURNS INTEGER SONAME ‘simple_add.so‘;Query OK, 0 rows affected (0.04 sec)

測試UDF函數：

mysql> select simple_add(10, 5);+-------------------+| simple_add(10, 5) |+-------------------+|                15 |+-------------------+1 row in set (0.00 sec)

可以看到，UDF正確執行了加法。

建立UDF函數的文法是 CREATE FUNCTION xxx RETURNS [INTEGER/STRING/REAL] SONAME ‘[so name]‘;

刪除UDF函數的文法是 DROP FUNCTION simple_add;

mysql> DROP FUNCTION simple_add;Query OK, 0 rows affected (0.03 sec)

三. 在UDF中訪問Redis

跟上述做法一樣，只需在UDF裡調用Redis提供的介面函數。Redis官方給出了Redis C++ Client （https://github.com/mrpi/redis-cplusplus-client），封裝了Redis的基本操作。

源碼是依賴boost，需要先安裝boost：

[[email protected] dev]# yum install boost boost-devel

然後下載redis cpp client源碼：

[[email protected] dev]# git clone https://github.com/mrpi/redis-cplusplus-client

使用時需要把redisclient.h、anet.h、fmacros.h、anet.c 這4個檔案考到目錄下，開始編寫關於Redis的UDF。我們定義了redis_hset作為主函數，串連Redis並調用hset插入雜湊表，redis_hset_init作為初始化，檢查參數個數和類型。

 1 /* test.cpp */ 2 #include <stdio.h> 3 #include <mysql.h> 4 #include "redisclient.h" 5 using namespace boost; 6 using namespace std; 7  8 static redis::client *m_client = NULL; 9 10 extern "C" char *redis_hset(UDF_INIT *initid, UDF_ARGS *args, char *result, unsigned long *length, char *is_null, char *error) {11     try {12         // 串連Redis13         if(NULL == m_client) {14             const char* c_host = getenv("REDIS_HOST");15             string host = "127.0.0.1";16             if(c_host) {17                 host = c_host;18             }19             m_client = new redis::client(host);20         }        21 22         if(!(args->args && args->args[0] && args->args[1] && args->args[2])) {23             *is_null = 1;24             return result;25         }26 27         // 調用hset插入一個雜湊表28         if(m_client->hset(args->args[0], args->args[1], args->args[2])) {29             return result;30         } else {31             *error = 1;32             return result;33         }34     } catch (const redis::redis_error& e) {35         return result;36     }37 }38 39 extern "C" my_bool redis_hset_init(UDF_INIT *initid, UDF_ARGS *args, char *message) {40     if (3 != args->arg_count) {41         // hset(key, field, value) 需要三個參數42         strncpy(message, "Please input 3 args for: hset(‘key‘, ‘field‘, ‘value‘);", MYSQL_ERRMSG_SIZE);43         return -1;44     }45     if (args->arg_type[0] != STRING_RESULT  || 46         args->arg_type[1] != STRING_RESULT  || 47         args->arg_type[2] != STRING_RESULT) { 48         // 檢查參數類型49         strncpy(message, "Args type error: hset(‘key‘, ‘field‘, ‘value‘);", MYSQL_ERRMSG_SIZE);50         return -1;51     }52 53     args->arg_type[0] = STRING_RESULT;54     args->arg_type[1] = STRING_RESULT;55     args->arg_type[2] = STRING_RESULT;56 57     initid->ptr = NULL;58     return 0;59 }

編譯連結：

[[email protected] mysql-redis-test]$ g++ -shared -fPIC -I /usr/include/mysql -lboost_serialization -lboost_system -lboost_thread -o libmyredis.so anet.c test.cpp

編譯時間需要加上-lboost_serialization -lboost_system -lboost_thread， 表示需要連結三個動態庫：libboost_serialization.so、libboost_system.so、libboost_thread.so，否則在運行時會報缺少函數定義的錯誤。

編譯出libmyredis.so之後，將其拷貝到mysql的外掛程式目錄下並提權：

[[email protected] mysql-redis-test]# cp libmyredis.so /usr/lib64/mysql/plugin/ & chmod 777 /usr/lib64/mysql/plugin/libmyredis.so 

完成之後登入MySQL，建立關聯函數測試一下：

mysql> DROP FUNCTION IF EXISTS `redis_hset`;Query OK, 0 rows affected (0.16 sec)mysql> CREATE FUNCTION redis_hset RETURNS STRING SONAME ‘libmyredis.so‘;Query OK, 0 rows affected (0.02 sec)

先刪除老的UDF，注意函數名加反引號（``）。調用UDF測試，返回0，執行成功：

mysql> SELECT redis_hset(‘zhxilin‘, ‘id‘, ‘09388334‘);+-----------------------------------------+| redis_hset(‘zhxilin‘, ‘id‘, ‘09388334‘) |+-----------------------------------------+| 0                                                     |+-----------------------------------------+1 row in set (0.00 sec)

開啟redis-cli，查看結果：

127.0.0.1:6379> HGETALL zhxilin1) "id"2) "09388334"

四. 通過MySQL觸發器重新整理Redis

 在上一節的基礎上，我們想讓MySQL在增刪改查的時候自動調用UDF，還需要藉助MySQL觸發器。觸發器可以監聽INSERT、UPDATE、DELETE等基本操作。在MySQL中，建立觸發器的基本文法如下：

CREATE TRIGGER trigger_nametrigger_timetrigger_event ON table_nameFOR EACH ROWtrigger_statement

trigger_time表示觸發時機，值為AFTER或BEFORE；

trigger_event表示觸發的事件，值為INSERT、UPDATE、DELETE等；

trigger_statement表示觸發器的程式體，可以是一句SQL語句或者調用UDF。

在trigger_statement中，如果有多條SQL語句，需要用BEGIN...END包含起來：

BEGIN[statement_list]END

由於MySQL預設的結束分隔字元是分號（;），如果我們在BEGIN...END中出現了分號，將被標記成結束，此時沒法完成觸發器的定義。有一個辦法，可以調用DELIMITER命令來暫時修改結束分隔字元，用完再改會分號即可。比如改成$：

mysql> DELIMITER $

我們開始定義一個觸發器，監聽對Student表的插入操作，Student表在上一篇文章中建立的，可以查看上一篇文章。

mysql > DELIMITER $      > CREATE TRIGGER tg_student       > AFTER INSERT on Student       > FOR EACH ROW       > BEGIN      > SET @id = (SELECT redis_hset(CONCAT(‘stu_‘, new.Sid), ‘id‘, CAST(new.Sid AS CHAR(8))));      > SET @name = (SELECT redis_hset(CONCAT(‘stu_‘, new.Sid), ‘name‘, CAST(new.Sname AS CHAR(20))));      > Set @age = (SELECT redis_hset(CONCAT(‘stu_‘, new.Sid), ‘age‘, CAST(new.Sage AS CHAR)));       > Set @gender = (SELECT redis_hset(CONCAT(‘stu_‘, new.Sid), ‘gender‘, CAST(new.Sgen AS CHAR)));       > Set @dept = (SELECT redis_hset(CONCAT(‘stu_‘, new.Sid), ‘department‘, CAST(new.Sdept AS CHAR(10))));          > END $

建立完觸發器可以通過show查看，或者drop刪除：

mysql> SHOW TRIGGERS;

mysql> DROP TRIGGER tg_student;

接下來我們調用一句插入語句，然後觀察Redis和MySQL資料的變化：

mysql> INSERT INTO Student VALUES(‘09388165‘, ‘Rose‘, 19, ‘F‘, ‘SS3-205‘);Query OK, 1 row affected (0.27 sec)

MySQL的結果：

mysql> SELECT * FROM Student;+----------+---------+------+------+---------+| Sid      | Sname   | Sage | Sgen | Sdept   |+----------+---------+------+------+---------+| 09388123 | Lucy    |   18 | F    | AS2-123 || 09388165 | Rose    |   19 | F    | SS3-205 || 09388308 | zhsuiy  |   19 | F    | MD8-208 || 09388318 | daemon  |   18 | M    | ZS4-630 || 09388321 | David   |   20 | M    | ZS4-731 || 09388334 | zhxilin |   20 | M    | ZS4-722 |+----------+---------+------+------+---------+6 rows in set (0.00 sec)

Redis的結果：

127.0.0.1:6379> HGETALL stu_09388165 1) "id" 2) "09388165" 3) "name" 4) "Rose" 5) "age" 6) "19" 7) "gender" 8) "F" 9) "department"10) "SS3-205"

以上結果表明，當MySQL插入資料時，通過觸發器調用UDF，實現了自動重新整理Redis的資料。另外，調用MySQL插入的命令，可以通過C++實現，進而就實現了在C++的商務邏輯裡，只需調用MySQL++的介面就能實現MySQL資料庫和Redis緩衝的更新，這部分內容在上一篇文章已經介紹過了。

 

總結

通過實踐，能體會到MySQL和Redis是多麼相親相愛吧！^_^

本篇文章講了從最基礎的UDF開始，再到通過UDF串連Redis插入資料，再進一步介紹通過MySQL Trigger自動更新Redis資料的整個思路，實現了一個目標，即只在業務代碼中更新MySQL資料庫，進而Redis能夠自動同步重新整理。

MySQL對UDF函數和觸發器的支援，使得實現Redis資料和MySQL自動同步成了可能。當然UDF畢竟是通過外掛程式的形式運行在MySQL中的，並沒有過多的安全乾預，一旦外掛程式發生致命性崩潰，有可能MySQL也會掛，所以在編寫UDF的時候需要非常謹慎！

 

通過MySQL自動同步重新整理Redis