MySQL導資料到Redis

標籤：

比較快速的往redis中匯入mysql資料的方法

1. 當向Redis中一次性匯入大資料時

     可以將所有的插入命令寫到一個txt檔案中，如插入 key-value

 SET test0 abc SET test1 bcd SET test3 abcd

　　每個SET命令前要留一個空格，儲存為data.txt

    然後使用 redis的用戶端 redis-cli的管道傳輸(redis的版本要大於2.6)

      linux下使用命令：

         cat data.txt | redis-cli --pipe

      成功的話就會出現如下結果：

      All data transferred. Waiting for the last reply...

      Last reply received from server.

      errors: 0, replies: 3

2. 使用符合redis協議格式的資料

       雖然第一種方法比較方便，不過存在的問題是，有時redis無法正確解釋資料，所有推薦的第二種方式

       此協議資料的格式如下： 

*3<cr><lf>$3<cr><lf>SET<cr><lf>$3<cr><lf>key<cr><lf>$5<cr><lf>value<cr><lf>

　　意義如下：

       第一行： *3<cr><lf> : 星號*是規定格式；3是參數的個數(如上：SET、key、value) ；<cr>是‘\r‘； <lf>是‘\n‘。

       第二、三行： $3<cr><lf>  : $是規定格式；3是對應命令SET的長度(3個字母)；<cr><lf>同上

    所以上述格式又可寫成：

*3\r\n$3\r\nSET\r\n$3\r\nkey\r\n$5\r\nvalue\r\n　

 

3. 使用mysql一次性匯入大量資料的原理是一樣的

       將資料按上述協議的格式匯出來，然後再通過redis-cli --pipe匯入

    例子： 

       建表語句：

CREATE TABLE `device_type` (  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,  `name` varchar(200) NOT NULL,  `class` varchar(500) NOT NULL,  `class_guid` varchar(500) NOT NULL,  PRIMARY KEY (`id`),  KEY `idx_name` (`name`),  KEY `idx_class` (`class`(50),`class_guid`(200))) ENGINE=MyISAM AUTO_INCREMENT=287 DEFAULT CHARSET=utf8;SELECT * FROM drivers_lookup_com.driver_files;

　　匯出資料並轉換成redis-cli能處理的格式：

SELECT CONCAT(   "*8\r\n",   ‘$‘,LENGTH(redis_cmd),‘\r\n‘,redis_cmd,‘\r\n‘,   ‘$‘,LENGTH(redis_key),‘\r\n‘,redis_key,‘\r\n‘,   ‘$‘,LENGTH(hkey1),‘\r\n‘,hkey1,‘\r\n‘,‘$‘,LENGTH(hval1),‘\r\n‘,hval1,‘\r\n‘   ‘$‘,LENGTH(hkey2),‘\r\n‘,hkey2,‘\r\n‘,‘$‘,LENGTH(hval2),‘\r\n‘,hval2,‘\r\n‘   ‘$‘,LENGTH(hkey3),‘\r\n‘,hkey3,‘\r\n‘,‘$‘,LENGTH(hval3),‘\r\n‘,hval3,‘\r‘)FROM(   SELECT ‘HMSET‘ AS redis_cmd,   id AS redis_key,   ‘name‘ AS hkey1, name AS hval1,   ‘class‘ AS hkey2,class AS hval2,   ‘class_guid‘ AS hkey3,class_guid AS hval3   From device_type)AS t

　　轉換的命令如下：

 mysql -h192.168.0.104 -uroot -p123 device --skip-column-names --raw < device.sql | src/redis-cli --pipe

　　

 

MySQL導資料到Redis