python-redis-pipe檔案

標籤：value   lin   val   pen   運行   logs   pytho   com   匯入   

 redis匯入資料比較頭疼的事情，涉及幾千萬，匯入還是很耗時，通過產生pipe檔案的方式比較快捷。

 python3.6.1版本 在linux環境下運行

    with open("data1", "w") as f:        for d in data:            k = d["key"]            v = d[‘value‘]            f.write(‘*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n‘ %(len(bytes(k, ‘utf-8‘)), k, len(bytes(v, ‘utf-8‘)), v))

　　

 python2.7

    for line in lines:line=line.strip(‘\n‘)        jsonLine = json.loads(line)        province = jsonLine["province"]if province == henan:            key = jsonLine["company_name"]            k = key.encode(‘utf-8‘)    v = line            print ‘*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n‘ %(len(k), k, len(v), v),

　　

 

127.0.0.1:6379> select 10OK127.0.0.1:6379[10]> dbsize(integer) 2907521

　　

python-redis-pipe檔案