快速傳輸大資料（tar+lz4+pv）

標籤：

快速傳輸大資料（tar+lz4+pv）時間：2014-12-12 18:29:55      閱讀：194      評論：0      收藏：0      [點我收藏+]標籤：演算法   class   style   src   使用   com   log   檔案   資料   如果用傳統SCP遠程拷貝，速度是比較慢的。現在採用lz4壓縮傳輸。LZ4是一個非常快的無損壓縮演算法，壓縮速度在單核300MB/S，可擴充支援多核CPU。它還具有一個非常快速的解碼器，速度單核可達到和超越1GB/S。通常能夠達到多核系統上的RAM速度限制。 你PV 全命為Pipe Viewer，利用它我們可以查看到命令執行的進度。下面介紹下lz4和pv的安裝，下載軟體：下載pv-1.1.4.tar.gz wgethttp://sourceforge.jp/projects/sfnet_pipeviewer/downloads/pipeviewer/1.1.4/pv-1.1.4.tar.bz2/下lz4的包難一些，可能要FQ：https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz安裝灰常簡單：pv安裝：[root ~]$ tar jxvf pv-1.1.4.tar.bz2 ^C[root ~]$ cd pv-1.1.4[root pv-1.1.4]$ ./configure && make && make installlz4安裝：[root ~]$ tar zxvf lz4-r108.tar.gz [root ~]$ cd lz4-r108[root lz4-r108]$ make && make install 用法：（-c 後指定要傳輸的檔案，ssh -p  是指定連接埠，後面的ip是目標主機的ip, -xC指定傳到目標主機下的那個目錄下，別的不用修改）：tar -c mysql-slave-3307  |pv|lz4 -B4|ssh -p10022 -c arcfour128 -o"MACs [email protected]"  192.168.100.234  "lz4 -d |tar -xC /data"下面是我線上傳一個從庫的效果：bubuko.com,布布扣看到了吧，25.7G 只需要接近3分鐘，這樣遠比scp速度快上了好幾倍，直接scp拷貝離散檔案，很消耗IO，而使用LZ4快速壓縮，對效能影響不大，傳輸速度快 PS：下次補充同機房不同網段的傳輸效果及跨機房的傳輸效果^0^

 

 

快速傳輸大資料（tar+lz4+pv）