使用shell分頁讀取600萬+的MySQL資料指令碼

標籤：

shell-mysql 
（1）指令碼背景: 
由於要在Linux上，遠程讀取mysql的表的資料，然後做一定清洗後，把資料上傳至Hadoop叢集中，使用Java寫吧，感覺太麻煩了，得在Win上開發好，還得打成jar包， 上傳到Linux上，如果那裡出了問題，還得重複這樣，非常不方便，那就用shell寫一個吧，也不需要什麼jdbc驅動包，只需要在Linux上裝個MySQL的 用戶端即可，用一行yum命令即可搞定，所以就花了點時間，封裝了一個小指令碼 

（2）功能介紹: 
直接在Linux下使用shell指令碼遠程分頁讀取MySQL表的資料的一個小指令碼，已測過讀取600萬+的資料 效率與jdbc相差無幾 

（3）指令碼介紹: 
主要有三個指令碼構成 
1，page.sh 這是一主指令碼，裡面定義了分頁的條件，大家看下便知 
2，f.sh 一個小封裝的指令碼吧，裡面會用sed去掉表頭一些資訊 
3，port.sh 分頁讀取資料的執行指令碼 

（4）如何使用？ 
使用非常簡單，需要改下page.sh裡面的查詢欄位，以及分頁查詢的數量，預設是10000，然後執行sh page.sh databaseName tableName傳入資料庫名和表名即可 

 

Github地址：https://github.com/qindongliang/shell-mysql

 

 

 

使用shell分頁讀取600萬+的MySQL資料指令碼