linux下shell指令碼切割大檔案為多個小txt檔案

解決方案：

1. 先使用split命令切割大檔案，每個小檔案儲存100萬行

split 參數：

-b  ：後面可接欲分割成的檔案大小，可加單位，例如 b, k, m 等；
-l  ：以行數來進行分割；

#按每個檔案1000行來分割除

split -l 1000 httperr8007.log httperr
 
httpaa，httpab，httpac ........
 
#按照每個檔案100K來分割

split -b 100k httperr8007.log http
 
httpaa，httpab，httpac ........

2. 遍曆所有100萬行檔案，逐個建立目錄再切割成1萬行小檔案

#!/bin/bash
 
bigfile="1.txt"
split -l 1000000 $bigfile text
 
currdir=1
for smallfile in `ls | grep "text*"`
do
    linenum=`wc -l $smallfile | awk '{print $1}'`  
    n1=1  
    file=1
 
    savedir="$smallfile$currdir"
    if [ ! -d "$savedir" ]
    then
        mkdir $savedir
    fi
 
    while [ $n1 -lt $linenum ]  
    do 
        n2=`expr $n1 + 9999`  
        sed -n "${n1},${n2}p" $smallfile > $savedir/text$file.txt
        n1=`expr $n2 + 1`  
        file=`expr $file + 1`  
    done
 
    currdir=`expr $currdir + 1`
done