php讀取大檔案如記錄檔

標籤：服務   printf   return   exception   dump   檔案的   行資料   shift   nbsp   

需求如下： 現有一個1G左右的記錄檔,大約有500多萬行， 用php返回最後幾行的內容。

1. 直接採用file函數來操作 or file_get_content() 肯定報記憶體溢出
註： 由於 file函數是一次性將所有內容讀入記憶體，而php為了防止一些寫的比較糟糕的程式佔用太多的記憶體而導致系統記憶體不足，使伺服器出現宕機，所以預設情況下 限制只能最大使用記憶體16M,這是通過php.ini裡的memory_limit = 16M來進行設定，這個值如果設定-1，則記憶體使用量量不受限制.

下面是一段用file來取出這具檔案最後一行的代碼.

ini_set(‘memory_limit‘,‘-1‘);$file = ‘access.log‘;$data = file($file);$line = $data[count($data)-1];

2.直接調用linux的tail命令來顯示最後幾行

在linux命令列下,可以直接使用tail -n 10 access.log很輕易的顯示記錄檔最後幾行,可以直接用php來調用tail命令,執行php代碼如下.

 

file = ‘access.log‘;$file = escapeshellarg($file); // 對命令列參數進行安全轉義$line = `tail -n 1 $file`;echo $line;

3. 直接使用php的fseek來進行檔案操作

這種方式是最為普遍的方式,它不需要將檔案的內容全部讀入記憶體,而是直接通過指標來操作,所以效率是相當高效的.在使用fseek來對檔案進行操作時,也有多種不同的方法,效率可能也是略有差別的,下面是常用的兩種方法.
方法一：
首先通過fseek找到檔案的最後一位EOF，然後找最後一行的起始位置，取這一行的資料，再找次一行的起始位置，再取這一行的位置，依次類推，直到找到了$num行。

 

function tail($fp,$n,$base=5){    assert($n>0);    $pos = $n+1;    $lines = array();    while(count($lines)< =$n){        try{            fseek($fp,-$pos,SEEK_END);        } catch (Exception $e){            fseek(0);            break;        }        $pos *= $base;        while(!feof($fp)){            array_unshift($lines,fgets($fp));        }    }    return array_slice($lines,0,$n);}var_dump(tail(fopen("access.log","r+"),10));

方法二 :

還是採用fseek的方式從檔案最後開始讀,但這時不是一位一位的讀,而是一塊一塊的讀,每讀一塊資料時,就將讀取後的資料放在一個buf裡,然後通過分行符號(\n)的個數來判斷是否已經讀完最後$num行資料.
實現代碼如下

$fp = fopen($file, "r");$line = 10;$pos = -2;$t = " ";$data = "";while ($line > 0) {    while ($t != "\n") {        fseek($fp, $pos, SEEK_END);        $t = fgetc($fp);        $pos --;    }    $t = " ";    $data .= fgets($fp);    $line --;}fclose ($fp);echo $data

方法三:

$fp = fopen($file, "r");$num = 10;$chunk = 4096;$fs = sprintf("%u", filesize($file));$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);for ($len = 0; $len < $max; $len += $chunk) {  $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;    fseek($fp, ($len + $seekSize) * -1, SEEK_END);    $readData = fread($fp, $seekSize) . $readData;     if (substr_count($readData, "\n") >= $num + 1) {        preg_match("!(.*?\n){".($num)."}$!", $readData, $match);        $data = $match[0];        break;    }}fclose($fp);echo $data;

 

php讀取大檔案如記錄檔