php讀取大檔案的一點疑問
我要分析一個6G的log檔案,比對每行檔案是否符合我的要求,程式如下
$file_path = 'd:\work\workplace\test\file\system.log';
$file = fopen($file_path, 'r');
$key = md5(0);
$i = 1;
while (!feof($file)) {
$buff = fgets($file);
if ($buff == $key . "\r\n")
{
echo "find 0 at Line {$i}\r\n";
}
$i ++;
}
fclose($file);
我想問下這樣效能怎麼樣嗎,不會出現記憶體泄露或其他問題吧,還有進一步最佳化的方法嗎?
------解決方案--------------------
你需要先將這個檔案分割成若干個小檔案
然後迴圈讀取每個小檔案即可!
------解決方案--------------------
linux 下 $ split -b
分割···
------解決方案--------------------
我建議你用fgets時最好制定讀取的字元數,不要一行一行的讀,6G的檔案說不定某一行會很長!
------解決方案--------------------
6G的文字檔……
你咋能整這麼大的檔案?
日誌應該按天或者按周、按月來記,超過一定大小就建立一個檔案
應該分成多個檔案
------解決方案--------------------
可以,沒有問題。就是很費時間
僅就代碼而言,可以縮減一點
$file_path = 'd:\work\workplace\test\file\system.log';
$file = fopen($file_path, 'r');
$key = md5(0);
$i = 1;
while ($buff = fgets($file)) {
if ($buff == $key . "\r\n")
{
echo "find 0 at Line {$i}\r\n";
}
$i ++;
}
fclose($file);
如果一次讀取的多一點(比如1M)可能要快一點。不過演算法要複雜些
------解決方案--------------------
做這種東西,不是php的長項
要不搞WEB的話,還是換其它程式搞吧。
引用:
引用:
6G的文字檔……
你咋能整這麼大的檔案?
日誌應該按天或者按周、按月來記,超過一定大小就建立一個檔案
應該分成多個檔案
我們公司的行為日誌,一天6G