php讀取大檔案的1點疑問

來源:互聯網
上載者:User
php讀取大檔案的一點疑問
我要分析一個6G的log檔案,比對每行檔案是否符合我的要求,程式如下

$file_path = 'd:\work\workplace\test\file\system.log';
$file = fopen($file_path, 'r');
$key = md5(0);
$i = 1;
while (!feof($file)) {
$buff = fgets($file);
if ($buff == $key . "\r\n")
{
echo "find 0 at Line {$i}\r\n";
}
$i ++;
}
fclose($file);

我想問下這樣效能怎麼樣嗎,不會出現記憶體泄露或其他問題吧,還有進一步最佳化的方法嗎?


------解決方案--------------------
你需要先將這個檔案分割成若干個小檔案
然後迴圈讀取每個小檔案即可!
------解決方案--------------------
linux 下 $ split -b
分割···
------解決方案--------------------
我建議你用fgets時最好制定讀取的字元數,不要一行一行的讀,6G的檔案說不定某一行會很長!
------解決方案--------------------
6G的文字檔……

你咋能整這麼大的檔案?
日誌應該按天或者按周、按月來記,超過一定大小就建立一個檔案

應該分成多個檔案
------解決方案--------------------
可以,沒有問題。就是很費時間

僅就代碼而言,可以縮減一點
$file_path = 'd:\work\workplace\test\file\system.log';
$file = fopen($file_path, 'r');
$key = md5(0);
$i = 1;
while ($buff = fgets($file)) {
if ($buff == $key . "\r\n")
{
echo "find 0 at Line {$i}\r\n";
}
$i ++;
}
fclose($file);

如果一次讀取的多一點(比如1M)可能要快一點。不過演算法要複雜些

------解決方案--------------------
做這種東西,不是php的長項

要不搞WEB的話,還是換其它程式搞吧。

引用:
引用:

6G的文字檔……

你咋能整這麼大的檔案?
日誌應該按天或者按周、按月來記,超過一定大小就建立一個檔案

應該分成多個檔案

我們公司的行為日誌,一天6G
  • 聯繫我們

    該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

    如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

    A Free Trial That Lets You Build Big!

    Start building with 50+ products and up to 12 months usage for Elastic Compute Service

    • Sales Support

      1 on 1 presale consultation

    • After-Sales Support

      24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.