PHP統計nginx訪問日誌中的搜尋引擎抓取404連結頁面路徑_PHP教程

我在伺服器上有每天切割nginx日誌的習慣，所以針對每天各大搜尋引擎來訪，總能記錄一些404頁面資訊，傳統上我只是偶爾分析下日誌，但是對於很多日誌資訊的朋友，人工來篩選可能不是一件容易的事情，這不我個人自己慢慢研究了一點點，針對Google、百度、搜搜、360搜尋、宜搜、搜狗、必應等搜尋引擎的404訪問產生為一個txt文字檔，直接上代碼test.php。

複製代碼 代碼如下:
<?php
//訪問test.php?s=google
$domain='http://www.jb51.net';
$spiders=array('baidu'=>'Baiduspider','360'=>'360Spider',
'google'=>'Googlebot','soso'=>'Sosospider','sogou'=>
'Sogou web spider','easou'=>'EasouSpider','bing'=>'bingbot');

$path='/home/nginx/logs/'.date('Y/m/').(date('d')-1).'/access_www.txt';

$s=$_GET['s'];

if(!array_key_exists($s,$spiders)) die();
$spider=$spiders[$s];

$file=$s.'_'.date('ym').(date('d')-1).'.txt';
if(!file_exists($file)){
$in=file_get_contents($path);
$pattern='/GET (.*) HTTP\/1.1" 404.*'.$spider.'/';
preg_match_all ( $pattern , $in , $matches );
$out='';
foreach($matches[1] as $k=>$v){
$out.=$domain.$v."\r\n";
}
file_put_contents($file,$out);
}

$url=$domain.'/silian/'.$file;
echo $url;

好就這樣了。沒有什麼高深的技術，只有動手寫的過程。

http://www.bkjia.com/PHPjc/824747.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/824747.htmlTechArticle我在伺服器上有每天切割nginx日誌的習慣，所以針對每天各大搜尋引擎來訪，總能記錄一些404頁面資訊，傳統上我只是偶爾分析下日誌，但...

