查看網站日誌中搜尋引擎蜘蛛的來訪記錄的方法

來源:互聯網
上載者:User
關鍵字 搜尋引擎 來訪記錄

摘要: 對於很多做網站的新手來說,都沒有經過系統地授課進行網路技術和建站知識學習,做網站都是靠自學,遇到難題在論壇發帖提問,更不會懂得網站優化,對於較基本操作通過網站日誌

對於很多做網站的新手來說,都沒有經過系統地授課進行網路技術和建站知識學習,做網站都是靠自學,遇到難題在論壇發帖提問,更不會懂得網站優化,對於較基本操作——通過網站日誌看蜘蛛來訪情況都不知到哪裡看,怎麼看。 前兩天看到很多人發帖提問,回復者的答案卻比較精煉,不具體,提問者還是雲裡霧裡的,現我就以自己的網站來系統地操作一次,提交給大家參考,有說錯的地方,請批評指正。

1、打開FTP登錄軟體,我用的是FlashFXP,登錄空間FTP

登錄FTP後,你會發現根目錄下有一個wwwlogs資料夾,(有的是weblog,注:不同的伺服器空間生成的日誌檔目錄名稱不一樣,僅供參考,一般資料夾中包含Log字元的就是日誌資料夾)。

2、打開wwwlogs資料夾後,裡面有一些以日期格式特徵為檔案名的.gz尾碼結尾的檔,這些就是我們需要下載到本地的日誌檔。

3、下載到電腦桌面後,解壓縮打開,裡面是一個記事本格式的檔,打開檔,看到的是下圖這樣的代碼,我下載的是3月7日的那個檔。

4、分析代碼

上圖1是百度蜘蛛的IP位址;

2是蜘蛛來訪日期時間(2012年3月6日1時21分22秒),3月7日的日誌檔記錄的是從3月6日淩晨開始,至3月7日1時11分39秒整個時間段的n多次來訪記錄);

3是百度蜘蛛baiduspider

4是我網站被訪問的網頁位址;

5是sogou 搜狗蜘蛛的來訪,同樣也能看到時間和被訪網頁。

如果是簡單的查看,您可以在記事本中搜索baiduspider ,如果想精確分析,可借助一些專用的分析軟體。 分析下哪些時間段百度蜘蛛來的最頻繁,那麼我們就在這個時間段更新我們的網站內容,很容易被百度收錄的。

通過分析蜘蛛來訪紀錄,可以瞭解本站的大體情況,而不用再為百度不放出內頁或者不收錄的問題而苦惱了。

蜘蛛來訪正常,可以確切的說,搜尋引擎對你的站很友好的,堅持更新自己的網站,會有不錯的收錄的。

注:有些共用IP空間可能不支援日誌功能,對於獨立ip虛擬主機則提供每天的日誌下載,而實在沒有可以日誌功能的空間可以參考使用蜘蛛爬行外掛程式的一些方法進行分析。

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.