使用shell指令碼找出網站的空頁面和404錯誤頁面_linux shell

早之前記的一個筆記了，之前只是記錄了兩句代碼，放出來的話也是一個低品質的頁面，於是設定為了僅自己可見，今晚抽空補充一下。

記得當的情景應該是提交sitemap時百度老提示有錯誤的URL，導致sitemap不能正常被抓取，於是在想辦法解決這個問題，所以才有下面這些筆記：用shell批量找出網站空頁面和404錯誤頁面。

廢話不多說，直接上shell代碼：

複製代碼 代碼如下:

time cat sitemap.txt|while read line;do curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}" "%{size_download}"\n";done

前面加了一個time是為了看看代碼執行所花的時間

%{http_code}意思是返回HTTP狀態代碼，通過這個狀態代碼我們就能知道該連結是正常的200連結，還是404錯誤連結；

%{size_download}意思是返回當前頁面的大小，如果值太小的話，說明這些頁面很有可能是低品質的空頁面，得想辦法剔除掉。