怎樣減少雅虎搜索對網站發出的請求

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

由於6184.html">雅虎搜索對於網路抓取採取大量系統，因此，我們的網路伺服器會從不同的YST(雅虎搜索技術)抓取程式的用戶端IP位址登錄請求。 不同的抓取程式系統彼此配合，來限制任何來自單一網路伺服器的活動。 所謂單一網路伺服器，是由IP位址判斷的。 因此，如果我們的伺服器主機擁有多個IP，它的活動則會處於更高的級別。

YST有一個特定的副檔名，在我們的伺服器根目錄下的robots.txt裡可以應用，通過它可以對雅虎搜索的抓取程式設定一個較低的抓取請求頻率。 可以在robots.txt里加入Crawl-delay:xx的指示，其中，「xx」是指在crawler程式兩次進入網站時，以秒為單位的最低延時。 如果crawler頻率對我們的伺服器是一個負擔，我們可以將這個延時設定為任何恰當的數位，例如50或200。

例如：我們想要設定一個5秒的延時，可以在robots.txt里加入以下語句 ：

User-agent: Slurp

Crawl-delay: 5

也可以設定更長時間的延時，在此網智成不再贅述。