웹사이트 최적화: robots.txt 사용 자습서

첫째, 이란 Robots.txt:robots.txt 소개 하자 검색 엔진에서 웹 사이트를 방문 하 여 볼 때 첫 번째 파일. Robots.txt 파일 알려줍니다 거미 파일 서버에서 볼 수 있습니다. 검색 스파이더가 사이트를 액세스 하는 경우 먼저 확인 하는 사이트의 루트 디렉토리에 robots.txt는 고 그래서, 검색 로봇 파일의 내용에 따라 접근의 범위를 결정 합니다; 파일이 존재 하지 않는 경우 모든 검색 스파이더 암호로 사이트 보호 되지 않은 모든 페이지에 액세스할 수 있을 것입니다. 마지막으로, robots.txt는 사이트의 루트 디렉터리에 배치 합니다.

구글, 바이, Tencent의 로봇을 참조할 수 있습니다.

Http://www.google.com/robots.txt

Http://www.baidu.com/robots.txt

Http://www.qq.com/robots.txt

robots.txt를 이해 후 할 수 있는 우리가 robots.txt와?

1, 유사한 높은 페이지 또는 페이지의 내용이 없는 보호는 robots.txt로.

우리는 검색 엔진 페이지에 포함 된 것을 알고, 페이지 것 이다 "감사", 될 때 두 페이지의 유사성은 매우 높은, 그리고 검색 엔진, 그들 중 하나를 삭제 것입니다 귀하의 사이트 점수 포인트를 줄일 것입니다.

가정 하는 다음 두 개의 링크, 콘텐츠는 실제로 비슷한, 첫 번째 링크에서 차단 해야 합니다.

/xxx? 123

/123.html

첫 번째 링크 처럼 같은 링크는 매우 많은, 그럼 어떻게 우리가 그것을 보호? 사실, 차폐/xxx 만큼?

코드는 다음과 같습니다.

금지: / 엑스?

마찬가지로, 우리 콘텐츠 없이 일부 페이지 화면에 동일한 메서드를 사용할 수 있습니다.

2, 중복 링크 보호는 robots.txt 일반적으로 정적 링크 (모두 HTML, htm, shtml, 등입니다.) 유지.

있기 때문에 자주 사이트에서 같은 페이지에 여러 개의 링크 사이트의 아늑한 감소에 검색 엔진을 만들 것입니다. 이 상황을 피하려면, 우리는 주요 링크를 통해 robots.txt 링크를 제거할 수 있습니다.

예를 들어 다음 두 개의 링크가 동일한 페이지를 가리키는:

/ooo? 123

/123.html

우리가 첫 번째 쓰레기 제거 해야 하는 다음 코드는 다음과 같습니다:

금지: / ooo? 123

3, robots.txt 죽은 체인 차폐

죽은 체인 존재, 개정 또는 다른 이유와 후 유틸리티의 손실의 죽은 체인, 즉, 웹 페이지에 보이는 정상적인 링크 되기 때문에 하지만 후 클릭 하면 해당 페이지를 열 수 없습니다 하는 데 사용 하는 웹 페이지입니다.

모든 링크에 대 한 예를 들어 원래 디렉터리 아래 는/서구, 디렉터리 주소 변경 지금 죽은 링크 되기 때문에 우리가 사용 다음 robots.txt 그 방패, 코드는 다음과 같습니다:

금지: / 서구 /

4, 게 검색 엔진 sitemap.xml 주소

Robots.txt를 사용 하 여 sitemap.xml 링크 사이트를 추가 하지 않고 검색 엔진 sitemap.xml 파일의 주소를 말해. 구체적인 코드는 다음과 같습니다.

사이트맵: 귀하의 사이트맵 주소

이것은 robots.txt 사용 하 여 기본적인, robots.txt는 귀하의 사이트는 방법 이해 하는 검색 엔진 때문에 좋은 사이트 좋은 robots.txt를 해야 합니다. 또한 여기 나 robots.txt 문구를 사용 하 여 WordPress 사용자를 위한 더 적당 한 권장:

사용자 에이전트: *

금지: / wp-

금지: / 피드 /

금지: / 코멘트/피드

금지: / 트랙백 /

Sitemap:http://rainjer.com/sitemap.xml

마지막으로, 만약 당신이 위의 아니다는 것을 당신의 요구에 맞게 충분 한 느낌, 다음 Google에 있을 수 있습니다 하 또는 바이 공식 robots.txt를 가이드를 사용 하 여:

바이: http://www.baidu.com/search/robots.html

구글: Http://www.google.com/support/forum/p/webmasters/thread?tid=4dbbe5f3cd2f6a13 & hl zh-CN =