웹사이트 robots.txt 사용 하 여에서 일반적인 실수

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

몇 일 전에 쓴 오해의 규칙의 robots.txt 바이 소개 하 고 로봇 도구를 사용 하 여 Google의 오해의 여러 robots.txt 파일 규칙을 도입 하 고 실제로 발견 다음 보다 더 많은 사람들이 있다는 것, 오해에 대 한 관심을 지불 하지 않습니다.

오늘, robots.txt 실제 사용의 일반적인 함정:

신화 1입니다. 허용 금지 보다는 더 많은 것 포함 하 고 위치는 거부 앞 이다.

예를 들어 많은 사람들이이 작성:

사용자 에이전트: *

허용: /

금지: / 무 루 /

이 사이트를 제외 하 고/무 루/아래 크롤링할 모든 거미 모든 페이지의 URL, 크롤링/무 루/모든 금지 Url 아래.

검색 엔진 스파이더는 실패 하는 두 번째 명령 아래로 위에서 규칙을 실행 합니다. 즉, 그것은 금지를 크롤 링 의/무 루/디렉터리. 정확한 것은 그 허용 해야 허용, 그래서 그것은 적용 됩니다.

신화 2입니다. 금지 명령 및 허용 명령 슬래시로 시작 하지 않으면 "/".

이것은 또한 사람이 쓰기 disallow:123.html, 이것은 효과가 같은 무시 하기 쉬운입니다. 슬래시 "/" 파일의 루트 디렉토리의 위치, 하지로 단어, 자연 확인할 수 없습니다 어떤 URL 인지, 그래서 그것이 잘못.

올바른이 파일을 disallow:/123.html, screen/123.html 하려면에서 해야,이 규칙 적용 수 있습니다.

신화 3. 마스크 디렉터리 따르지 슬래시 "/".

즉, 예를 들어 크롤링/무 루/이 디렉토리를 차단 하 고, 어떤 사람들 쓰기 허용 안 함: / 무 루. 그래서 바로 무엇입니까?

작성 하는 첫 번째 방법은 (허용 안 함: / 무 루) 모든 Url/무 루 아래 마스크입니다 /, 하지만 그것은를 시작 모든 페이지 like/mulu123.html 마스크 / 무 루, 같은 효과 허용 안 함: / 무 루 *.

올바른 접근은 디렉터리 화면 하려면 슬래시가지고 해야 합니다 끝에 "/".

평온한 블로그에서이 문서의 주소를 지정 하십시오 무단 전재: http://liboseo.com/1193.html

재발행 소스와 링크를 표시 하시기 바랍니다!