검색 엔진 통합 문서 표준

검색 엔진 3 대 히트는 기쁨, 하지만 때때로 또한 협력. 지난해 구글, 야 후, 마이크로소프트 통합된 http://www.aliyun.com/zixun/aggregation/9103.html 준수 협조 "> 사이트맵 표준." 첫번째 2 일 빅 3는 또한 robots.txt 문서 표준에 대 한 일반적인 준수를 발표 했다. 구글, 야후와 마이크로 소프트 각 자신의 공식 블로그에 게시물을 게시 3 robots.txt 파일 및 메타 태그, 뿐만 아니라 그들의 특정 한 기준의 일부에 대 한 기준을 발표 합니다. 여기에 요약이입니다.

로봇에 의해 지원 되는 세 개의 파일은 다음과 같습니다.

허용 안 함-일부 파일이 나 디렉토리를 크롤 링 하지 거미에 게. 다음 코드는 모든 웹 사이트 파일을 크롤 링에서 거미를 막을 것 이다:

사용자 에이전트: *
금지: /

특정 파일을 크롤 링을 허용 하 게 거미 허용 및 함께 사용 허용, 디렉터리, 그들의 대부분은 거미 할 크롤 링 하지, 크롤링 일부만 알 수 있습니다. 다음 코드 AB 디렉터리에 거미 크롤 링 하지 다른 파일을 만들 것입니다 하지만 CD에서 파일을 크롤 링:

사용자 에이전트: *
금지: / ab /
허용: / AB/CD

$ URL의 끝에 일치 하는 와일드 카드 문자입니다. 다음 코드는 수 거미와 함께 Url을 액세스 하는. htm 접미사:

사용자 에이전트: *
Htm $ 허용:

* 와일드 카드 문자-에 게는 문자에 맞게 거미. 다음 코드는 모든 htm 파일을 크롤 링에서 거미를 막을 것 이다:

사용자 에이전트: *
금지: / *.htm

사이트 위치-인지 거미 어디 사이트맵, 형식:

사이트맵: < sitemap_location >

지원 되는 세 가지 메타 태그는 다음과 같습니다.

NOINDEX 게 하지 페이지를 색인에 거미.

NOFOLLOW에 게 페이지에 있는 링크를 따라 하지 거미.

Nosnippet 게 거미 설명 텍스트는 검색 결과에 표시를 하지.

Noarchive-말해 스냅숏을 표시 하지 거미.

NOODP에 게 오픈 디렉토리에 제목과 설명을 사용 하지 않기 위하여 거미.

이 레코드 또는 레이블 그들의 3에 의해 지원 됩니다. 와일드 카드 문자 중 하나는 야 후 마이크로소프트 지원 하지 않는 이전 되었습니다 것으로 보인다. 바이 지원 거부, 허용 및 두 와일드 카드 문자. 메타 태그 나 찾지 못했습니다 바이 지원 하는지 여부의 공식 설명.

Google 지원 메타 태그에만 있습니다.

Unavailable_after에 게 거미 웹 페이지 만료 될 때. 이 날짜 이후 그것은 검색 결과에 표시 되지 합니다.

Noimageindex에 게 페이지에 있는 그림을 색인을 생성 하지 거미.

Notranslate에 게 페이지 내용을 번역 하지 거미.

야 후는 또한 메타 태그를 지원합니다.

크롤링-지연-의 주파수를 거미 크롤 링을 지연 수 있습니다.

NOODP 라벨 Noydir 유사한 하지만 야 후의 디렉토리, 아니라 열려있는 디렉토리를 말합니다.

로봇-nocontent-알 거미는 표시 되는 HTML의 일부 웹 페이지의 콘텐츠의 일부가 아니며, 즉, 어느 부분은 페이지 (검색 하려는 콘텐츠)의 주요 내용을 거미를 알려줍니다.

MSN은 또한 메타 태그를 지원합니다.

크롤링-지연

또한 참고 robots.txt 파일 존재 하지 수 거미에 대 한 모든 콘텐츠를 크롤링할 수 의미 하는 404 오류를 반환 합니다. 하지만 때 당신이 robots.txt 파일, 그리고, 크롤 링 하 고 그래서 오류에 수 원인 검색 엔진 포함 되지 않습니다 웹사이트, 거미 robots.txt 파일 존재를 알고 하지 않습니다 또는 내부 때문에 무슨이 및를 확인 파일이 존재 하지 않는 동일 하지 않습니다.