웹 마 스 터는 robots.txt에 주의 해야 합니다.

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

웹 사이트 관리자는 친구의 요청에 따라 robots.txt에 많은 관심을 발생 하지 않은 것, 오늘이 문서에 대해 간단 하 게 이야기를 전달.

에 대 한 Robots.txt의 쓰기.

Robots.txt 기본 소개

Robots.txt는 사이트 관리자 로봇, 액세스할 않으려는 사이트의 부분을 선언할 수 있습니다 일반 텍스트 파일

또는 지정 된 검색 엔진만 지정 된 콘텐츠를 포함 합니다.

검색 로봇 (일부 라고 검색 스파이더) 사이트를 액세스 하는 경우 먼저 사이트 루트 디렉터리가 있는지 확인

Robots.txt를, 검색 로봇 따를 액세스;의 범위를 결정 하는 파일의 내용을

검색 로봇은 다음 링크를 따라 크롤링합니다.

또한, robots.txt는 사이트의 루트 디렉터리에 배치 해야 하 고 파일 이름은 모두 소문자 여야 합니다.

Robots.txt 쓰기 문법

첫째, robots.txt 예제를 살펴 봅시다: Http://www.beidou365.cn/robots.txt

위의 특정 주소를 방문, 우리가 볼 수 있습니다 robots.txt의 구체적인 내용을 다음과 같습니다.

# Http://www.beidou365.cn에서 Robots.txt 파일
# 모든 로봇은 거미 도메인

사용자 에이전트: *
허용 안 함:

위의 텍스트는 모든 검색 봇 www.beidou365.cn 사이트에서 모든 파일을 액세스를 허용 하도록 의미 된다.

특정 구문 분석: 어디 설명 정보에 대 한 텍스트 뒤에 #; 사용자 에이전트: 다음 검색 로봇의 이름을 한 *, 다음 팬

모든 검색 참조 봇; 거부: 다음의 파일을 액세스할 수 없습니다입니다.

아래, 내가 robots.txt의 어떤 특정 한 용도 열거 합니다.

로봇에 대 한 모든 액세스를 허용

사용자 에이전트: *
허용 안 함:

또는 빈 파일을 만들 수 있습니다 "/ robots.txt" 파일

모든 검색 엔진 사이트의 일부에 액세스 하지 못하도록 금지

사용자 에이전트: *
금지: /

모든 검색 엔진 사이트의 여러 부분에 액세스 금지 (01, 02, 03 디렉터리 다음 예제에서)

사용자 에이전트: *
금지: / 01 /
금지: / 02 /
금지: / 03 /

검색 엔진 (다음 예제에서 Badbot)에 대 한 액세스를 금지

사용자-에이전트: badbot
금지: /

하나의 검색 엔진 액세스 (다음 예제에서 크롤러) 허용

사용자-에이전트: 크롤러
허용 안 함:

사용자 에이전트: *
금지: /

또한, 그것은 로봇 메타 소개의 설명을 확장 하는 데 필요한 생각.

로봇 메타 태그는 특정 페이지에 집중 된다. 다른 메타 태그 (언어 사용, 페이지의 설명에서와 같은

핵심 단어, 고 등), 로봇 메타 태그에 배치도 페이지, 검색 엔진 로봇에 게 하도록 설계 된

페이지의 콘텐츠를 크롤 링 하는 방법.

로봇 메타 태그의 표현:

어떠한 경우에는 이름 = 메타 태그 및 모든 검색 엔진이 특정 검색에는 대상으로 지정할 수 있는 "로봇" 의미

엔진 이름으로 작성 된 것입니다 "Baiduspider" =. 콘텐츠 섹션은 네 가지 명령 옵션: 색인, NOINDEX, nofollow, 따라

지침으로 구분 됩니다 ",".

인덱스 명령을 알려줍니다; 페이지를 크롤 링 하는 검색 로봇

따라 명령 검색 로봇 수 페이지; 링크 따라 크롤 링을 계속 해 서 나타냅니다.

로봇 메타 태그에 대 한 기본값은 인덱스와 잉크 토미, 색인, nofollow 기본값 제외 따라.

이 방법에서는, 조합의 4 개의 종류는:

< 메타 이름 = "로봇" 내용 = "색인, 따라"
< 메타 이름 = "로봇" 내용 = "Noindex, 따라"
< 메타 이름 = "로봇" 내용 = "색인, nofollow"
< 메타 이름 = "로봇" 내용 = "색인, nofollow"

어떤

< 메타 이름 = "로봇" 내용 = "색인, 따라" 쓸 수 < 메타 이름 = "로봇 콘텐츠 ="

모든 ">

< 메타 이름 = "로봇" 내용 = "색인, nofollow"로 쓰여질 수 있다 < 메타 이름 = "로봇"

콘텐츠 = "없음" >

그것은 검색 엔진 로봇의 대부분 robots.txt 규칙에 따라 것 같다 고 현재 지원 안 드 로이드 메타 태그에 대 한

별로, 하지만 그것은 성장 하 고, 유명한 검색 엔진으로 Google는 완벽 하 게 지원, 및 Google 지시문을 추가 했습니다

아카이브, 구글 웹 페이지의 스냅샷을 유지 여부를 제한할 수 있습니다. 예를 들어:

< 메타 이름 = "Googlebot" 내용 = "색인, 따라, noarchive"