에 대 한 WordPress의 robots.txt 파일.

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

Robots.txt 파일에서 워드 프레스 사이트의 설치는 웹 마 스 터, 검색 엔진 로봇 프로토콜, 검색 엔진 크롤러 크롤링 사이트 라고도 하는 Robots.txt 파일 프로토콜을 작성 하는 문제를 많이 되었습니다 후 첫 번째 사이트 루트 디렉터리에 robots.txt 파일이 있는지 여부를 하 고 robots.t에 따라 XT 프로토콜 사이트 소유자는 검색 엔진 크롤 링을 원하는 콘텐츠를 크롤링합니다. robots.txt 파일은 검색 엔진 크롤 러 페이지 크롤링할 수 있는 페이지를 크롤링할 수 없습니다 효과적으로 사용자의 개인 정보를 보호할 수 있습니다 게 의도 하지만 거미의 대역폭 절약에 도움이 그래서 그 거미 크롤 링을 더 쉽게, 홍보 포함.

먼저 간단한 다음 robots.txt 파일 규칙에와 서:

1. 모든 검색 콘텐츠 크롤링 발생을 허용합니다

사용자 에이전트: *

허용 안 함:

이 즉, 모든 검색 엔진은 있지만 모든 페이지를 크롤 링을 허용 허용은 허용 되지 않습니다, 하지만 다시 빈, 의미 없는 페이지를 크롤링할 수 없습니다.

2, 하나 또는 여러 개의 검색 엔진 크롤 링, 불 360 종합의 최근 비교와 차폐 검색 예

사용자-에이전트: 360spider

금지: /

사용자 에이전트: *

허용 안 함:

하지 뒤에 설명 하는 모든 페이지를 크롤 링을 360 합성 검색 스파이더 수 있도록 처음 두 라인 평균 1th 참조. 마찬가지로, 차폐 360 포괄적인 검색 또한 바이 거미를 차단 하 고, 함께 다음 계속 시작 부분에 추가.

3, 모든 검색 엔진을 예 워드 프레스 관리자 페이지를 크롤 링을 허용 하지 않도록이 쪽이이 페이지의 일부를 크롤 링을 검색 엔진을 허용 하지 않습니다.

사용자 에이전트: *

금지: / wp-관리자 /

우리 모두 알고, Wp를-관리자 폴더의 루트 디렉터리에 무대 그 WordPress 관리 후 거부 플러스/wp-관리자 검색 엔진 스파이더가 크롤 링을 허용 하지 의미.

에 관해서는 하지 바이 크롤링 무대를 허용, 다른 검색 엔진 크롤 링 무대, 허용 또는 360 포괄적인 검색 크롤링 배경 허용, 다른 검색 엔진 크롤 링 배경 수 없고 그래서 조합에 참조 하십시오 결합 하는 위의 3 포인트.

포인트, 그리고 쓰기, 사실, WordPress의 로봇 파일은 매우 간단 WordPress robots.txt 파일을, 주로 3 요점을 참조 하십시오.

1, 사이트 배경 할 하지 크롤링 거미

먼저 하지 검색 엔진 크롤 링 wordpress 배경 페이지를 설정, robots.txt 파일 첫 번째 목적은, 뿐만 아니라 물론 WordPress, 제한을 설정 거의 모든 웹 마 스 터, 다양 한 유형의 웹 사이트 배경 페이지 폴더 이름 동일 하지 않습니다.

2, 정적, 동적 URL 크롤링 거미 하지 않습니다.

때문에 너무 많은 동적 매개 변수는 크롤링 거미에 도움이 WordPress URL 여전히 최고의 정적입니다. 하지만 정적 URL, 각 게시 문서, 검색 엔진 후 많은 웹 마 스 터는 동시에 정적 URL 및 동적 URL 수집이 분명히 문서 페이지 무게 분산을 발생할 수 있습니다, 또한 검색 엔진의 처벌을 받게 될 중복 페이지를 발생할 수 있습니다, 실제로 이런이 상황을 방지 방법은 매우 간단 하 고, 그는 robots.txt 파일 집합에 동적 URL 바이에 포함 되지 것입니다 그래서 거미 동적 URL을 크롤 링 하지 않습니다.

3, 끝 및 사이트 맵 XML 형식

Robots.txt 플러스 사이트 맵의 끝에 만들 수 있습니다 사이트 맵 크롤링 사이트 처음으로 크롤링될 때 더 많은 페이지의 컬렉션을 진행.

그 결과, 간단한 WordPress robots.txt 다음과 같이 작성

사용자 에이전트: *

금지: / wp-관리자 /

금지: / *? *

#这意思是不抓取中包含? URL, 동적 URL 기능 인가요?

Sitemap:http://www.yourdomain.com/sitemap.xml

#를 포함 하는 줄을 제거 하 고 귀하의 도메인 이름, 사용자 도메인에 사이트맵 WordPress robots.txt 파일 완료 되 고 마지막으로 루트 디렉터리에 파일을 업로드 될 수 있습니다.

Robots.txt 파일 작성에 대 한 참고로 몇 가지 있습니다.

1, 슬래시 문제

첫 번째 슬래시의 시작은 해야 합니다, 그이 디렉터리의 모든 페이지 모두 차폐를 포함 하는 슬래시, 슬래시가 없는 경우 거기는 하지 슬래시, 등 같은 as/wp-admin.html,/wp-admin.php에 페이지 (예) 슬래시 단어 의미의 끝. 이것은 2 개의 다른 개념, 그리고 그것의 뒤에 슬래시를 추가 하려는 여부를 고려해 야 합니다.

2. 사례 문제

각 줄의 첫 번째 문자를 제외한 모든 소문자 여야 합니다.

3, 거부 허용

사실, 많은 초보자 stationmaster에 대 한 마스터 쓰기 중 하나 이므로, 같은 시간 수이 두에 얻은 쓰기의 종류 이므로, 이어질 쉽게 초보자 인 경우 다음 robots.txt 파일은 주위 혼합된 인 한 오류를 방지 하기 위해 하나의 메서드를 사용 하. 서구 교육 네트워크 웹 마 스 터에 의해이 문서 장 Donglong 원래, 무단 전재, 해야 하는 경우 보관 하십시오 원래 주소 http://www.zhangdonglong.com/archives/578, 감사 합니다.