Robots.txt는 무엇입니까

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

이 때 좋은 검색 엔진 자주 귀하의 사이트를 방문 하 고 귀하의 온라인 콘텐츠 인덱스 섹션은 당신이 원하는 하지 때 자주 하지만 경우에 따라, 귀하의 콘텐츠를 색인. 예를 들어, 웹 페이지 (보기, 브라우저에서 인쇄 한 것)의 두 가지 버전, 크롤 링에서 제외 하는 인쇄 버전을가지고 싶을 것 이다, 그렇지 않으면 당신은 반복된 콘텐츠 형벌의 부과를 강제로 수 있습니다. 또한, 만약 당신이 귀하의 사이트에 기밀 정보를 보고 세계를 원하지 않으면 일이, 당신은 또한 같은 것입니다, 검색 엔진에 색인이 페이지 (비록이 경우에 신뢰할 수 있는 유일한 방법은 인덱스 중요 한 데이터를, 별도 시스템에 오프 라인 유지 하는). 또한, 인덱스에서 이미지, 스타일과 자바 스크립트에 일부 대역폭을 절약 하려는 경우 또한 이러한 항목에서 거미에 게 방법을 해야 합니다.

한 가지 방법은 검색 엔진 파일 및 로봇 메타 태그를 사용 하지 않도록 하는 것입니다 귀하의 사이트에 사용 하는 폴더에 게. 하지만 모든 검색 엔진 메타 태그를 읽어, 때문에 기계 로봇 메타 태그는 간단 하 게 간과 될 수 있습니다. 당신에 게 검색 엔진에 더 나은 방법은 robots.txt 파일을 사용 하는 것입니다.

Robots.txt는 무엇입니까?

Robots.txt는 검색 봇 그들 방문을 원하는 페이지에 게 귀하의 사이트에 넣어 (HTML) 대신 텍스트 파일입니다. Robots.txt는 절대로 필수 검색 엔진, 그러나 일반적으로, 검색 엔진 순종 그들은 하 고 싶지 않아요. 그것은 robots.txt을 (즉 아니에요 방화벽, 또는 암호 보호) 귀하의 사이트를 크롤 링에서 검색 엔진을 막을 방법이 없습니다 이며 robots.txt 파일을 배치 하는 사실은 다시 한 번 주장 같은 것을 명확히 하는 데 필요한: "제발,", 입력 잠금 해제 문에-예 에서 강도 막을 수 없다 하지만 좋은 사람 하지 공개적으로 조사 하 고 입력. 그래서 우리는 만약 당신이 정말로 중요 한 데이터에 대 한 특수 교육 필요, 그것은 너무 말 색인 및에 표시 된 검색 결과에서 그것을 보호 하기 위해 robots.txt에 의존 하는 순진한.

robots.txt의 위치는 매우 중요 하다.

그렇지 않으면 사용자 에이전트 (검색 엔진) 그것을 찾을 수 있게 되지 것입니다 때문에 홈 디렉터리에 있어야-그들은 R obots.txt 라는 파일에 대 한 전체 사이트를 검색 하지 않습니다. 대신, 그들은 먼저 홈 디렉터리 (예: http://mydomain.com/robots.txt)에, 느끼지 않는다 그들은 그냥 가정 그 사이트는 robots.txt 파일, 그래서 그들은 색인가 하는 방법을 찾을 수 있는 방법. 그래서 바로 이곳에서 robots.txt를 두지 않으면, 경우 놀라지는 검색 엔진 색인 전체 사이트.

robots.txt의 구조와 개념 개발 되었습니다 10 년 이상 전에, 당신이 그것에 대 한 자세한 내용을 보려면, 로봇 반발에 대 한 표준에 (게) 똑바로 갈 수 있는 http://www.robotstxt.org/or을 방문 하시기 바랍니다 관심이 있다면 때문에이 문서에서 우리만 robots.txt 파일의 가장 중요 한 측면 거래 것입니다. 우리는 미래에 robots.txt 파일 구조와 함께 계속 됩니다.

robots.txt 파일 구조

Robots.txt의 구조는 매우 간단 하다 (거의 유연한)-사용자 에이전트 및 금지 된 파일 및 디렉터리의 끝 없는 목록입니다. 기본적으로, 구문은 다음과 같습니다.

사용자 에이전트:

허용 안 함:

"사용자-에이전트" 검색 엔진의 크롤 링 도구 이며, 허용 되지 않습니다: 나열 된 파일 및 디렉터리 색인에서 제외 됩니다. 또한, "사용자-에이전트:" 및 "거부:": "항목을 포함할 수 있습니다는 코멘트 라인-그냥 숫자는 첫 번째 경로에 넣어:

#所有用户代理是不准看/temp 디렉터리입니다.

사용자 에이전트: *

금지: / 온도 /

전자 트랩 robots.txt 파일

복잡 한 파일을 만들기 시작할 때-즉, 다른 사용자 에이전트 접촉 R o bots.txt 파일의 함정에 특별 한 관심을 지불 하지 않으면 다른 디렉터리는 문제를 시작할 수 있습니다 하기로. 일반적인 실수 오타를 포함 하 고 모순 된 지시문. 일반적인 실수 오타 및 충돌 지침 포함. 오타는 맞춤법이 틀린 된 사용자 에이전트, 디렉터리, 누락 된 콜론, 사용자 에이전트 및 논 박, 오타, 등, 하지만 수 있습니다 찾기, 더 어려울 경우에 따라 유효성 검사 도구 도움말.

더 심각한 문제는 논리 오류입니다. 예를 들어:

사용자 에이전트: *

금지: / 온도 /

사용자-에이전트: googlebot

금지: / 이미지 /

금지: / 온도 /

금지: / cgi-빈 /

위 예제는 robots.txt에서, 모든 에이전트 사이트에서 모든 것을 얻을를 제외 하 고/Temp 디렉터리. 여기, 그것은 좋은, 하지만 나중 Googlebot robots.txt를 읽기 시작 때 엄격한 조건을 규정 하는 또 다른 기록 그리고 그것 있도록 모든 폴더를 제외 하 고/온도 등 Googlebot 스스로 모든 사용자 에이전트를 볼 것 이다 /. 그것을 알고, 그래서 그것은 파일을 제외 하 고/이미지/와/cgi-빈 읽지 않습니다 / 어디에 당신이 생각 하는 당신이 그것을 만지지 말 Googlebot를 위한 충분 하지 않습니다. 아시다시피, robots.txt 파일의 구조는 간단 합니다, 하지만 여전히 쉽게 얻을 수 있는 심각한 실수.

생성 하 고 robots.txt 파일의 유효성 검사 도구

Robots.txt 파일의 간단한 문법을 고려 읽을 수 있습니다 또한 언제 든 지, 그리고 모든 것은 괜 찮 아 요, 하지만 그것은 매우 쉽게이 같은 유효성 검사기를 사용 하는 경우 그 보고: http://tool.motoricerca.info/robots-checker.phtml. 이러한 도구 누락 된 슬래시 또는 콜론, 같은 일반적인 버그를 보고 하 고 손상 되지 경우 찾을 귀하의 노력. 예를 들어, 입력할 경우:

사용자 에이전트: *

금지: / 온도 /

이 사실 때문에 아니다 "사용자" 및 "에이전트" 및 구문 올바르지 않습니다.

이 경우에, 복잡 한 robots.txt 파일을가지고 하는 때-즉, 당신이 다른 사용자 에이전트에 게 다른 지침 또는 디렉터리와 하위 디렉터리를 제외의 긴 목록을, 수동 진짜 고통이 될 수 있습니다. 하지만 당신은 걱정-거기에 필요가 없습니다 당신을 위해 파일을 생성 하는 도구. 더 많은 것은 인 무엇, 포인트를 선택 하는 파일 및 폴더 제외는 시각적 도구가 있습니다. 그러나 경우에 당신이 robots.txt 세대에 대 한 그래픽 도구를 구입 당신 처럼 생각 하지 않으면, 온라인 툴을 있다. 예를 들어 서버-사이드 로봇 생성기 목록 파일을 색인화 할 당신을 위해 사용자 에이전트와 텍스트 상자 드롭-다운 목록을 제공. 솔직히, 이것 아니다 많은 도움 때문에 어떤 경우에 디렉터리 하지만 아무것도 보다 더 많은 목록을 입력 하는 다른 검색 엔진에 대 한 특정 규칙을 설정 하려는 경우가 아니면.

저자 웹사이트 www.mingrenzhuanji.cn