웹사이트 최적화 robots.txt 문서 작성에

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

robots.txt 파일을 더 많거나 적은 보다 친구 들 었 수 있습니다 작성 했습니다 자신의. 사실, 지금까지 나는 robots.txt 파일을 작성 하지 않은 하지 않기로 작성, 그냥 느낌이 그 거기에 아무것도 블로그 거미 크롤 링을 중지. 그리고 아마도 모든 사람이 알고 개인 독립적인 블로그는 죽은 링크의 확률 매우 작은 있어야 하 고 그래서 내가 필요한 생각 하지 않습니다 너무 많이 죽은 링크 처리는 필요 하지 않습니다. 그러나, robots.txt 파일을 개인 웹 마 스 터로 쓰는 기술 중 하나 마스터 해야 합니다, 그리고 그는 매우 넓은. 여기 자세한 소개에 또한 간주 됩니다 그들의 자신의 개정.

Robots.txt 파일 이란

우리이 파일 이름에서 참조 a. txt 접미사 이름입니다, 그리고 또한 알아야 할이 텍스트 파일, 즉, 메모장입니다. 로봇, 영어 사람도 사람 이어야 한다, 우리는 검색 엔진 로봇 이름에서이 파일은 우리의 특별 한 보고 거미를 추측할 수이 로봇 대표 로봇의 의미는 알고 있다. 그것의 역할 열 또는 해당 페이지 차단 하지 않습니다 필요를 크롤 링, 물론, 수 있습니다 또한 직접 거미의 방문 거미를 말할 것입니다. Note이 파일 거미는 처음에는 파일의 내용을 읽을 수 있도록 사이트의 루트 디렉터리에 배치 됩니다.

로봇 파일의 역할

사실, 로봇 파일에 가장 일반적으로 사용 되는 사이트 내에서 죽은 링크를 화면 것입니다. 우리 사이트에 죽은 링크를 더 많은 것에 영향을 사이트의 무게를 알고 있어야 합니다. 하지만 웹 사이트 죽은 링크 정리 문제, 아직도 죽은 역 더 많은 경우, 링크 하는 경우에 특히 많은 시간을 보낼 필요가 있지만 정리 매우 힘 드는, 문서의 유용성을 구현 하는이 시간, 거미 크롤 링을 방지 하기 위해 파일의 형식에서 이러한 죽은 연결을 직접 할 수 있는 정리 또는 나중에 천천히 깨끗 한 싶어요. 일부 웹 마 스 터를 포함 하는 일부 웹 사이트 콘텐츠 거미 URL 또는 파일을 크롤 링 하 고 싶지 않아, 또한 직접 차폐 수 있습니다. 거미를 차폐, 일반적으로 사용 되는 상대적으로 몇 가지입니다.

로봇 파일의 작성

이 더 중요 해야 한다. 만약 당신이 시간에 크롤 링 하지만 그들의 자신의 쓰기 실패, 원하는 방패로 잘못 찾을 수 없습니다 쓰기 큰 손실 될 수 있습니다. 먼저 우리는 두 태그 허용 및 허용 안 함, 하나는 허용, 하나 허용 되지 않습니다, 그리고 및 그 역할은 모두가 이해할 수 있는 보다 더 알고 있어야 합니다.

사용자 에이전트: *

허용 안 함:

또는

사용자 에이전트: *

허용:

이 두 단락 모두 실제로 Url을 차폐,에 크롤 링을 허용 하 고 파일 사용 됩니다 귀하의 사이트를 일부만 사용 하 여 크롤 링을 원하는 태그를 허용 하지 않는 태그를 허용 하지. 이 사용자-에이전트: 다음은 거미의 이름, 우리는 주류 검색 엔진 거미 이름을 더 잘 알고 있어야 한다. 예를 들어 다음 검색 스파이더: Sosospider.

때 검색 스파이더 방패 하겠습니다.

사용자-에이전트: sosospider

금지: /

우리는 그래서 글을 주의 하, 이상 거미 차폐 백슬래시를 쓰기 때문이 아니라 수 시간에 자체는 인식에 위의이 차폐 거미 있습니다만 한 번 더 "/", 그것의 의미를 변경 찾을 수 있습니다. 사용자 에이전트에: 수정 거미의 이름 및 그것은 경 멸의 뒤에 "*" 모든 거미에 대 한 의미.

디렉토리 검색 엔진 스파이더에 의해 크롤 링 되지 않도록 하려면 코드를 다음과 같이 설정:

사용자 에이전트: *

금지: / 디렉토리 /

Note는이 디렉터리 이름에 "/", 하지 않고 주의 지불 해야 합니다 "/" 블록 디렉토리에 콘텐츠 페이지를 나타내는 "/"이 디렉토리 페이지와 디렉토리 및 페이지, 아래에 액세스 하지 못하도록 하는 크롤링을 차단 하는 경우이 두 지점을 명확 하 게 분할 되어야. 사용 해야 하는 여러 디렉터리를 차단 하려는 경우

사용자 에이전트: *

금지: / 디렉토리 1 /

금지: / 디렉토리 2 /

이 양식을 사용/디렉토리 1 디렉토리 2/등 양식 수 없습니다.

당신이 방해 하 고 거미 크롤 링에서 사진을 방지와 같은 특정 유형의 파일을 액세스 하는 경우. jpg 형식으로 설정할 수 있습니다:

사용자 에이전트: *

Jpg $ 허용 안 함:

그냥 입력 하 고, 주의의 유형, 종이의 전체 웹 사이트와 같은 타겟 차폐 거미 또는 적은 포인트를 설명 하는 다른 특정 글에 대 한 위의 상하이 서 포니 하지만 많은 다른 의미에 이어질 수 있는 허용 및 거부의 의미를 알고. 있다 또한 특정 페이지 태그를 작성할 수 있지만 일반, 웹 페이지의 많은.

위에 상해 서 포니 http://www.mjlseo.com/Finishing에 의해 무단 전재 지정 하십시오, 감사 합니다.