SEO 최적화 할이 설정을 robots.txt를 사용 하 여 좋은

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

최근 시간과 우리 공유는 < 심각한의 경우 바이 케이 역에서 새로운 역, 어린이 신발 많은 플러스 배울 나, 사실, 나 또한 SEO 문의 내 qq는 경험이 없는 사람, 그리고 경력이이 산업 단지 그들의 취미의 네트워크에 종사 하지. 나는 또한 종종 루에, Mouchangqing 및 다른 잘 알려진 프로 모션 블로그 및 웹 사이트 계속 배우고, 자신의 충분 한 시간과 인내심을 테스트, 학습 경험의 연습에서 함께!

좋아, 이동 하자. 오늘의 주제 Robots.txt,robots.txt 검색 엔진에서 웹 사이트를 방문 하면 볼 수 첫 번째 파일입니다. 검색 스파이더가 사이트를 액세스 하는 경우 먼저 확인 하 고 사이트의 루트 디렉토리에 robots.txt에 고 경우, 파일이 존재 하지 않는 경우 검색 로봇; 파일의 내용에 따라 접근의 범위를 결정할 것입니다, 모든 검색 스파이더 암호로 사이트 보호 되지 않은 모든 페이지에 액세스할 수 있을 것입니다!

이미 매우 분명, 로봇의 소개 여기 왜이 사이트는 매우 중요 한 말을. 많은 웹 마 스 터가이 파일을 추가 하 고 설정, 표준 형식을 검색할 수 있습니다 엔진 그들의 자신의 사이트 루트 디렉터리에, Google 웹 마 스 터 도구를 사용 하 여 생성 수 있습니다.

Robots.txt를 사용 하 여 자신의 사이트 체중 분배는 거미에 게

인지, 웹 사이트에 대 한 무게 제한, 특히 풀뿌리 사이트, 전체 사이트를 제공 하는 경우 동일한 기관, 한 비 과학적, 그리고 다음 완전히 낭비 서버 리소스 (일반 액세스 서버 리소스, cpu/iis/대역폭을 점유 하는 것 보다 검색 스파이더), 그것에 대해 생각할 수 있는 사이트 구조는 명확 하 고, 더 좋은 무게 문, 처럼 거미를 확인할 수 없습니다 귀하의 사이트에 어떤 콘텐츠는 어떤 중요 한 콘텐츠를 콘텐츠는 주요 내용을.

배경 파일에 화면 거미 다른 표준화 된 웹 페이지 코드의 사용에 포함, 여기 설명 하지 않습니다, 내 자신의 잔디 달걀 그물을 생각 캐시에 보호 될 수 있다, 포함, JS, 업데이트, 스킨, 등 디렉터리에 바보 B 디렉토리 관리자의 다른 사람들에 게 그래서 관리자 디렉토리 여기 기록 되지 않습니다.

사용자 에이전트: 다음 규칙 탐사 로봇에 적용 되는, 일반적으로 채우기 "*"

허용: 요격, 보통의 앞에 서 면 페이지 허용

허용: 페이지, 일반 채우기가 차단 하지 마십시오 "/"

사이트맵: 사이트 맵 URL

어떤 거미를 차단 하려는 경우 누군가가 개인 설정 설정 경우 묻습니다? 그것의 위에 그것을 작성할 수 있습니다.

사용자-에이전트: baiduspider

금지: /

Robots.txt도 쓰레기 검색 엔진 포함, 사이트 압력 감소, 트래픽 통계를 보면, 주로에서 어떤 검색 엔진, 완전히 차폐 하는 거미의 흐름에 오지 않는 트래픽의 흐름을 볼 수 있습니다;는 친구를가지고 있기 때문에 가상 호스트 공급자, 그래서 인지 쓰레기 거미 사이트의 안정성에 매우 큰 그는 일부의 매우 1000 IP 일반 액세스 트래픽 소비 하지만 하루의 사이트 IP만 수십만 났 했다 말해 줬 어. 다음 예제에서는 바이, Google 거미 액세스, 다른 모든 금지 허용으로 간주 됩니다.

사용자-에이전트: baiduspider

허용 안 함:

사용자-에이전트: googlebot

허용 안 함:

사용자 에이전트: *

금지: /

사이트맵:

Robots.txt로 거미 웹 역 지도 파일, 사이트맵은 거미 맵 파일은 어떤 파일를 사용 하 여 절대 주소, Google 웹 마 스 터 도구 구글 거미 제안 제출 하 게, 로봇의 고급 응용 프로그램 자체에 대 한 정보를 찾을 수 있습니다.

리소스:

Http://baike.baidu.com/view/1011742.htm

일부 검색 스파이더 로봇 이름:

바이 각 제품 사용 다른 사용자 에이전트:

무선 검색 Baiduspider-모바일

이미지 검색 Baiduspider-이미지

비디오 검색 Baiduspider-비디오

뉴스 검색 Baiduspider-뉴스

바이 두 검색 티벳 Baiduspider favo

바이 얼라이언스 Baiduspider-cpro

웹 페이지와 다른 검색 Baiduspider

거미의 사용자 에이전트를 검색:

Sosospider

Sosoimagespider

Google의

Googlebot

Googlebot 이미지

Googlebot-모바일

Mediapartners 또는 Mediabot이 특별 한 노트: 구글 광고 크롤러, 광고, 구글 광고를 할 경우 모든 거미, 비극, 제한 하는 사용 Google 광고를 하지 않 았 어, 파충류 방문 하지 것입니다 (이것은 Google의 힘든 장소, 광고를 봉사 하는 거미)

다른 말 하지 마, 스파스 장소의 부족 경우 작성, 자신의 동생을 검색할 수 있습니다, 조로 인도 할 수 있다 희망 새우!

이 문서 복제 잔디 달걀 그물 www.fuckegg.cc에서 표시 하시기 바랍니다 복제 하십시오이 링크를 유지, 원래 자오 디자인 www.zhaofeng.org를 존중 하시기 바랍니다!