Stationmaster 알고 있어야 합니다: 5 문법 및 로봇의 3 주의 점

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

Robots.txt는 검색 엔진에서 웹 사이트를 방문 하면 볼 수 첫 번째 파일입니다. 검색 스파이더가 사이트를 액세스 하는 경우 먼저 확인 하는 사이트의 루트 디렉토리에 robots.txt는 고 그래서, 검색 로봇 파일의 내용에 따라 접근의 범위를 결정 합니다; 파일이 존재 하지 않는 경우 모든 검색 스파이더 암호로 사이트 보호 되지 않은 모든 페이지에 액세스할 수 있을 것입니다. 웹 마 스 터,으로 우리 수 화면으로 잘못 된 페이지와 일부 방치할 수 거미 크롤링 페이지, 다음 로봇을 작성 하는 방법?는 로봇의 구문을 다음과 같은 다섯 가지 포인트:

1, 사용자 에이전트 정의 검색 엔진입니다. 일반적으로,이 사이트는 모든: 사용자 에이전트: * 여기 * 의미 모든, 모든 검색 엔진을 의미 정의 됩니다. 예를 들어 바이 정의 하려면 다음 사용자-에이전트: baiduspider; 정의 구글, 사용자-에이전트: googlebot.

2, 거부 크롤링할 금지. 예를 들어 내가 내 허용은 그 도움말 폴더를 크롤 링을 금지 하 고 싶습니다: / 도움말 /. 도움말 folder:/help/shenmein.html에서 shenmein.html,disallow의 크롤 링을 금지 합니다.

3, 허용 하는 허용입니다. 우리 모두가 알다시피, 기본적으로 사용할 수 있습니다. 왜 우리가이 문법을 허용 한다??? 예: 밖으로 도움말 폴더 아래 모든 파일을 금지 하 고 싶다는. html 페이지, 어떻게 당신이 작성 하? 우리가 우리가 알고 수 사용 금지 하나, 하지만 그건 너무 많은 시간과 에너지. 이 시간에 복잡 한 문제를 해결 하기 위해 허용의 사용 썼다: Allow:/help/.html$ 허용: / 도움말 /.

4, $ 종결자입니다. 예: 허용: aspx $가 문장의 의미 화면 모든 파일 들어가 aspx, him,/a/b/ad/ba/ddddd/eee/index.aspx 앞 이란에 이것은 또한 포함 하는 것입니다.

5, * 0 개 이상의 모든 문자. 예: 허용: *? * 모든 밴드를 차폐 하는 것이 즉 "?" 파일, 하지만 또한 모든 동적 경로 마스크.

위의 5 포인트 믿습니다 이해는 로봇의 준비 당신과 함께 문제가 없다. 하지만 관심의 다음 세 가지 포인트, 기억 합니다, 그렇지 않으면 낭비 될 수 있습니다.

첫째, 먼저 금지 수 있습니다. 바이 수 있도록 먼저, 금지, 후 첫 번째 허가 금지 하는 Google 규칙 규칙입니다. 중국의 이해에 따라 바이 문에 일부 더 일치 합니다. 그것은 동일 하 게 끈다.

둘째, 사용자 에이전트, 허용, 거부 ":" 뒤에 공간 문자, 바이 로봇 및 Google의 로봇 스크린샷 보고.

거기는 공간 문자, 기억, 좋은 오 위의 screenshot, 나 명확 하 게 볼 수 있습니다.

셋째, 부인: / 도움말/의미와 같은 폴더에 다른 폴더를 포함 하 여, 아래 도움말 폴더의 루트 디렉토리를 크롤 링을 방지 하기 위해 뿐만 아니라 모든 도움말 폴더를 차단 하는: a/b/도움말/지 오프도 차단 /. 그러므로, 실드를 쓸 때 주의 되어야 한다. Google에서 촬영 화면을 봐.

위의 이미지를 통해 우리 Google는 루트 디렉터리 위치 폴더를 차폐, 다른 차단 되지 않습니다 배울 수 있습니다. 위의 설명을 통해 로봇의 문제를 해결 한다. 로봇의 합리적인 사용 가져올 수 있다 좋은 효과 웹사이트에 웹사이트의 404 오류 페이지 특히. 더 나은 일을 할 사이트의 최적화, 로봇의 좋은 사용을 확인 합니다.

이 문서에서 온다: www.szkaiyi.com, 계속 기입 하시기 바랍니다, 감사 합니다!