야 후 검색 사이트 콘텐츠를 금지 하는 방법

출처: 인터넷
작성자: 사용자

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

야 후의 공식 설명, 우리가 6184.html를 금지 하 고 싶다면 "> 야 후 검색 사이트 콘텐츠, 우리의 서버 루트 디렉토리에 robots.txt 파일을 배치, 다음 추가:

사용자 에이전트: *

금지: /

이후 이들은 표준 프로토콜을 대부분 11510.html "> 웹 검색 프로그램에 따라 것입니다, 입사 후 이러한 프로토콜, 것입니다 야 후 검색 크롤 링 하지 사이트의 콘텐츠 뿐 아니라 다른 검색 프로그램은 우리의 웹 서버 또는 디렉터리를 크롤 링 하지 않습니다."

그래서, 추천 네트워크 지혜 해야 선택, 우리는 이것을 쓸 수 있습니다.

사용자-에이전트: googlebot

허용 안 함:

사용자 에이전트: *

금지: /

그 파충류 라는 Googlebot에만 수 있습니다 캐치는 사이트와 야 후 검색 및 기타 검색 엔진 크롤 러의 모든 내용을 크롤링할 수 없습니다 사이트의 모든 내용을 기록 됩니다.

또는

사용자-에이전트: 후루룩

금지: /

금지에 야 후의 "후루룩" 검색 엔진 스파이더가 크롤 링 합니다.

관련 문서

연락처

이 페이지의 내용은 인터넷에서 가져온 것이므로 Alibaba Cloud의 공식 의견이 아닙니다.이 페이지에서 언급 된 제품 및 서비스는 Alibaba Cloud와는 관련이 없으므로이 페이지의 내용이 골칫거리 인 경우 저희에게 알려주십시오. 우리는 5 일 근무일 이내에 이메일을 처리 할 것입니다.

커뮤니티에서 표절 사례를 발견한 경우 info-contact@alibabacloud.com 으로 관련 증거를 첨부하여 이메일을 보내주시기 바랍니다. 당사 직원이 영업일 기준 5일 내에 연락 드리도록 하겠습니다.

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.