검색로봇 허용과 차단 설정 Robots.txt 파일 설정하기 > 인터넷마케팅

본문 바로가기

팝업레이어 알림

팝업레이어 알림이 없습니다.
사이트 내 전체검색


회원로그인

카카오톡친구추가 제임스 SNS마케팅 사용자모임 네이버밴드초대

접속IP:3.84.130.252



인터넷마케팅

검색로봇 허용과 차단 설정 Robots.txt 파일 설정하기

페이지 정보

작성자 운영자 작성일14-11-19 00:59 조회1,143회 댓글3건

본문

검 색로봇은 수도 없이 많이 있다고 한다. 블로그 글을 등록하고 검색되어 방문자를 늘일 수 있는 경우도 있지만, 나쁜 의도를 가지고 무차별적으로 긁어가는 악성 봇도 있다. 따라서 필요한 검색봇만 허용을 하고 나머지는 차단을 할 필요가 있는 것이다.

검 색봇의 접근을 제어하는 파일은 Robots.txt 이며, 도메인 최상위 레벨(root)에 위치하게 된다. 그런데 별도의 도메인으로 호스팅을 하는 블로그가 아니라면, Robots.txt 파일을 제어할 수 없는 것이 일반적이지만, 구글 블로그는 이 기능을 제공한다.


ㅇ. Robots.txt 파일 작성하기 

Robots.txt 파일에서 검색봇을 제어하는 형식은 다음과 같이 간단하다.

User-agent: <= 검색봇 이름
Disallow: <= 접근 설정

예) 모든 검색봇을 차단
User-agent: *
Disallow: /
※ 별표 '*'는  '모든 로봇'을 뜻하고, 슬래시 '/'는 모든 디렉토리를 뜻한다.

예) 구글봇만 허용하고 나머지는 모두 차단
User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

예) 구글봇과 다음봇만  허용하고 다른 봇은 모두 차단
User-agent: Googlebot
Disallow:

User-agent: Daumoa
Disallow:

User-agent: *
Disallow: /

예) 모든 봇을 허용
User-agent: *
Disallow: 


방법은 위와 같이 간단하지만, 어떤 봇을 허용하고 차단할지 생각해 볼 필요가 있다.
글이 일단 검색봇에 읽혀서 등록이 되면, 검색봇 서브에 저장되어 있는 글을 지우기가 쉽지 않거나 사실상 불가능한 경우도 있을 수 있으므로, 필요한 검색봇만 허용을 하고, 나머지는 모두 차단하는 것이 좋지 않은가 싶다.

아래의 표는 잘 알려진 사이트들의 검색봇 목록이다.
위에서 본 것과 같은 방법으로 검색봇의 이름을 적용하여 Robots.txt 파일을 작성하면 된다.

검색엔진(검색 봇) 목록
사이트 검색봇 이름
다음(Daum) daumoa
네이버(Naver) naverbot 또는 Cowbot


구글 (Google) Googlebot
구글 이미지( Google-Image) googlebot-image
구글 모바일(Googel-mobile) googlebot-mobile


엠에스엔(MSN) MSNBot
엠에스엔 이미지(MSN PicSearch) psbot


야후(Yahoo) Slurp
야후 이미지(Yahoo-Image) Yahoo-MMCrawler
야후 브로그(Yahoo-blog) yahoo-blogs/v3.9


알렉사(Alexa/Wayback) ia_archiver
바이두(Baidu) baiduspider

 

  • 페이스북으로 보내기
  • 트위터로 보내기
  • 구글플러스로 보내기
  • 카카오스토리로 보내기

댓글목록

인터넷마케팅 목록

게시물 검색


홈쇼핑 인기상품을 국내 최저가로 구매하실 분들만 들어 오세요.^0^

*패쇄몰*이라 국내 최저가가 가능합니다.

새로운 상품을 매일 공동구매로 진행.

*패쇄몰*이라 싸게 판매가 되어 금방 매진이 됩니다.(꼭 참고 하세요)

오셔서 득템 하세요. ^0^

후회하지 않습니다.^0^

교환,반품,A/S도 철저히 이루어 집니다.

아래 주소로 들어오시면 됩니다.^0^

▶밴드 바로가기 클릭◀
https://bit.ly/2q69oFl

접속자집계

오늘
50
어제
310
최대
5,398
전체
1,984,554
Copyright © http://jamesoft.kr All rights reserved.
상단으로
모바일 버전으로 보기