로봇이라는 프로그램이 네트워크를 돌아다니게 되면, 자칫 네트워크에 엄청난 트래픽(Traffic)이 발생할 수 있다.
즉, 네트워크에 과부하가 걸려 특정 사이트에 접속이 잘 되지 않거나
속도가 느려지는 문제가 생길 수 있다. 또한 동호회 명단, 직장 전화번호등 원치 않은 정보가 검색엔진에 노출되는 결과가 생길 수도 있다.
두 번째로 로봇 배제(Robot exclusion) 표준을 따르는 방법이 있습니다.
로봇 배제 표준이란 말 그대로 웹문서를 수집해 가는 로봇을 배제한다는 뜻입니다.
로봇의 배제와 관련된 내용을 적어 놓은 robots.txt 파일을
사이트의 최상위 주소(서버 루트 디렉토리 예:www.gaseo.com/robots.txt)에 저장하면 됩니다.
robots.txt를 서브디렉토리에 놓는 경우 효력이 없다는 사실에 주의하세요.
예를 들어, www.yourhost/~mypage 밑에 robots.txt가 있어도 이는 아무런 효력을 갖지 못합니다.
로봇은 오직 루트 디렉토리의 robots.txt만을 참조할 뿐입니다.
로봇의 접근을 어디까지 허용할 것이냐에 따라 robots.txt에 들어가는 내용은 달라집니다.
로봇 배제에 대한 보다 자세한 내용은 http://www.robotstxt.org에서 확인할 수 있습니다.
(1) 모든 로봇을 배제하고 싶을 때
User-agent: *
Disallow: /
(2) 모든 로봇을 허용하고 싶을 때
이 경우에는 “robots.txt”를 작성할 필요가 없으나, 굳이 작성을 하자면 다음과 같습니다.
( (1)과 비교했을 때 “/”가 빠져 있습니다.)
User-agent: *
Disallow:
(3) 모든 로봇에게 서버의 일부분만을 제한하고 싶을 때
User-agent: *
Disallow: /my_photo/
Disallow: /my_diary/
이렇게 작성하면 로봇은 my_photo, my_diary라는 폴더에 속한 웹문서에 접근할 수 없습니다.
(4) 특정 로봇만을 배제하고 싶을 때
아래의 예에서는 “EvilRobot”이라는 이름을 가진 로봇만을 배제하게 됩니다.
User-agent: EvilRobot
Disallow: /
(5) 특정 로봇에게만 접근을 허용하고 싶을 때
아래의 경우 Cowbot만이 웹문서를 수집해갈 수 있습니다.
User-agent: Cowbot
Disallow:
User-agent: *
Disallow: /
3)세 번째로 메타태그를 이용하는 방법
“robots.txt”를 작성하는 것과 유사한 방법으로
HTML문서의 <HEAD>와 </HEAD> 태그 사이에
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">라는 메타태그를 추가하면
로봇은 웹문서를 가져갈 수 없습니다.
이 방법은 다소 번거롭기는 하지만 문서 하나하나에 대해 정확하게 명시를 해주기 때문에
가장 확실하게 로봇의 접근을 막을 수 있는 방법입니다.
"쇼핑몰·홈페이지·오픈마켓
블로그·페이스북·이메일 등의 각종 마케팅 글쓰기, 각종 광고, 영업, 판매, 제안서, 전단지 반응율 3배×10배 이상 높이는 마법의 8단계 공식" |
|
| ☞자세히보기 |
|
|
|
