멋진 홈페이지에 좋은 내용을 담았다.

이제 검색엔진에 잘 등록되면 사람들로 붐빌 게 틀림없다. 그래서 서둘러 디렉토리(웹사이트 주소록)에 등록을 했다.
그러나 웹페이지 검색엔진에는 아무리 기다려도 나타나지 않는다. 어떻게 된 걸까?
검색엔진에 문의를 해보았다. 디렉토리 등록 후에 4주 정도 지나면 웹페이지 검색엔진에도 나타날 거라고 말한다. 그렇게 한 달, 두 달이 지났지만 여전히 소식이 없다.

-------------------------------------------------------------------------------- 이런 경우가 의외로 많다.

원래 디렉토리에 등록되고 나면 얼마 후 웹페이지 검색엔진의 스파이더(Spider; 웹페이지 자동 수집 프로그램)가 사이트에 찾아온다.
그리고 사이트 곳곳을 다니며 자료를 수집해서 돌아간다. 그러나 어찌된 일인지 아무리 검색을 해도 사이트가 나오지 않는다.
▲ 스파이더가 각 사이트에 찾아가서 정보를 수집해 온다. 원인은 여러 가지가 있을 수 있지만 가장 흔한 것은 스파이더가 우리 사이트를 여행하다가 벽에 부딪혀서 돌아가 버리는 것이다. 그래서 애써서 만든 내용이 검색엔진에 나타나지 않는 것이다.
검색엔진 스파이더의 눈은 사람과 다르다. 우리는 웹 브라우저로 **만 스파이더는 HTML 코드를 따라갈 뿐이다. 스파이더의 여행에 걸림돌이 되는 홈페이지, 검색엔진이 싫어하는 홈페이지가 있다. 검색엔진에 높이 올라가는 것은 둘째 치고 등록도 안되는 경우가 있다.
검색엔진을 좋은 홍보 방법으로 생각한다면 이제 검색엔진도 고려한 홈페이지를 만들어야 한다.

■ 스파이더가 뭐길래... 스파이더는 아래의 순서를 따라 자료를 수집한다.
첫번째 홈페이지를 방문한다. (관리자가 지정한 주소) HTML 문서를 읽고 단어별로 나누어 저장한다.
HTML 문서에 있던 다른 주소(링크)를 따라가서 2번으로 간다. 더 이상 따라갈 새로운 링크가 없으면 중단한다. 스파이더에게는 HTML 만이 의미가 있다.
이미지 파일과 플래시는 전혀 이해하지 못한다.
테이블(Table)도, 프레임(Frames)도 사람과 다른 관점으로 이해한다.
자바스크립트(Javascript)를 만나도 우리와 다르다. Alert 창 같은 것은 **도 않고 누르지도 않는다. 스파이더에게는 오직 HTML과 텍스트(Text)만이 의미가 있다. "텍스트 수집 ▶ 링크 따라가기 ▶ 텍스트 수집 ▶ ..." 을 끝없이 반복하는 스파이더를 위해서 텍스트와 링크를 고려한 문을 열어 놓아야 한다.

이제 스파이더의 이런 특성을 염두에 두고 몇 가지 사례를 짚어 보자.
■ 스파이더가 본 색즉시공(色卽是空) - 링크 없는 초기 페이지 색즉시공 공식 홈페이지 첫 페이지부터 플래시로 멋지게 시작하는 사이트가 많다.
특히 영화 홍보 사이트 같은 곳에 많다. 최근에 빅히트를 기록하고 있는 영화 사이트 한 곳을 살펴보자.
재미있는 효과와 컨텐츠가 흥미로운 곳이다. 그러나 사람들이 즐거워 하는 사이 검색엔진 스파이더는 머뭇거리다 돌아가 버렸다.
첫째, 수집할 내용이 없다. 이 첫 번째 문서 내에는 검색엔진이 수집할 단어가 없다. 유일한 것이 이다. 그러나 이 영화의 제목은 '색즉시공'이다. 누군가 '색즉시공'으로 웹페이지 검색을 한다면 이 사이트가 높이 나오지 않을 가능성이 많다. '색즉시공'이라는 말이 한번도 나타나지 않았기 때문이다.

검색엔진이 링크 인기도(Link Popularity)를 적극 반영하거나 검색엔진 운영자가 인기 키워드를 특별 관리하는 경우라면 이야기가 다르겠지만 일반적인 원리에서는 그렇다.
최상위(Root)에 있는 페이지는 하위 페이지보다 상위등록 가능성이 높다.
스파이더가 첫 페이지만을 읽고 가버리는 경우도 가끔 있다.
그러나 이 한 페이지 마저 텍스트가 거의 없다면 상위등록할 기회를 놓치게 되는 것이다.

둘째, 더 이상 따라갈 링크가 없다. 하위 페이지들을 수집할 수가 없다.
사람 눈에는 클릭할 링크가 보이지만 스파이더는 가 없으면 더 이상 따라가지 못한다.
플래시로 만든 링크는 검색엔진이 알 수가 없다. 스파이더의 입장에서는 HTML 어디를 봐도 더 이상 따라갈 링크가 보이지 않는다. 자바스크립트의 window.open이 보이기는 하지만 어렵다.
window.open이나 location.href는 경우의 수가 많아서 검색엔진들이 수집을 주저한다.
스파이더는 딱 여기까지만 수집하고 돌아갈 수 밖에 없다.
window.open을 따라 간다해도 그곳 또한 아무 텍스트 내용없는 플래시 뿐이고 링크는 완전히 사라진다.
색즉시공 첫 페이지에 왔던 스파이더는 sexizero라는 단어 하나만을 들고 돌아갈 수밖에 없다.

○ 스파이더를 생각한 대안 (1) 첫 번째 페이지에 키워드가 들어간 정보를 텍스트로 넣는다.
본문에 넣을 상황이 아니라면 TITLE과 META 태그라도 놓치지 않는다. 이라고만 넣어도 큰 차이가 난다.

(2) 더 따라갈 갈 링크를 로 만든다. 본문 아래쪽에 자연스럽게 텍스트 링크를 넣는다. 디자인상 만들기가 어렵다면 투명.gif와 를 이용해 연결하면 사용자에게는 전혀 노출되지 않고 검색엔진을 유도할 수 있다.

○ 스파이더에게 문을 만들어 주자 2003년 1월 6일 현재 야후!코리아의 '색즉시공' 웹페이지 검색결과를 보면 첫 번째 페이지 12번째에 등장한다. 그러나 첫 페이지가 아닌 색즉시공 섹시백일장 이라는 제목