검색엔진의 순위 결정 방식

자주 애용하는 검색엔진을 이용해 아무 키워드나 검색하면, 그 즉시 검색엔진은 수백만개의 저장된 웹 페이지 중 입력한 키워드에 맞는 링크들의 리스트를 제공합니다. 이때 검색어와 가장 관련이 높은 페이지가 리스트 제일 위에 위치되는 식으로 순위가 정해집니다.

물론 이런 순위가 항상 맞는 것은 아닙니다. 관련이 별로 없는 페이지도 포함되며, 뒤로 페이지를 여러 번 넘겨야만 원하는 것을 찾는 경우도 있죠. 검색 엔진은 검색 범위를 좁히기 위해 추가적인 질문을 할 능력은 없습니다. 또한 인간처럼 자신의 판단이나 과거의 경험에 비추어 웹 사이트 순위를 결정할 수도 없죠. 인공지능 개발을 통해 시도하고 있으나 아직은 갈 길이 멉니다.

"관련성(relevancy)"은 검색엔진의 순위 결정에 가장 중요한 요인입니다. 검색엔진들은 관련성을 판단하기 위해 어떤 정해진 규칙을 따르는데, 웹 페이지의 키워드 위치와 사용빈도수가 가장 중요한 규칙입니다. 이를 간략히 위치/빈도 규칙이라고 부르겠습니다.


위치와 빈도 : 가령, 도서관에서 "신발"이란 주제의 책을 찾는다고 할 때, 아무래도 제목에 "신발"이라는 단어를 포함한 책이 가장 연관성이 높겠죠. 검색엔진 역시 마찬가지입니다. "신발"이라는 키워드로 검색을 하면 검색엔진은 웹 페이지 제목에 "신발"이란 단어가 포함된 것을 먼저 찾아 더 높은 관련성을 부여합니다.

검색엔진은 또한 키워드가 헤드라인이나 첫 단락 내 문장처럼 페이지의 상단에 나타날 때에도 높은 관련성을 부여합니다. 해당 주제와 관련 있는 페이지라면 도입부에서 그 단어를 언급할 것이라 간주하는 것이죠.

빈도수도 검색 엔진이 관련성을 결정하는 중요한 요소입니다. 검색 엔진은 웹 페이지에서 키워드가 다른 단어에 비해 얼마나 자주 사용되고 있는지 분석합니다. 빈도가 높을수록 다른 웹 페이지보다 관련성이 높은 것으로 간주합니다.


가산점과 벌칙 : 키워드의 위치와 빈도수를 확인한 뒤에는, 이 위치와 빈도수가 얼마나 타당한지 확인해야 합니다. 주요 검색엔진들은 '가산점 제도'를 운영하면서 더 높은 가산점을 얻은 웹 페이지의 순위를 올려 주거나, 혹은 '마이너스 점수'을 받은 웹 페이지의 순위를 떨어뜨리거나 등록에서 제외시키기도 합니다. 이 가산점 제도를 어떻게 운영하느냐에 따라 검색엔진에 따라 다른 검색결과가 나타나게 되죠.

하지만 기본적으로 검색엔진들은 각각 저장해 놓은(인덱스 해 놓은) 웹 페이지들의 수와 종류가 제각각 다릅니다. 즉, 어떤 검색 엔진도 완전히 동일한 웹 페이지 인덱스를 보유하고 있지 않기 때문에 검색 결과도 서로 다르게 나오는 것이죠.

많은 사이트 운영자들이 메타 태그(meta tag)를 웹 페이지 순위를 높여주는 중요한 가산점 요인으로 착각하고 있습니다. 그러나 대부분의 주요 검색엔진들은 아예 메타 태그를 읽지도 않으며, 메타 태그를 잘 꾸며 놓는다고 순위가 올라가는 경우도 거의 없습니다. 검색엔진에서 높은 순위를 차지하는 대부분의 웹 페이지들은 메타 태그가 없는 경우가 다반사입니다.

디렉터리를 관리하는 일부 혼합형 검색엔진은 자신들이 검토한 사이트에 대해 가산점을 주기도 합니다. 검토 대상이 될 자격을 갖춘 사이트라면 검토 대상이 되지 않은 사이트보다 더 관련이 있을 거라는 이유입니다.

간혹 특정 키워드에 대한 빈도수를 높이기 위해 페이지에 키워드 단어를 '스패밍'하는 경우가 있습니다. 검색엔진 순위에서 높게 뜨기 위해 페이지 내에 키워드를 (보이지 않게) 수십 수백 번 반복시키는 것이죠. 이 경우 검색엔진은 이 웹 페이지를 '스팸'으로 인식, 그 페이지에 불이익을 주거나 인덱스에서 제외시켜 버리기도 합니다. 검색엔진은 사용자 불만을 접수해 이를 처리하거나, 자체적으로 다양한 방법을 이용해 이런 무단 스팸 행위를 감시합니다.


외적인 요인들 : 요즘에는 웹 페이지의 내용보다는 외적인 요인들이 검색결과에 더 많은 영향을 끼치기도 합니다. 예를 들어, 구글과 익사이트(Excite)는 링크의 인기도를 순위결정의 한 방법으로 사용합니다. 인덱스 된 페이지 중 어떤 것이 다른 곳과 링크 되어 있는지를 확인해 링크된 곳이 많은 페이지는 순위결정에서 가산점을 주는 것이죠.

특히, 구글은 "페이지 랭크(Page Rank)"라는 새로운 개념의 검색 순위 방식을 도입해 검색 결과의 정확도를 높이고 있습니다. 페이지 랭크는 각 페이지를 연결시켜주는 링크 수에 따라 순위를 매기는 접근 방식입니다. 예를 들어 어떤 논문 페이지에, 같은 주제의 다른 논문과 비교해 볼 때, 더 많은 링크가 모여 있다고 가정해 보면, 이는 더 많은 사람들이 이 논문을 '인용'하고 있다는 것을 의미합니다. 따라서 인용되는 횟수가 많으면 많을수록 이 논문의 가치는 다른 논문보다 더 높아지는 것이죠. 이런 식으로, 어떤 페이지가 어디로 얼마만큼 링크가 되어 있는지를 추적하면 각 페이지가 어느 정도의 '중요성'을 갖고 있는지 알 수 있다는 논리입니다.

그리고 최근엔 클릭율를 측정해 검색 순위를 재조정하는 경우도 있습니다. 특정 키워드에 대한 검색결과에서 어느 웹 페이지가 사용자들의 클릭을 더 많이 얻었느냐에 따라 순위를 조정하는 것이죠. 그래서, 검색결과 상위에 등록된 페이지인데 클릭 수가 적으면 순위를 떨어뜨리고, 검색결과 순위가 낮은데 클릭 수가 많으면 순위를 올려주는 방식입니다.

어느 경우든, 키워드 스패밍처럼, 검색순위를 높이기 위해 사이트 관리자가 억지로 링크 수나 클릭 수를 늘리는 시도를 할 수 있습니다. 이에 대비해 검색엔진들은 자체적으로 인공적인 링크나 클릭 수를 감지해 내는 기술을 개발해 놓고 있습니다.