2007년 7월, 네이버의 카페, 블로그 검색결과에는 작은 변화가 있었습니다. 혹시 눈치채셨는지요? 네이버 통합검색 블로그, 카페 검색결과에 중복결과를 제외할 것인지, 포함할 것인지 선택할 수 있는 기능이 추가되었습니다.

통합검색의 기본 설정은 ‘중복결과 제외’ 입니다.
‘중복결과 포함’을 선택하면 중복문서로 판독된 검색결과도 함께 노출되게 됩니다.
중복결과를 제외하려면 검색결과에 중복되는 내용이 있는지 없는지를 살필 수 있는 일종의 ‘여과장치’가 필요하겠지요? 네이버 검색결과에서 중복 문서를 찾아내 검색에 반영되지 않도록 작용하는 시스템을 ‘복사문서판독시스템’이라고 합니다. 2007년 초부터 네이버는 기존의 시스템을 좀더 강력하게 개선한 복사문서판독시스템을 새롭게 개발해 검색결과에 적용 해오고 있습니다.

네이버의 복사문서판독시스템은 게시물 간 복사 여부를 판단하여 원본인 확률이 높은 게시물을 검색에 노출합니다. 인터넷은 게시물을 쉽게 제작, 배포가 가능하다는 장점이 있지만, 동시에 타인의 게시물을 허락을 구하지 않고도 쉽게 복사하거나 수정할 수 있습니다. 이 때문에 네이버에서는 공들여 게시물을 생산한 원작자의 권리를 검색에 적용하는 문제가 큰 고민으로 자리잡게 되었습니다. 그리고 그 고민의 결과 중 하나가 바로 ‘복사문서판독시스템’입니다.

복사문서판독시스템에 대해서 궁금한 몇 가지에 대해 살펴볼까요?

1) 복사문서판독시스템이란 무엇인가요?
- 카페, 블로그, 언론사 뉴스 문서의 복사유무와 그 정도를 계산하여, 중복문서는 통합 검색결과에서 제외함으로써 검색 서비스의 품질을 개선하는데 사용하는 시스템입니다. 이를 통해 ‘스크랩’ 기능을 통해 옮긴 문서뿐만 아니라, 복사(ctrl+C,V)해서 가져간 문서도 중복문서로 판독되어 검색에 노출되지 않게 됩니다.


복사문서판독시스템의 원리를 개략적으로 설명한 그림입니다.
카페, 블로그, 뉴스의 문서의 복사정도를 판독해, 복사된 문서라 판명된 문서는 검색에서 반영하지 않고 있습니다.
2) 네이버 복사문서판독시스템의 가장 큰 특징은 무엇인가요?
- 기존 시스템과는 달리 하나의 문서를 의미 있는 단락단위로 나누어서 복사유무를 판독하기 때문에, 100% 똑같이 일치하는 문서뿐만 아니라 본문 일부가 중복되는 문서까지 알 수 있다는 점입니다.
또한, 블로그-블로그, 카페-카페 등 같은 콜렉션 내의 문서 이외에도 블로그-카페, 블로그-뉴스 등 다른 영역에서 복사한 문서까지도 알 수 있기 때문에 통합검색 전체적으로 더 나은 검색결과를 제공할 수 있습니다.

3) 제 경우는 주요 뉴스를 스크랩 해, 제 생각을 블로그에 옮기고 있는데, 이러한 경우도 중복문서로 판독되나요?
- 흔히 블로그를 운영하시다가 다른 사람이 작성한 문서의 일부를 발췌하고(영화정보, 드라마정보) 자신의 감상이나 의견을 덧붙이기도 합니다. 사실, 일상생활에서 대화를 할 때 뉴스나 다른 사람의 글, 혹은 말을 자주 인용하는 것처럼 온라인 상에서도 다른 문서를 일부 발췌하고 자신의 의견을 덧붙인 문서가 아주 많습니다.
이런 경우, 네이버 복사문서판독시스템에서는 문서의 복사 정도를 계산해 그 정도가 ‘인용’의 수준을 넘어서는 경우는 중복문서로 판단하고 있습니다.




뉴스의 경우에는 ‘블로그/카페 담기’ 기능을,
블로그 카페의 경우는 ‘이 포스트를 내 블로그/카페에 담기’ 기능을 이용해 주세요.

4) 동일한 여러 문서가 있을 경우 어떤 문서가 원본으로 판독되나요?
게시물이 최초로 작성된 시간 등을 기준으로 원본 문서를 추정해, 이를 기본적으로 노출하게 됩니다. 중복문서 판독시스템은 원본을 100% 판독할 수 있는 시스템은 아닙니다. 다만, 원본일 확률이 높은 문서를 추정하여 이를 검색에 보여주고 있습니다.

참고로, 네이버에서는 저작자가 본인의 허락을 구하지 않고 무단으로 퍼간 글에 대한 검색제외, 게시 중단을 요청하는 경우 이를 서비스에 반영하고 있습니다. 지난 스토리에서 소개된 바 있는 게시중단요청 서비스나 고객센터를 적극 활용해주시기 부탁드립니다. ^^

네이버는 카페, 블로그, 뉴스 뿐만 아니라 웹문서, 전문자료 등으로 그 대상을 점차 늘려나갈 계획하고 있습니다. 또한 향후, 판독을 더 정교하게 할 수 있도록 기술적인 장치들도 지속적으로 추가하고 있습니다.

네이버 복사문서판독시스템은 다양한 검색결과를 보여줄 수 있는 하나의 장치이지만, 더 나아가서는 이용자들의 디지털 자산이 더욱 존중되는 환경을 위한 네이버의 노력입니다. 네이버는 이용자들이 직접 작성한 원본글이 검색에서 더 잘 보여질 수 있고, 다른 이용자는 이를 정당한 방법으로 인용하는 환경이 구축된다면, 온라인에서 더욱 양질의 콘텐츠를 많이 접할 수 있을 것이라 생각합니다. 또한 궁극적으로 이런 환경이 조성되어야 네이버 검색도 더욱 발전할 수 있을 것이라 믿고 있습니다.


네이버 스마트에디터에서는 내 포스트를 어디까지 공개할지, 스크랩은 어떻게 허용할지 등
나의 디지털 자산을 어떻게 활용할지를 설정할 수 있는 기능을 제공하고 있습니다.
이를 적절히 활용해 보는 것은 어떨까요?

이용자분들의 디지털 자산이 ‘검색’과 결합해 더욱 귀중하게 유통될 수 있는 온라인 환경. 네이버 검색이 더욱 많이 고민하고 앞장서겠습니다.

감사합니다.

“블로그에는 ‘뉴스 펌’이 많은데, 유사도 비교를 통해 퍼간 글에 대한 뉴스 가중치를 부여하고, 뉴스 스크랩은 검색에서 배제하며, 원본 작성자가 상위에 랭크되는 패턴을 마련할 것”이라고 하였습니다.
지금 과도기적 상황인지는 몰라도 직접 컨텐츠를 작성하고 있는 다수의 블로거들이 네이버 검색에서 하위로 밀려나는 현상을 경험하고 있습니다.
저 또한 비슷한 실정이구요...
제가 블로그에 올리는 글의 90% 이상은 직접 컨텐츠를 작성하는 것인데, 복사문서판독시스템이 적용된 후로 기존 상위에 노출되던 검색결과가 하위로 밀려난 것을 볼 수 있습니다. (당연히 방문 트래픽도 상당히 줄었지요)
앞으로 점점 개선될것을 기대해보며...

 

 

출처 : http://blog.daum.net/toginara/14028793