검색 엔진의 역할 변화 - 점차 지엽적인 서비스로...

 얼마 전 읽은 책 중에 알버트 라즐로 바라바시(Albert-Laszlo Barabasi)가 쓴 링크(LINKED) 라는 책이 있다. 무작위적 네트워크 이론을 설명하였으며, 이를 증명하기 위한 실험으로 수 많은 인터넷 웹 사이트를 표본으로 사용한다.

 

 각각의 개인이 인터넷에 글을 게시(Posting)하는 중요한 목적 중 하나는 가능한 다수의 사용자가 게시한 웹 사이트를 접속하도록 만들어 수 많은 링크들이 방문하거나 즐겨찾기에 추가함으로써 시간이 지나감에 따라 더 많은 링크를 갖게 하는 것이다.

 

 이를 위한 주요한 수단 중 하나가 검색 엔진이며, 검색 엔진에 표출되는 Hit Ratio에 따라 검색 엔진의 인지도가 달라지게 된다. 이렇게 얻은 높은 인지도를 바탕으로 잘 알려진 유명한 검색 엔진 사이트는 포털(Potal)이나 광고 게재와 같은 것으로 수익을 창출하는 것이다.

 

 마찬가지로 하루에서 수 없이 생겨나는 웹 링크(URL)들은 검색 엔진에 쉽게 노출되도록 만들기 위한 주요 키워드나 태그를 넣고, 많은 사람들이 관심을 가질 수 있는 Contents를 담으려고 노력한다.

 

 최근 특정 블로그를 게시한 후, 다수의 글을 올리고 각종 검색 엔진에서 내가 올린 글을 얼마나 잘 검색하는지 모니터링 해 보았다. 결과는 내가 블로그를 게시한 사이트와 관계된 회사의 검색 엔진과 그렇지 않은 검색 엔진에서의 검색 결과가 확연하게 다른 것을 볼 수 있다.

 

 매일 매일 무수히 생기는 웹 링크가 검색 엔진 검색 능력을 뛰어 넘는 수준이라고 판단된다. 명성으로 얻은 포털의 경우, 그 포털에 가입한 사용자 위주의 검색 노출 서비스를 하고 있는 것으로 판단된다.

 

• 관련글: 케빈 베이컨도 놀란 네트워크 과학
• 관련글: 케빈 베이컨의 6단계 이론-Small world theory

   

링크(LINKED)

알버트 라즐로 바라바시(Albert-Laszlo Barabasi)는 21세기 신개념 과학인 복잡계 네트워크 이론의 창시자이며, 본 책의 저자이다. 척도 없는 네트워크(scale-free network) 이론으로 기존 네트워크 이론에 날개를 단 혁명적 과학자로서, 그의 이론은 경제학, 사회학, 인문학, 의학 등의 학문에서 폭 넓게 환영받고 있다. 이 책의 본문 내용을 다음과 같이 간단히 소개한다.

 

[본문소개] 
이 세상의 어떤 것도 다른 것과 따로 떨어져서 발생하지 않는다. 대부분의 사건이나 현상은 복잡한 세계(complex universe)라는 퍼즐의 엄청나게 많은 다른 조각들과 연결되어 있으며, 그것들에 의해 생겨나고 또 상호작용한다. 우리는 우리 자신이 모든 것에 연결되어 있는 좁은 세상(small world)에 살고 있다는 것을 알게 되었다. 극히 상이한 학문 분야에 속한 모든 과학자들이 모든 복잡성은 엄격한 구조(architecture)를 갖고 있다는 사실을 일제히 발견하게 되면서 네트워크 개념의 중요성을 인식하게 되었다.

인터넷이 우리 생활을 지배하게 되면서 누구나 "네트워크"라는 단어를 입에 올리게 되었다. 9.11사태 이후, 테러리스트 네트워크의 치명적인 힘을 지켜보면서, 네트워크의 또 다른 의미에 익숙해지게 되었다. 하지만 일상적으로 통용되는 "네트워크" 의미 이외에도, 빠른 속도로 발전하고 있는 네트워크 과학은 극히 흥미롭고 시사점이 많다.

네트워크 안의 허브(Hub)는 분명 주목할 만한 가치가 있다. 허브는 특별하다. 허브는 전체 네트워크의 구조를 지배하며, 그 구조를 좁은 세상으로 만드는 역할을 한다. 즉 허브는 엄청나게 많은 수의 노드(Node)와 링크(Link)를 가짐으로써 구조 내의 두 노드 간의 경로를 짧게 만든다. 그 결과 지구상에서 무작위적으로 선정된 두 사람 간의 평균 거리는 6이지만, 임의의 사람과 커넥터 간의 거리는 대개 하나 내지 두 개의 링크 연쇄에 불과하다. 이와 마찬가지로, 웹상의 두 페이지 간은 평균적으로 19 클릭만큼의 거리를 갖고 있지만, 거대한 허브인 야후닷컴은 대부분의 웹페이지에서 두세 클릭만에 도달할 수 있게 한다. 허브의 시각에서 보면 세상은 매우 좁다.

구글(Google)이 관심을 끌게된 것은 '선발주자가 이점을 갖는다는 척도 없는 모델의 기본적 예측'에 어긋나는 사례였기 때문이다. 척도 없는 모델에서 가장 연결이 많은 노드는 가장 일찍 등장한 노드이다. 1997년에야 등장한 구글은 웹에서는 후발 주자였다. 구글이 등장하기 훨씬 전에 알타비스타나 잉크토미 같은 인기있는 검색엔진들이 이미 시장을 지배하고 있었기에 구글은 분명 후발주자였다. 그런데 3년도 안 돼서 구글은 가장 큰 노드가 되었을 뿐 아니라 가장 인기 있는 검색엔진이 되어 있었다. 이는 척도 없는 모델인 네트워크가 새로운 노드와 링크의 추가를 통해 끊임없이 변하는 동적인 시스템이며, 노드들이 링크를 두고 치열하게 싸우는 경쟁 시스템이기 때문이다. 즉 링크할 노드를 정함에 있어서 대상 노드의 '적합도 x 연결선 수'의 값을 비교하여 이 값이 큰, 즉 매력있는 노드를 링크할 확률이 높기 때문이다. 이는 '보즈-아인슈타인의 응축은 승자가 모든 것을 가질 수 있는 기회를 갖는다.'라는 이론으로 잘 설명된다.

 

 

[출처] 링크 (21세기를 지배하는 네트워크 과학) Linked : the new science of networks