검색 엔진의 역할 변화 - 점차 지엽적인 서비스로...

 얼마 전 읽은 책 중에 알버트 라즐로 바라바시(Albert-Laszlo Barabasi)가 쓴 링크(LINKED) 라는 책이 있다. 무작위적 네트워크 이론을 설명하였으며, 이를 증명하기 위한 실험으로 수 많은 인터넷 웹 사이트를 표본으로 사용한다.

 

 각각의 개인이 인터넷에 글을 게시(Posting)하는 중요한 목적 중 하나는 가능한 다수의 사용자가 게시한 웹 사이트를 접속하도록 만들어 수 많은 링크들이 방문하거나 즐겨찾기에 추가함으로써 시간이 지나감에 따라 더 많은 링크를 갖게 하는 것이다.

 

 이를 위한 주요한 수단 중 하나가 검색 엔진이며, 검색 엔진에 표출되는 Hit Ratio에 따라 검색 엔진의 인지도가 달라지게 된다. 이렇게 얻은 높은 인지도를 바탕으로 잘 알려진 유명한 검색 엔진 사이트는 포털(Potal)이나 광고 게재와 같은 것으로 수익을 창출하는 것이다.

 

 마찬가지로 하루에서 수 없이 생겨나는 웹 링크(URL)들은 검색 엔진에 쉽게 노출되도록 만들기 위한 주요 키워드나 태그를 넣고, 많은 사람들이 관심을 가질 수 있는 Contents를 담으려고 노력한다.

 

 최근 특정 블로그를 게시한 후, 다수의 글을 올리고 각종 검색 엔진에서 내가 올린 글을 얼마나 잘 검색하는지 모니터링 해 보았다. 결과는 내가 블로그를 게시한 사이트와 관계된 회사의 검색 엔진과 그렇지 않은 검색 엔진에서의 검색 결과가 확연하게 다른 것을 볼 수 있다.

 

 매일 매일 무수히 생기는 웹 링크가 검색 엔진 검색 능력을 뛰어 넘는 수준이라고 판단된다. 명성으로 얻은 포털의 경우, 그 포털에 가입한 사용자 위주의 검색 노출 서비스를 하고 있는 것으로 판단된다.

 

• 관련글: 케빈 베이컨도 놀란 네트워크 과학
• 관련글: 케빈 베이컨의 6단계 이론-Small world theory

   

링크(LINKED)

알버트 라즐로 바라바시(Albert-Laszlo Barabasi)는 21세기 신개념 과학인 복잡계 네트워크 이론의 창시자이며, 본 책의 저자이다. 척도 없는 네트워크(scale-free network) 이론으로 기존 네트워크 이론에 날개를 단 혁명적 과학자로서, 그의 이론은 경제학, 사회학, 인문학, 의학 등의 학문에서 폭 넓게 환영받고 있다. 이 책의 본문 내용을 다음과 같이 간단히 소개한다.

 

[본문소개] 
이 세상의 어떤 것도 다른 것과 따로 떨어져서 발생하지 않는다. 대부분의 사건이나 현상은 복잡한 세계(complex universe)라는 퍼즐의 엄청나게 많은 다른 조각들과 연결되어 있으며, 그것들에 의해 생겨나고 또 상호작용한다. 우리는 우리 자신이 모든 것에 연결되어 있는 좁은 세상(small world)에 살고 있다는 것을 알게 되었다. 극히 상이한 학문 분야에 속한 모든 과학자들이 모든 복잡성은 엄격한 구조(architecture)를 갖고 있다는 사실을 일제히 발견하게 되면서 네트워크 개념의 중요성을 인식하게 되었다.

인터넷이 우리 생활을 지배하게 되면서 누구나 "네트워크"라는 단어를 입에 올리게 되었다. 9.11사태 이후, 테러리스트 네트워크의 치명적인 힘을 지켜보면서, 네트워크의 또 다른 의미에 익숙해지게 되었다. 하지만 일상적으로 통용되는 "네트워크" 의미 이외에도, 빠른 속도로 발전하고 있는 네트워크 과학은 극히 흥미롭고 시사점이 많다.

네트워크 안의 허브(Hub)는 분명 주목할 만한 가치가 있다. 허브는 특별하다. 허브는 전체 네트워크의 구조를 지배하며, 그 구조를 좁은 세상으로 만드는 역할을 한다. 즉 허브는 엄청나게 많은 수의 노드(Node)와 링크(Link)를 가짐으로써 구조 내의 두 노드 간의 경로를 짧게 만든다. 그 결과 지구상에서 무작위적으로 선정된 두 사람 간의 평균 거리는 6이지만, 임의의 사람과 커넥터 간의 거리는 대개 하나 내지 두 개의 링크 연쇄에 불과하다. 이와 마찬가지로, 웹상의 두 페이지 간은 평균적으로 19 클릭만큼의 거리를 갖고 있지만, 거대한 허브인 야후닷컴은 대부분의 웹페이지에서 두세 클릭만에 도달할 수 있게 한다. 허브의 시각에서 보면 세상은 매우 좁다.

구글(Google)이 관심을 끌게된 것은 '선발주자가 이점을 갖는다는 척도 없는 모델의 기본적 예측'에 어긋나는 사례였기 때문이다. 척도 없는 모델에서 가장 연결이 많은 노드는 가장 일찍 등장한 노드이다. 1997년에야 등장한 구글은 웹에서는 후발 주자였다. 구글이 등장하기 훨씬 전에 알타비스타나 잉크토미 같은 인기있는 검색엔진들이 이미 시장을 지배하고 있었기에 구글은 분명 후발주자였다. 그런데 3년도 안 돼서 구글은 가장 큰 노드가 되었을 뿐 아니라 가장 인기 있는 검색엔진이 되어 있었다. 이는 척도 없는 모델인 네트워크가 새로운 노드와 링크의 추가를 통해 끊임없이 변하는 동적인 시스템이며, 노드들이 링크를 두고 치열하게 싸우는 경쟁 시스템이기 때문이다. 즉 링크할 노드를 정함에 있어서 대상 노드의 '적합도 x 연결선 수'의 값을 비교하여 이 값이 큰, 즉 매력있는 노드를 링크할 확률이 높기 때문이다. 이는 '보즈-아인슈타인의 응축은 승자가 모든 것을 가질 수 있는 기회를 갖는다.'라는 이론으로 잘 설명된다.

 

 

[출처] 링크 (21세기를 지배하는 네트워크 과학) Linked : the new science of networks

무작위의 세계(The Random Universe)

네트워크 이론을 시작할 때 제일 먼저 언급되는 것이 오일러(Euler)의 공식이다. 노드(node)와 링크(link)를 갖는 그래프(graph)에서 각 링크를 한 번만 지나면서 전체 노드를 방문하기 위해서는 홀수개의 link를 갖는 노드가 2개 이하이어야 한다. 오일러는 이를 그래프 이론을 사용하여 증명하였다.

이후 20세기에 접어들어 다시 네트워크 이론에 활기를 넣기 시작한 2명의 수학자가 있었는데, 에르되스와 레니이다.이들은 인류 역사상 처음으로 우리의 상호연결된 세계를 이해하기 위한 근본적인 문제를 다루었으며, 그들의 해답은 무작위 네트워크 이론(Random Network Theory)의 기초가 되었다. 복잡한 그래프를 단일한 사고속에서 서술할 수 있는 해답을 제시하였는데, 노드들을 무작위로 연결하는 것이며, 네트워크를 형성하는 가장 단순한 방법은 주사위를 이용하는 것이다.

에르되스와 레니의 무작위적 세계는 평균에 의해 지배되는 세계이다. 대부분의 사람은 거의 같은 수의 아는 사람을 가지며, 대부분의 웹사이트는 거의 같은 수의 방문객을 갖게된다고 예측하게 된다. 자연스럽게 맹목적으로 링크를 여기저기 던지기 때문에 장기적으로 보면 어떤 노드도 특별대우를 받거나 배제되지 않는다. 하지만 실제 현실의 많은 네트워크들은 무작위적 네트워크 모델과 차이가 있다.