| |
| 놀고 있는 컴퓨터를 모아 최강의 인터넷 검색엔진을 만들려는 프로젝트가 시작됐다. 검색엔진의 기본은 수많은 인터넷 웹사이트에 대한 색인을 만드는 것이다. 그러나 전 세계에 흩어져 있는 웹사이트에 대한 색인을 다 만들려면 엄청난 컴퓨터 자원이 필요하다.'그루브'(Grub)라고 이름 붙여진 이 프로젝트는 자원자들의 개인용 컴퓨터를 모아서 이 일을 하겠다는 것이다. 미국의 룩스마트(LookSmart)사는 4월 셋째 주부터 그루브 프로젝트를 시작했는데 하루만에 3600만개의 웹사이트에 대한 색인을 만드는 성과를 거뒀다고 밝혔다. 프로젝트에 참여한 사람들은 그루브 프로젝트(http://www.grub.org)에서 제공하는 스크린 세이버를 다운받아 설치했는데, 컴퓨터가 다른 작업을 하지 않을 때 틈틈이 인터넷 웹사이트의 색인을 만드는 공동작업을 수행했다. 그루브 프로젝트는 며칠만에 1000명이 넘는 자원자들을 모으는데 성공했다. 4월 24일 현재 2109명의 자원자들이 참여하고 있으며 23일에만 8160만 8578개의 웹사이트에 대한 정보를 수집했다. 그루브 프로젝트 관계자들은 계획대로 자원자들이 늘어나면 몇달 만에 전세계의 100억개 인터넷 웹사이트에 대한 색인작업을 다 마칠 수 있을 것으로 기대하고 있다. 또한 매일 새로 생겨나는 웹사이트들도 그날그날 색인을 할 수 있다는 것이다. 현재 가장 빠른 인터넷 검색엔진인 구글(Google)이나 잉크토미(Inktomi)는 매일 1억5000만개의 웹사이트에 대한 색인작업을 할수 있다. 구글은 현재 전세계 웹사이트의 3분의 1에 대한 색인작업을 해두고 있다. 그루브 프로젝트는 인터넷으로 연결된 컴퓨팅 자원을 엮어 하나의 시스템인 가상의 슈퍼컴퓨터를 만들어냄으로써 어려운 문제 해결에 활용하는 '그리드 컴퓨팅'의 한 예다. 그리드 컴퓨팅은 슈퍼컴퓨터가 많이 이용되는 과학 연구에서 주로 활용되고 있다. 대표적인 것이 1999년 5월 미국 버클리대에서 시작된 '세티엣홈'(SETI@HOME) 프로젝트로, 외계에서 오는 전파를 분석하는 작업을 전세계에 흩어져 있는 개인용 컴퓨터들이 수행하고 있다. 8200만개 웹사이트 정보 수집 이밖에 2000년 10월부터 시작된 '파이트에이즈엣홈'(FightAIDS@Home) 프로젝트는 마찬가지 방법으로 개인용 컴퓨터의 여유 용량을 활용해 에이즈 치료제 개발을 위한 컴퓨터작업을 수행하고 있다. 지난해부터 시작된 '폴딩엣홈'(Folding@home) 프로젝트는 신약개발을 위해 단백질의 3차원 구조를 분석하는 연구를 같은 방법으로 하고 있다. 세티엣홈에는 현재 400만명이 참여하고 있으며 이들의 개인용 컴퓨터가 수행하는 작업시간이 매일 1000년에 이르고 있다. 그 결과 초당 52조번의 연산을 할 수 있다. 현재 가장 강력한 슈퍼컴퓨터인 일본의 '지구 시뮬레이터'는 초당 35조번의 연산을 하는데 그치고 있다. 룩스마트사는 그루브 프로젝트에 참여하는 사람들이 늘어나 세티엣홈과 같은 강력한 연산능력을 갖추게 되면 검색엔진의 개념 자체를 바꿀 수 있을 것으로 기대하고 있다. 그러나 그루브 프로젝트에 대한 회의적인 시각도 존재한다. 구글이 최강의 인터넷 검색엔진이 된 것은 색인된 웹사이트 수가 많아서가 아니라 링크돼 있는 웹사이트를 분석함으로써 최적의 검색 결과를 보여줬기 때문이라는 것이다. 그렇지만 구글 역시 그루브 프로젝트의 기본정신을 이미 일부나마 공유했다. 구글은 인터넷 검색엔진에 몇십대의 슈퍼컴퓨터를 활용한 알타비스타(AltaVista)와 달리 검색 작업을 수천대의 개인용 컴퓨터에 분산함으로써 더욱 강력한 검색 능력을 갖게 됐다. 현재 개인용 컴퓨터가 모은 인터넷 웹사이트에 대한 정보는 룩스마트사의 검색엔진인 '와이즈넛'(WiseNut)에 모여지고 있다. 그러나 색인작업이 자원자들의 컴퓨터로 이뤄졌기 때문에 축적된 데이터들은 누구나 사용할 수 있게 공개한다는 방침인 것으로 알려졌다. |
