[시맨틱웹] 웹엔트로피 줄이기

1.7.웹엔트로피 줄이기

웹엔트로피인 웹쓰레기를 줄이려면 가능한 링크를 사용해야 한다.

웹도 우주의 한 부분인만큼 엔트로피 법칙의 지배를 받는다. 웹엔트로피는 웹에 작용하는 엔트로피로, 웹엔트로피가 증가한다는 말은 웹이 그만큼 쓰레기로 가득 찬다는 사실을 뜻한다. 그러므로 웹엔트로피를 줄이는 것이 우리를 위해서나 후손을 위해서 좋은 일이다. 웹엔트로피를 줄이는 방법은 많다. 가장 좋은 방법은 웹의 기본정신인 링크를 최대한 활용하는 것이다. 링크를 활용할 경우 하드디스크 공간 낭비도 줄고, 트래픽도 줄기 때문에 에너지 소비가 준다. 글을 찾는데 걸리는 시간도 줄일 수 있어 우리들의 에너지를 그만큼 덜 소비하는 셈이다.

문서나 사진 동영상을 10만 명이 링크로 연결했을 때는 10만 줄의 링크면 충분하지만 이를 모두 펌질(scrap)로 올린다면 '파일 크기x10만'이라는 엄청난 용량의 하드디스크를 소모한다. 또 링크였다면 방문객이 링크를 누르기 전까지 동영상 재생이 일어나지 않지만 펌으로 올린 경우라면 다음 쪽을 넘어가는 순간 자동으로 동영상 불러오기가 발생하면서 트래픽이 일어난다. 펌질이 많아진다면 검색과정부터 문제가 발생해 원본을 찾기 어렵고 정보 신뢰도가 떨어진다. 만약 링크로만 이루어졌다면 원본 A를 가장 먼저 올려주고, 10만 개의 링크는 후순위로 노출되었을 것이다. 용량이 적으니 보관도 쉽고 검색시간도 훨씬 빠를 수밖에 없다.

가장 중요한 것은 원저자로 링크를 몰아줄 경우 원저자의 노력을 보호하고 창작의 기회를 더 제공한다는 점이다. 10만 곳에 펌질된 문서를 100명 씩만 본다면 천만 명이 보는 셈인데, 이들이 펌질된 곳에서 내용을 보고 끝낸다. 그러나 10만 개가 링크로만 이루어졌다면 천만 명은 A문서의 저자인 '갑' 사이트를 방문했을 것이고, 이 경우 저자 '갑'은 천만 명 방문에 따른 광고 효과나 유료 판매 효과를 얻을 것이다. 그 돈은 '갑'의 생활비가 되고 더 좋은 문화 생산을 위한 경제적 바탕이 될 것이다. 즉 공개된 자료라 해도 가능한 펌질이 아닌 링크로 하는 것이 더 좋은 이유는 원 저자의 명예와 권위를 보호하고 존중할 뿐 아니라, 더 나은 창작의 밑거름을 제공하기 때문이다. 정작 A문서를 만든 사람은 '갑'인데 그 효과는 10만 곳의 펌질한 사이트가 보는 것이 펌질의 가장 큰 피해인 것이다.

그렇다고 해서 현실적으로 웹이 모두 링크로만 이루어질 수는 없다. 예를 들어 피치 못할 사정으로 A문서가 어느날 사라지는 경우 더 이상 A문서를 볼 수 없는 문제가 발생한다. 이는 후대에 문화를 전수해야 하는 과정의 결손으로 이어진다. 따라서 A문서의 여벌보관을 위해서 펌질이 필요한 경우도 있다. 때로는 링크가 아닌 펌질이 더 유용한 경우도 있다. 꼭 펌질이 원저자의 노력을 감소시키거나 그 대가를 훔치는 결과를 가져오는 것은 아니다. 하지만 어떤 경우에 링크가 필요하고 어떤 경우에 펌질이 필요한지 판단하려면 웹정신에 대한 바른 이해가 선행되어야 한다. 웹정신에 대한 이해가 선행되지 않는 사람이라면 가능한 링크를 이용하는 것이 바람직하다.

엔트로피를 줄이는 개개인의 노력이 모여 전체 효과가 나타난다.

웹엔트로피를 줄일 수 있는 방법은 그 외에도 많다. 불필요한 그림 파일과 음악 파일을 남용하지 않은 것도 웹엔트로피 감소에 참여하는 방법이다. CSS를 이용해 홈페이지 변경 때 인력 낭비를 감소시키는 것도 좋은 방법이다. 찾아보면 웹엔트로피를 감소시킬 방법이 많다. 중요한 것은 웹엔트로피 감소에 관심을 가지고 웹엔트로피 감소에 노력하는 자세다.

내가 자가용 대신 자전거를 사용하는 것이 이 세상의 엔트로피 감소에 얼마나 기여하겠냐고 무시하면 안 된다. 그 한 명이 모여 1억 명이라고 생각해보면 엄청난 양의 엔트로피 감소로 이어진다. 내가 불필요하게 사용하는 파일 하나의 크기를 무시하면 안 된다. 모든 웹문서가 한번만 펌질되어 저장되어도 결국 지구 상에 필요한 인터넷 저장장치 용량은 2배로 증가해야 하고, 100번 펌질된다면 100배가 필요하다. 1만 대로 충분할 서버가 100만 대로 늘어야 하는 것이다. 트래픽도 그에 비례해 많아지고, 검색시간도 길어질 수밖에 없다. 그러므로 개개인의 작은 노력은 결코 무시할 수 없다. 하나하나가 모인 전체로 보면 그 노력에 비례한 효과가 나타나기 때문이다.

그런 면에서 자동화처리를 강화하고 링크를 더 강화하는 시맨틱웹이 웹엔트로피 감소에 기여할 수 있는 부분은 많다. 정보의 중복생산을 막고, 검색의 효율성을 높이고, 재활용과 공유를 통해 불필요한 쓰레기 생산을 막는다. 그러므로 시맨틱웹을 활용해 적극적으로 웹엔트로피 감소에 나서야 한다. 그것이 웹이라는 자원을 효과적으로 활용하는 길이 될 것이다.

그러나 국내 포탈사이트의 '펌기능'과 같이 웹엔트로피를 증가시키는 기술 개발에 주력하고 있다. 오히려 기술적으로는 링크를 활용하는 기술이 더 손쉬운데도 서버에 부담을 주는 펌기능 위주로 개발하고 있다. '좋은 철학이 좋은 기술을 만들고 나쁜 철학이 나쁜 기술을 만든다'고 말했는데, 철학의 차이가 웹엔트로피를 증가시키는 기술을 만드느냐 감소시키는 기술을 만드느냐의 차이로 나타나고 있는 것이다. 국내 포탈 사이트 경영자나 개발자에게 좋은 철학이 있었다면 링크 기술을 먼저 만들어냈을 것이다. 그래서 철학은 기술을 만들고 기술은 문화를 만든다고 하는 것이다.

모눈(그리드) 컴퓨팅도 엔트로피 방지에 필요하다.

링크와 함께 웹엔트로피를 줄이는 방법 중 하나는 공유와 분산이며, 이에 관련된 모눈(grid, 그리드) 컴퓨팅 기술이 주목받고 있다. 모눈 컴퓨팅은 서로 다른 공간에 분산된 컴퓨터를 고속 네트워크에 연결해 상호 공유할 수 있도록 하는 기술이다. 웹이 여러 컴퓨터에 분산된 문서와 자료를 공유할 수 있게 해주었다면 모눈 기술은 네트워크에 연결된 컴퓨팅 파워나 저장장치, 주변 장치를 필요한 모든 가용 가능한 자원을 공유하는 기술이다. 이를 통해 불필요한 컴퓨터를 줄일 수 있다. 그누텔라(Gnutella), 카자(KaZaA), 이당키(eDonkey, 당나귀), 오버넷(Overnet)과 같은 분산형 P2P 기술도 모눈 컴퓨팅의 한 사례로 들 수 있다. 이들 기술은 중앙 서버가 했던 역할을 사용자들의 컴퓨터가 분산 처리하도록 함으로써 중앙서버 자체를 없앴다.

때문에 모눈 컴퓨팅은 차세대 네트워크 기술로 매우 중요한 가치를 지닌다. 이런 가치를 아는 IBM은 글로벌 그리드 포럼(GGF)을 통해 모눈 기술 표준화에 적극 참여하고 있다. 2002년 2월에는 토론토에서 열린 GGF에서 글로버스 프로젝트 팀과 함께 OGSA(Open Grid Service Architecture)를 공개하는 등 개방형 표준 개발에 앞장서고 있다.

이와는 반대로 현재 국내 포탈이나 커뮤니티 사이트는 자꾸 자사 서버에 모든 것을 집중하려고 하는데, 그보다는 회원들의 PC를 이용해 업무를 분담하는 분산형으로 나가는 것이 좋은 방향이 될 수 있다. 서버가 부담할 몫을 회원들이 일부 부담하게 된다면 서버의 부담이 크게 줄어 속도가 빨라지는 것이 분산형 시스템의 장점이다. 함께 짐을 짊어지는 것이야말로 웹엔트로피 감소의 가장 좋은 방법인 것이다.

* 연결: 시맨틱웹 - 웹2.0의 시대의 기회 (차례)