[사이언스리뷰] 빅데이터의 핵심기술

처리·저장 분산수행 ‘하둡’이 핵심
분석 비용·시간 획기적으로 절약

21세기는 정보가 사회를 이끄는 핵심요소이다. 우리는 다양한 정보기술(IT)로 정보를 수집·처리해 디지털 데이터를 생성하고, 이를 분석해 높은 가치를 지닌 지식을 창출한다. 정보사회에서는 정보를 어떻게 처리·분석해 가치를 생성할 것인지가 가장 중요한 행위이며, 이는 미래학자인 앨빈 토플러가 그의 저서인 ‘부의 미래’에서 강조한 정보의 홍수 속에서 무용지식을 선별하고 쓸모 있는 지식을 갱신하는 것과 일맥상통한다.

임종인 고려대 정보보호대학원장·정보보호학

최근 들어 모바일, 클라우드 컴퓨팅 등 새로운 IT 패러다임의 등장으로 디지털 정보의 증가 추세가 급격히 가속화돼 디지털 정보의 데이터 총량이 제타바이트(Zettabyte=1021byte) 단위까지 확장됨에 따라 막대한 정보 가운데 쓸모 있는 지식을 선별하고 가치 있는 지식을 생산하는 능력이 더욱 강조되고 있다.

이러한 상황에서 대안으로 등장한 것이 바로 빅데이터이다. 빅데이터는 기존 데이터베이스(DB) 관리의 정보처리 패러다임으로 처리가 불가능한 대용량 데이터이자 이를 분석하고 가치를 추출하는 방법을 포괄한 개념으로 대규모 데이터를 효율적으로 처리해 효과적인 결과를 얻을 수 있다는 점에서 기업뿐 아니라 정치·경제·사회·문화·과학 등 사회 전 영역에서 주목받고 있다.

하지만 빅데이터는 실제 기술이라기보다 추상적인 아키텍처의 개념이며, 빅데이터를 분석·처리하는 핵심기술은 바로 하둡(Hadoop)이다. 하둡은 야후의 더그 커팅이 구글의 논문을 참고해 오픈소스 검색엔진인 넛치(Nutch)의 일부분으로 2005년에 개발됐다. 하둡은 대용량 데이터를 비용 대비 효율적이고 안정적으로 관리한다는 장점을 가지고 있으며, 대용량 데이터를 병렬처리·분석하는 일종의 분산시스템으로 오픈소스로서 낮은 비용으로 빅데이터 분석을 가능케 해 빅데이터의 부상을 이끌어낸 빅데이터 처리 플랫폼의 사실상 표준 기술이다.

하둡의 가장 기본적인 원리는 분산으로, 하둡을 구성하는 분산처리시스템인 맵 리듀스(MapReduce)와 분산파일시스템인 HDFS(Hadoop Distributed File System)는 각각 데이터의 처리나 저장을 분산 수행한다. 이러한 분산은 수 페타바이트(PB)에 이르는 대용량 데이터 저장에 드는 비용과 분석에 드는 시간을 획기적으로 줄이며, 기존에 슈퍼컴퓨터를 며칠씩 사용해야 했던 데이터를 일반서버에서 실시간 분석할 수 있도록 한다.

특히 최근 소셜네트워크서비스(SNS), 클라우드 등 IT 환경에서 텍스트 중심의 정형 데이터보다 고용량인 사진, 음악, 동영상 등 비정형 데이터가 증가하는 상황에서 기존의 DB관리시스템은 비정형 데이터를 처리하는 데 한계를 가지는 반면, 하둡은 이들 비정형데이터와 정형데이터를 동시에 효과적으로 처리해 새로운 가치를 가진 지식을 생성할 수 있는 장점을 가진다. 이러한 점에서 하둡은 기업에서 새로운 비즈니스 형성을 위한 소비자 분석과 실시간 데이터 처리를 수행하는 도구로서 사용이 크게 증가하고 있으며, 유전자를 분석하는 바이오 인포매틱스(Bio-Informatics), 천문과 같은 응용과학 분야와 같이 대규모 데이터를 다루는 다양한 분야에서 활발하게 도입이 이루어지고 있다.

아직까지는 하둡이 빅데이터의 이슈 하에서만 논의되고 있지만 다양한 정보가 디지털 데이터로 구축돼 사이버공간의 디지털 사회를 구축하고 있고 세상의 변화에 대한 데이터의 영향력이 커지고 있음을 고려하면 하둡은 디지털 사회로의 진화를 이끄는 핵심 기술의 하나로 자리 잡을 것이다. 이러한 이유로 우리는 하둡에 주목해야 할 필요가 있는 것이다.

임종인 고려대 정보보호대학원장·정보보호학