페이지 상단으로 이동

핵심키워드

빅데이터(Big data)는 2013년 IT업계의 최고 유행어 중 하나였을만큼 이슈 아이템으로 주목 받고, 화두가 되었습니다. 그리고 그 규모와 사람들의 의식 수준 측면에서도 예전과 비교할 수 없을만큼 폭발적으로 성장하고 있습니다. 기업들이 빅데이터 기술을 본격적으로 받아들여 마케팅 툴로 활용하는 등 그 활용 분야가 넓어짐에 따라 빅데이터 시장 전망도 긍정적으로 변화하고 있으나 그 속에는 어두운 이면도 존재하고 있습니다. 그렇다면 2014년 빅데이터 시장은 또 어떤 모습으로 변화하고 성장할 것인지에 대해 영국의 유력 일간지인 의 'Big data : 4 predictions for 2014' 기사를 바탕으로 2014년 빅데이터의 의미와 시장 전망을 살펴보고자 합니다.



빅데이터란, 일반적인 데이터베이스 체계가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터로 데이터의 양, 생성 주기(실시간 생성), 형식(수치 데이터뿐 아니라 문자와 같은 비정형 데이터 포괄) 등에서 과거 데이터에 비해 규모가 크고, 형태가 다양하여 기존의 방법으로는 수집, 저장, 검색, 분석이 어려운 방대한 크기의 데이터를 의미합니다(출처: McKinsey, 2011). 기술 혁신의 관점이 아닌 사람들의 의식 측면에서 2013년의 빅데이터 시장을 돌아본다면, 비약적인 발전이 이루어진 한 해였다고 할 수 있을 것입니다. 이는 빅데이터에 대한 기업과 소비자의 관심 고조를 나타내며, 다른 어느 때보다 업계와 시장의 주목을 많이 받았다는 것을 의미합니다. 실제로 구글이나 IBM, Facebook, Twitter와 같은 기업들은 모두 빅데이터 분석 업체를 인수하였습니다. 전 CIA 직원 에드워드 스노든(Edward Snowden)에 의해 폭로된 미국 국가 안보국 기밀문서에서는 미국 정보기관들이 지난 십수 년간 소셜 미디어 사이트 프로필 등을 통해 개인 정보에 접근하여 메타 데이터의 형태로 빅데이터를 수집한 것이 드러나기도 했습니다. 이렇게 빅데이터라는 것이 부적절한 용도로 쓰인 후로, 2013년 한 때 모든 사람이 가장 논의하기 싫어하는 용어가 되기도 했습니다. 이로 인해 빅데이터에 대한 언급을 중단하도록 요구하는 수많은 분석가, 저널리스트, 독자들이 생겨나기도 했습니다. 그리고 이로 인해 빅데이터의 2014년 첫 번째 전망이 가능해집니다.


1. 2014년 마침내 사람들은 빅데이터라는 용어를 정확하게 이해하기 시작할 것이다.

그 이유는 우리가 빅데이터에 대해 이제 막 논의하고 언급하기 시작했으며, 기업들은 빅데이터의 노력에 대한 외침을 멈추지 않을 것이기 때문입니다. 이제 겨우 2014년 초반임에도 불구하고 기업의 움직임들은 매우 빠르게 나타나고 있습니다. 소셜 북마킹 네트워크(Social Bookmarking Network)인 핀터레스트(Pinterest)는 사진 인식 스타트 업인 '비주얼 그래프(Visual Graph)'를 인수했습니다. 비주얼 그래프는 클라우드 기반의 이미지 인식 플랫폼으로 98%의 정확도로 얼굴 및 사람을 인지할 뿐만 아니라, 자동차, 패션, 신체 등의 이미지도 인식하는 기술을 보유하고 있습니다. 핀터레스트는 비주얼 그래프를 활용해 자사 사용자가 올린 이미지 분류 체계를 명확히 하고, 사용자가 무엇에 핀(Pinning)하는지 등의 사용자 취향을 분석해 더 나은 알고리즘을 구축하여 광고주에게 의미 있는 데이터를 전략하겠다는 전략입니다. 미국의 리서치 전문 업체 가트너(Gartner)는 빅데이터를 '3V'로 정의하기도 했는데, 이는 데이터의 크기가 커지고(Volume), 데이터가 새로 생성되는 속도가 빠르며(Velocity), 데이터 종류가 다양하다(Variety)는 의미입니다.


* 출처 : TDWI Research,2011


대표적인 NoSQL DB 업체인 몽고 DB의 매트 어세이(Matt Asay) 부사장은 최근 리드라이트웹(ReadWriteWeb)에 쓴 칼럼에서 전통적인 비즈니스 인텔리전스와는 대조적으로 무엇이 빅데이터 문제를 불러일으키는지에 대해 "만약 당신이 관계형 데이터베이스(Relational Database)에 잘 들어맞는 거래 금전등록기 데이터의 문제를 갖고 있다면 당신은 빅데이터에 대해 생각하지 않아도 될 것이다. 그러나 만약 당신이 판매에 영향을 줄 수 있는 트렌드를 찾기 위해서 날씨, 소셜 및 기타 데이터의 배열을 위와 동일한 데이터에 저장했다면 당신은 아마 빅데이터의 문제에 봉착하게 될 것이다"라고 설명한 바 있습니다.


2. 개인화를 위해 사람들은 (자발적으로) 개인 정보의 일부 요소를 포기하기 시작할 것이다.

우리는 이미 '쿠키(Cookie)'라는 것에 대해 알고 있습니다. 쿠키를 통한 사용자 정보 수집 분석을 통해서 우리가 인터넷상에서 활동한 내역들에 대한 정보가 기록되기 때문에 온라인 광고 업체들은 이를 유용하게 활용하고 있습니다. 웹사이트에서 노출되는 광고나 아마존(Amazon) 등에서 받는 추천 상품 목록은 모두 이 쿠키가 영향을 준 것이라는 것을 알고 있습니다. 이러한 개념은 이미 우리에게 익숙할 뿐만 아니라 동의를 하고 있는 부분이기도 합니다. 다시 말해, 결국 우리는 어떠한 정보가 필요하다고 생각할 경우에는, 오히려 스스로 그러한 것들과 연관 지어지려고 하는데 거부감을 나타내지 않는다는 것입니다. 그러나 과거에는 일부 웹사이트들이 이를 악용하여 문제가 되기도 했습니다. 예를 들어, 항공사 사이트에서 고객들이 이전부터 관심을 보이고 있는 항공편의 가격을 올리는 등으로 고객들의 소비 심리를 이용하여 부정 이익을 취한 것입니다(소비자들은 항공편의 가격이 더 올라갈지도 모른다는 불안감에 티켓 구매를 결정하게 됩니다). 이러한 문제점이 야기되기는 하지만 더 많은 기업들이 빅데이터 기술에 투자하는 한, 고객들은 혜택을 받게 된다는 전제하에 협력할 것입니다. 이것은 예를 들어, 고객의 구매 가능성이 있는 상품에 대한 할인 쿠폰을 당사자 고객에게 제공함으로써 기업과 고객 모두에게 이익을 얻는 윈윈 구도를 만드는 대형 유통업체 테스코(Tesco)의 세일즈 방법론과 맥락을 같이 합니다.



테스코는 1995년 '클럽 카드(Clubcard)'를 도입하고 클럽 카드를 통해 확보한 개인 정보와 구매 데이터를 토대로 회원들 각각의 소비 행태와 취향에 맞춘 상품 할인 쿠폰을 발행하여 업계 평균(2%)다 훨씬 높은 20~50% 성장한 매출을 달성하였습니다. 고객 입장에서는 할인을 받는 것에 대해 호의적일 수밖에 없으며, 유통업체 입장에서도 고객들이 (할인 쿠폰의 유효기간이 있다면 더욱) 상품을 구매하러 재방문하기 때문에 만족하게 되는 것입니다. 이처럼 사람들은 자신에게 가장 알맞은 정보를 편리한 방법으로 얻을 수 있는 개인화(Personalization)를 위해서 개인 정보의 일부 요소를 자발적으로 포기하게 될 것입니다.


3. 서비스로서의 빅데이터(BDaaS: Big Data-as-a service)는 중요한 사업이 될 것이다

모든 사업에 있어 데이터 과학자(Data Scientist: 빅데이터에 대한 이론적 지식과 분석 기술에 대한 숙련을 바탕으로 통찰력, 전달력, 협동능력을 발휘할 수 있는 전문인력)가 반드시 요구되며 기업 측면에서의 고용이 고려되어야 한다는 분석가들의 주장에도 불구하고, 다음과 같은 이유로 좀처럼 변화하고 있지 않습니다.
첫 번째로, 기업들이 빅데이터를 다루는 업무를 하게 될 데이터 과학자를 새로이 양성하기 위해 기존 인력을 재교육하고 설명해야 하는 것에 대한 부족함이 있습니다. 두 번째로, 대다수의 기업들은 그들 기업의 데이터 분석과 해석을 위한 정규직 데이터 과학자들에게 투자할 준비가 되어 있지 않거나 필요 이유에 대해서조차 아직 인식하지 못하고 있는 경우가 많습니다. 하지만 빅데이터에서 수집될 수 있는 인사이트를 무시하는 것은 위험한 일입니다. 경쟁력 확보 측면에서 특히 그러한데, 이와 관련하여 가트너에서는 "기하급수적으로 증가하는 다양한 데이터로부터 통찰을 얻고자 하고, 그럴 필요가 있다는 것을 알고 있다. 그러나 그들 대부분은 그에 요구되는 기술과 컴퓨팅 인프라가 미비하다. 이 간극을 좁힐 방법이 바로 서비스 업체를 이용하는 것이다"라고 분석한 바 있습니다.



이로 인해 2013년 후반부터 서비스로서의 빅데이터(BDaaS: Big Data-as-a service) 공급 기업들의 흐름이 영향을 미치기 시작했습니다. BDaaS는 데이터의 저장, 분석, 해석 그리고 시각화 데이터라고 할 수 있는 전체 패키지에서부터 압축한 서비스에 이르기까지 어떤 것이든 중소기업들과 고용 계약을 맺고 진행합니다. 이러한 것들은 미래에 요구될 데이터의 접근 방법이 가능하도록 클라우드 기반 서버로의 데이터 전송에 초점이 맞춰져 있습니다.


4. 하둡(Hadoop)과 같은 오픈 소스 소프트웨어의 빅데이터 혁신 가속화

하둡(Hadoop)이란 이름은 아파치 루신(Apache Lucene)의 창시자인 더크 커팅의 아들이 가지고 놀던 노란 코끼리 봉제인형에게 지어준 이름에서 유래된 것으로, 데이터 과학에 대해 호기심 많은 사람에게는 잘 알려진 소프트웨어 작품입니다. 하둡은 기업의 방대한 양의 데이터를 저장하고 분석할 수 있도록 수많은 빅데이터 시스템에 백본(Backbone)을 제공합니다. 중요한 것은 이것이 오픈 소스라는 것입니다. 이것의 초기 구축 비용을 저렴하게 하였기 때문에 많은 기업 조직들이 그들이 수집한 데이터를 활용하지 못한 채 지나치지 않고 더 명확히 이해할 수 있도록 도와줍니다. 최근 하둡은 단순히 데이터 저장뿐만 아니라 분석 결과까지 처리하는 높은 수준으로 진화되어 있습니다.


* 출처 : Wikibon, 2012


리서치 및 분석 업체 Wikibon에 따르면, 2014년 빅데이터 시장은 168억 달러를 돌파할 것으로 전망하고 있습니다. 또한 2015년의 규모는 올해의 약 2배에 다다르는 성장률을 보이고 있습니다. 미국의 거대 언론매체인 뉴욕타임스는 'The Age of Big Data'를 언급하며 빅데이터가 그야말로 빅 이슈가 되는 시대가 도래하였음을 시사한 바 있습니다. 빅데이터 도래에 따라 개인, 산업 등의 정보 유출과 같은 거대한 사태의 발생 우려가 단점으로 지적되고 있기는 하지만 2014년에는 빅데이터의 수집∙분석을 통한 활용이 보다 적극적이고 대중화될 것은 자명한 사실입니다. 왜냐하면, 빅데이터는 그만큼 소비자의 다양하고 포괄적인 정보를 가지고 있기 때문입니다.


(자료출처: DMC리포트, '빅데이터 : 2014년 4가지 전망')