최근 전 세계적으로 빅 데이터(Big Data)가 뜨거운 이슈로 부각되고 있습니다. 가트너(Gartner), IDC 등 글로벌 ICT 리서치 업체들은 2013년 ICT 산업에 영향을 미칠 기술 요소로 빅 데이터를 선정했고, 가트너는 빅 데이터는 '21세기의 원유'라고 표현하며 그 가치에 주목하고 있습니다. 이와 같이 전세계적으로 빅 데이터에 대한 관심이 확대되면서 IDC에 따르면 세계의 빅 데이터 시장은 작년 68억 달러 규모에서 2015년에는 169억 달러 규모로 2배 이상 성장할 전망입니다. 위키본(Wikibon)은 보다 낙관적인 예측을 내놓았는데 연평균 60% 성장하여 2017년에는 534억 달러에 이를 것으로 예상했습니다.
몇 년 전만 해도 빅 데이터의 주된 화두는 인프라와 분석기술이었습니다. 어떻게 빅 데이터를 저장하고 처리할 것인가와 어떤 방식으로 분석 툴을 이용할 것인가 하는 분석 방법론에 관심의 초점이 맞추어져 있었습니다. 최근에는 그 초점이 빅 데이터를 활용하여 어떤 가치를 창출할 것인가로 이동하고 있으며, 그 중심에는 사람이 있습니다. 사람에 의한, 사람을 위한 빅 데이터가 가치를 지니게 된 것입니다. 빅 데이터가 진정한 가치를 발할 수 있도록 하는 원동력인, 사람들이 자발적으로 데이터를 모아주는 크라우드 소싱(Crowd Sourcing)의 사례를 살펴보고자 합니다.
지난 4월 15일, 미국 보스턴에서는 끔찍한 폭탄테러가 일어났습니다. 보스턴 마라톤 대회 결승점 근처에서 두 차례 연쇄 폭발이 일어나면서 3명이 사망하고 140명이 넘는 부상자가 발생한 참사였습니다. 사건이 일어난 장소가 수만 명의 관중이 모인 마라톤 대회장이었으므로 범인 검거가 쉽지 않은 상황이었지만 테러가 일어난 지 이틀 만에 미국 FBI는 테러용의자를 색출해 냈습니다. 신속한 검거의 비결은 수많은 데이터 속에서 가치를 뽑아내는 빅 데이터와 다양한 다수의 사람들이 참여하는 크라우드 소싱의 결합에 있었습니다. FBI는 사고 직후 10테라바이트(TB) 분량의 주변상황 데이터를 수집하여 용의자 추적에 나섰습니다. 10테라바이트는 영화 1만평 분량에 해당됩니다. FBI는 시민들의 협조를 받아 마라톤 전 구간 관람객들의 통화기록, 근처 상점 및 주유소, 아울렛 등에 설치된 600여 대의 CCTV 영상, 시민들이 당일 촬영한 영상과 사진, SNS 기록들을 샅샅이 수집해 분석했습니다. SNS 데이터와 CCTV, 통화기록을 디지털로 분석한 결과 결승선 근처에서 흰색 야구 모자, 밝은 색 후드 셔츠, 검은색 재킷을 입은 용의자가 사고 현장에 폭탄이 든 것으로 추정되는 가방을 놓고 가는 모습이 발견됐습니다. FBI는 모바일 통신 기록을 다시 분석해 신원 확인 범위를 좁혔고 테러용의자 신원을 일반에 공개한 지 26시간만에 체포할 수 있었습니다.
보스턴 시는 운전자의 스마트폰을 이용하여 도로노면이 파인 곳을 자동으로 감지하고 도로 관리국에 데이터를 전송하는 'Street Bump'라는 모바일 앱을 개발하여 2012년 말에 보급하였습니다. 보스턴 시는 40명에 불과한 한정된 도로관리국 직원이 수많은 도로 파손 지역을 꼼꼼히 확인하고 신속하게 유지 보수하는 것은 시간적인 측면이나 경제적인 측면에서 비효율적이라고 판단하였습니다. 따라서, 시민들이 직접 수집하는 데이터를 모아 분석하여 도로 파손을 신속하게 보수하는 방안인 '스트리트 범프' 앱을 개발하게 되었습니다. 스마트폰의 활성화로 사람이 직접 주변 환경 데이터를 수집하는 인간 센서 역할을 담당하게 된 것입니다. 즉, 스마트폰 앱이 구동되면 GPS와 센서 등이 자동으로 도로파손을 감지하는 것입니다. '스트리트 범프'를 설치한 운전자가 도로가 파인 곳을 지나가면 자동적으로 앱에서 진동을 감지하게 되고, 진동이 감지될 경우 이 데이터가 도로관리국 도로정보 수집서버로 전송되며 그 지역을 운전하는 다른 운전자들에게도 정보가 제공됩니다. 신고가 들어오면 시청에 있는 인터랙티브 지도 상에 파손 위치가 기록되고, 도로 관리국은 곧바로 도로 파손 보수를 실시하게 됩니다.
'스트리트 범프'가 시민들에게 보급되면서 막대한 양의 도로노면 데이터가 지속적으로 축적되었고, 이를 토대로 도로관리국은 빅 데이터 분석을 실시하게 되었습니다. 이 결과 신속한 도로 유지보수가 가능해지면서 차량 파손을 최소화할 수 있었고 사고방지를 위해 운전자의 안전도 확보할 수 있었습니다. 기존에는 시민들이 파손된 도로를 발견하여 신고하는데 많은 절차와 시간이 소요되어 신고 건수가 저조하기 때문에 시 당국에서 전체 도로에 대한 전수 조사를 정기적으로 실시할 수 밖에 없었고 그로 인해 많은 비용과 시간이 소모되었습니다. 그러나, 시민들이 '스트리트 범프' 앱을 스마트폰에 다운로드하여 실행하기만 하면 자동으로 데이터가 실시간으로 도로관리국으로 전송되기 시작하면서 신고의 번거로움이 사라졌습니다. 그 결과 더 많은 양의 데이터가 축적되었고 이를 통해 보스턴 시는 도로 복구에 대한 시간 및 예산 절감이 가능하게 되었습니다.
'우샤히디'는 동부 아프리카 언어인 스와힐리어로 '증언'을 의미합니다. '우샤히디'는 2008년 1월 케냐 총선 이후 발생한 폭력 사태에 대응하기 위해 만들어졌습니다. 야당이 대통령의 당선이 부정을 통해 이루어졌다고 문제를 제기하면서 유혈사태가 줄지어 발생했습니다. 정권의 통제 아래 있었던 언론들은 침묵했고 사람들은 유혈 사태가 얼마나 심각하게 일어나고 있는지 알 수 없었습니다. 케냐의 저널리스트 오리 오콜로(Ory Okolloh)는 사태를 사람들에게 알리고자 인터넷과 모바일을 통해 사건을 시시각각 제보 받아 자신의 블로그에 올리기 시작했습니다. 제보 건수가 감당할 수 없을 만큼 많아지자 이 정보들을 처리하기 위해 전세계의 IT 전문가들이 모였고, 결국 며칠 동안 개발 끝에 여러 사람의 제보를 실시간으로 모아 지도에 뿌려 보여 주는 '우샤히디'가 탄생했습니다.
이후 '우샤히디'는 오픈 소스로 공개되어 다양한 곳에서 활용되었습니다. '우샤히디' 플랫폼은 자발적 참여자들이 문자, 이메일, 보이스메일, 트위터, 유튜브, 페이스북, 스카이프 등을 활용하여 만들어 낸 데이터를 쉽게 모을 수 있도록 지원합니다. '우샤히디'가 주로 사용된 분야는 빈곤지역의 사회서비스 지도 구축, 지역의 무력분쟁에 대한 기록, 선거 부정 감시, 대형 환경재난 영향 분석, 도심지역의 범죄 추적 등입니다. 2008년에는 캐나다에서 투표 독려 사이트 제작에 활용되었고, 2010년에는 런던 지하철 파업 정보 제공, 케냐 국민 투표 모니터링, 워싱턴 대폭설 도로 제설작업 등에 사용되었습니다. 특히 '우샤히디'는 2010년 아이티 대지진 당시 현장 리포트 지도를 제공하면서 그 위력을 발휘했습니다. '우샤히디' 팀은 미국 Tufs 대학교 근처에 센터를 마련하고 자원봉사자들을 활용하여 트위터, 페이스북 등 소셜 미디어의 정보를 수집하고 이를 지도 위에 표시하도록 하였습니다. '우샤히디' 플랫폼을 기반으로 현장정보들이 실시간으로 웹 사이트에 표시되면서 데이터가 쌓이게 되고 현장의 상황을 보다 신속하고 정확하게 반영할 수 있게 되었습니다. 그리고, 구조 요청 문자 수신 시 이를 GPS 좌표로 연결하여 웹사이트에서 중계를 하였고, 이를 통한 극적인 구조가 이루어져 인명 구조에 큰 역할을 담당하였습니다.
'패치베이'는 세계 각지에 심어져 있는 다양한 센서 정보를 개방하여 공유하는 플랫폼입니다. 2008년 영국에서 시작되었으며, 공공기관, 민간기업, 개인 등이 보유하고 있는 전기, 가전, 핸드폰, 가로등, 건물의 센서로부터 제공된 에너지, 환경 데이터를 수집하여 분석합니다. '패치베이'는 개방형 플랫폼으로 누구나 '패치베이'에 축적된 정보를 가공하여 원하는 애플리케이션 형대로 정보를 만들어 내는 것이 가능합니다.
'패치베이'의 실시간 데이터는 2011년 일본 원자력발전소 폭발 사고 때에 위력을 발휘했습니다. 원전 사고가 나자 자발적 참여에 의해 등록된 센서 데이터가 '패치베이'에 의해 수집되었고, 이 데이터를 기반으로 방사능 지도를 신속하게 작성하여 재난 대응에 활용할 수 있었습니다.
지난 6월 구글은 '웨이즈'를 11억 달러에 인수했습니다. 애플, 페이스북 등과 치열한 인수경합 끝에 구글이 최종 승자가 된 것입니다. '웨이즈'는 이용자들이 자발적으로 올리는 실시간 트래픽 정보를 분석하여 최적 경로를 제공하는 내비게이션 서비스입니다. GPS 기능이 탑재된 스마트폰 사용자들이 앱을 켜 놓고 운전하면 주행 속도 등의 정보가 수집되며 경찰단속, 교통사고를 비롯한 돌발상황도 다른 운전자에게 알려줄 수 있습니다.
최근에는 토네이도가 오클라호마 주를 강타했을 때 실시간으로 상황을 중계하고 우회로를 안내하면서 더욱 주목을 받았습니다. '웨이즈'는 앱 이용자들이 지속적으로 데이터를 축적하면서 지도의 정확성을 견고히 다지고 있습니다. 국내에도 '웨이즈'와 같이 소셜 네비게이션 기능을 제공하는 '김기사' 앱이 있습니다. '김기사' 앱은 출시 2년 만에 가입자 수가 550만 명을 넘어서고, 한 달 길 안내 횟수가 3천500만 건에 달하면서 '국민 '내비'라 불리고 있습니다.
'김기사'는 시작화면인 벌집모양 메뉴가 특징적인데, 각 칸마다 자주 가는 목적지를 등록하여 손쉽게 길 안내를 받을 수 있습니다. '김기사'는 전국 어디에서나 수집되고 5분 단위로 업데이트 되는 사용자들의 데이터를 토대로 전국 교통 상황을 분석하여 가장 빠른 길을 안내하고, 도착 예정 시간을 정확히 예측할 수 있도록 하고 있습니다.
'구슬이 서 말이라도 꿰어야 보배'라는 속담이 있습니다. 아무리 많은 데이터를 모아 놓아도 활용을 제대로 못한다면 그 데이터는 아무런 가치가 없는 쓰레기 더미와 매한가지일 것입니다. 한국은 데이터 생산 대국이지만 빅 데이터 활용에 있어서는 아직 걸음마 단계로 빅 데이터 활용이 활발한 미국과 비교하면 정치영역에서는 15년, 사회적으로는 4~5년 정도 뒤쳐져 있습니다. 해외의 빅 데이터 사례를 살펴보면 평범한 데이터 더미가 가치를 지니는 빅 데이터로 탈바꿈하는 중심에는 사람이 있습니다. 또한 창조 경제의 핵심 키워드로 회자되는 단어도 바로 빅 데이터 입니다. 이를 위해서는 정부 차원의 정책적 지원이 필요하다고 할 수 있습니다. 미국 보스턴 시가 테러범 검거와 도로보수 유지 등에 빅 데이터를 활용하여 좋은 성과를 거둔 것은 정부의 빅 데이터 활용 의지와 그에 따른 실행이 뒷받침되었기 때문에 가능한 것이었습니다.
(자료출처: KT경제경영연구소, '빅 데이터와 크라우드 소싱이 만날 때')