2014년을 앞뒀던 시점에 빅데이터 기술에 거는 기대는 작지 않았다. 기업용으로도 점차 완성도를 높여가던 하둡 기술을 비롯해 다양한 벤더에서 관
경기불안 속 빅데이터 ROI에 주목할 것
“여러 이유가 있습니다만, 그 중에서도 가장 큰 이유는 효과와 이익을 구체적으로 입증하지 못했기 때문이라고 판단합니다.”
주 대표는 먼저 개념의 오해가 있었다고 진단했다. 통찰을 이끌어내기 위한 DW 및 BI 개념이 예전부터 있었고 대다수 기업들이 나름대로 구축해 활용하고 있는 상황에서, 빅데이터를 DW의 확산된 개념으로 받아들이는 시각이 우세했다는 설명이다.
“비정형 데이터도 분석하고 있는지, 실시간성을 얼마나 확보하고 있는지를 물어보아도 그리 새로울 것 없으며 그 효과가 얼마나 될 것이냐는 반응이었습니다. 과감한 투자를 진행하기에는 효과와 이익을 실감할 수 없었던 겁니다.”
그는 업계의 책임 또한 있다며 설명을 이어갔다. “현재 IT 시장은 데이터베이스 아키텍처를 보유한 기업들이 주도하고 있습니다. 그들 입장에서는 현재 시장 주도적인 기술을 포기할 이유가 없습니다. 주요 업체에서 적극적으로 나서지 않다보니 현재의 상태에 머무는 측면이 있습니다. 물론 그를 뛰어넘어 매력적인 솔루션을 제시하지 못한 다른 벤더들의 책임도 있습니다.”
주 대표는 그러나 DW와 빅데이터는 완전히 다른 개념이라며, 그러나 올해에는 실제 효과를 거둔 성공 사례가 다수 등장할 것이라고 진단했다. 유럽을 비롯해 경기 전망이 썩 밝지 않은 가운데, 효과를 중시하는 IT 투자 경향이 뚜렷할 것이며, 이로 인해 빅데이터 투자가 오히려 증가할 것이라는 전망이다.
“고객이 IT 프로젝트를 선정함에 있어 신중하고 현명한 태도를 취할 것으로 봅니다. 바로 비즈니스에 실제 효과를 가져올 수 있느냐에 주목할 것입니다. 매출 증대, 비용 감소, 위험성 감소 등 효과가 분명하고 가시성이 확보된 분야에 투자하게 될 것입니다. 그리고 그 중 하나가 빅데이터입니다.”
주 대표는 그럴 만한 근거가 있다고 자신했다. 일례로 팁코 소프트웨어가 강조하는 ‘패스트 데이터’가 바로 ROI 측면을 보완하는 개념이라는 설명이다.
“지금 당장 발생하고 있는 이벤트 데이터를 실시간으로 분석할 수 있으면, 완전히 새로운 용도가 창출됩니다. 30초 미래를 볼 수 있다면 어떠한 일이 벌어질까요? 완전한 예측은 아닐지라도 아닐지라도 높은 확률의 경향성 정도만 예측할 수 있다면 매출, 비용, 위험 감지 측면에서 획기적인 비즈니스 모델이 구축할 수 있게 됩니다.”
동의할 수 있다. 예측의 가치와 중요성을 부정할 사람이 있을까? 그러나 실시간 분석을 강조하는 업체는 한두 곳이 아니다. 오히려 인메모리 기술과 솔루션을 보유한 벤더치고 이를 강조하지 않는 기업이 드물다.
“저희 생각은 다릅니다. 실시간 분석을 구현하기 위해서는 몇 가지 요소가 필요합니다. 그 중 하나가 인메모리 기술일 뿐입니다.”
그는 인메모리 기술과 함께 CEP(Complex Event Processing) 기술이 필요하다고 강조했다. 메모리 기반에서 발생하는 데이터 이벤트들을 이벤트 서버라는 개념으로 모아놓고 패턴을 찾거나 시계열성 통계학적 분석을 통해 예측을 가능케 하는 기술이라는 설명이다. 이 때 중요한 것은 단순한 룰엔진이 아닌, 복합적인 룰을 모두 처리할 수 있어야 하는 점이라고 그는 덧붙였다.
“시각화 기술도 빼놓을 수 없습니다. 시각적으로 봐서 다를 경우, 왜 다른지 파고 들어가면 원인이 나오곤 합니다. 실 사용자에게 직관성을 부여해주는 요소입니다. 팁코 소프트웨어는 이와 관련해 스폿파이어라는 최상급 셀프서비스 솔루션을 보유하고 있습니다.”
“패스트 데이터 분석 시스템을 구축을 위한 세가지 핵심 기술은 인메모리 데이터 그리드 기술 (IMDG), 복잡한 이벤트 처리 기슬 (CEP), 시각적 분석 기술 (Visual Analytics) 이며, 팁코는 이 세가지 핵심 기술을 선도하고 있고 실질적인 구축 사례를 확보하고 있는 유일한 업체라고 할 수 있습니다.”
주 대표는 시장에서 이미 반응이 나타나고 있다고 설명을 이어갔다. 특히 금융, 통신 업계에서 관심이 두드러진다고 그는 전했다.
“실시간 데이터 기반해 캠페인을 진행할 경우 기존 마케팅 기법과 비교해 10배 이상의 응답률이 나온 카드사 사례가 있었습니다. 해당 기업은 이러한 결과에 고무돼 이미 내년 예산에 반영한 상태입니다. 경쟁사에서도 소식을 듣고 실시간 이벤트 기반의 마케팅에 대해 문의해오고 있습니다.”
그는 실시간 정보에 맞춰 소비자에게 실시간성 요금제를 제안하려는 통신 기업들, 실시간 사기 방지 솔루션을 구축하려는 결제 기업들이 큰 관심을 보이고 있다며, 팁코 소프트웨어 내부적으로도 패스트 데이터 분야 매출을 올해 대비 100% 이상의 매출 증가를 예상하고 있다고 덧붙였다.
기술의 한계가 없어지는 시대
한편 주 대표는 패스트 데이터 분석이 의미하는 바에도 주목할 만 하다고 강조했다. 바로 ‘기술의 한계’가 없어지는 현상을 시사한다는 것이다.
“많은 이들이 빅데이터 계획의 성공 요소로 데이터 과학자를 이야기합니다. 현실적으로 맞는 말이지만 저는 조금 생각이 다릅니다. 비즈니스 측면에서 가장 많은 노하우와 배경 지식을 가진 이들은 현업입니다. 그 어떤 전문가도 매일 직접 해당 업무를 하는 현업을 따라갈 수 없습니다. 빅데이터를 이상적으로 활용하려면 현업이 생각한 바를 그대로 구현할 수 있어야 합니다.”
그는 과거에는 현업들의 아이디어를 구현하기에 기술적인 제약이 너무도 컸다며, 현업이 바라는 것은 IT 전문가들에게 비현실적인 요구였기에 중간에서 절충하는 이들이 필요했던 것이라고 설명했다.
“하지만 앞으로는 달라질 것입니다. 실시간 분석 또한 과거에는 기술력, 비용 문제로 도저히 구현할 수 없었던 기능입니다. 그러나 기술의 발전으로 인해 기술로 인한 제한이 사라지고 있습니다. 현업의 아이디어를 그대로 구현할 수 있는 시대가 오고 있습니다. 실사용자의 생각을 그대로 구현할 수 있게 되면서 빅데이터 시장이 활짝 열릴 것으로 봅니다.”
주 대표는 마지막으로 이러한 시대가 빠르고 열리고 있는 점을 감안해 CIO를 비롯한 IT 전문가들이 기술과 아키텍처를 준비할 필요성이 있다고 조언했다.
“빅데이터 계획은 흔히 단계적 접근법을 취하며, 그게 대부분 맞는 방법이기도 합니다. 그러나 단계적으로 진행할지라도 아키텍처와 기술을 큰 그림으로 구상해야 한다는 점을 말씀 드리고 싶습니다. 그래야 비용은 물론, 교육과 문화 측면에서도 이중 투자를 피할 수 있습니다. 아마 내년은 빅데이터 준비, 그리고 효과 측면에서 기업별 성적표가 뚜렷이 갈릴 가능성이 큽니다. 저는 그렇게 봅니다.”
dl-ciokorea@foundryco.com
