‘관찰가능성’을 오픈소스화하고 구성 가능하게 만들어낸 그라파나(Grafana)의 프로젝트가 어느덧 10년 차에 접어들었다. 이 오픈소스 프로젝트는 지금도 개발자의 삶을 점점 더 간결화하고 있다.
관찰가능성 분야는 이미 대규모 시장이다. 또 전문 플랫폼 및 사이트 안정성 엔지니어링 분야에서 ‘직접 만들고 실행’하는 분야로 변화했다. 그라파나의 오픈소스 여정이 시작된 지 10년 전 이래, 이 프로젝트는 개발자들에게 관찰가능성의 문턱을 크게 낮췄다.
이제 그라파나는 전성기를 맞이하려는 양상이다. 그라파나의 창업자인 토켈 외데고르(Torkel Ödegaard )가 10년 전 서비스의 동작 및 성능을 시각화하기 위한 오픈소스 프로젝트를 처음 개시한 시점에 기업들은 마이크로서비스 기반 아키텍처로 인해 발생한 이동 요소의 확산 문제를 해결하기 위한 방법을 모색하고 있었다. 2006년에 아마존 CTO인 워너 보겔스가 “직접 만들어라, 그리고 직접 실행하라”라고 선언했던 것은 새로운 시대의 여명이었다.
신났을까?가? 물론이다. 복잡했을까? 물론 그렇다.
지속적 제공과 마이크로 서비스가 이 방정식의 ‘만들기’ 부분을 극적으로 가속화했다. 그러나, ‘실행’ 부분은 생산 환경에서 서비스의 문제를 해결하고 유지 관리하는 방법에 대한 각종 복잡한 질문을 낳았다. 보겔스는 2008년 유명한 ‘데스스타’ 도해로 설명했는데, 그의 간결한 문구는 실제로 이것이 얼마나 복잡한지를 얼버무리고 있었다.
그라파나는 이 데스스타 상황을 해결하기 위한 방법으로 등장했고, 진화를 시작한 지 10년이 지난 지금, 그라파나는 진화를 더욱 가화하고 있다.
새로운 오픈소스 프로젝트의 탄생
외데고르는 마이크로서비스와 지속적 제공과 씨름하던 이베이 스웨덴의 엔지니어이자 건축가였다. 실행 중인 시스템을 관찰하려는 그의 시도는 프로메테우스 이전의 기본 시계열 데이터베이스인 그래파이트(Graphite)로 이어졌다. 이는 내장형이며 놀라울 정도로 풍부한 그래프 및 쿼리 기능을 갖고 있었다.
스탯D 및 기타 메트릭 프레임워크와 같은 툴을 사용하면서 외데고르는 그래파이트에 메트릭을 그래프로 전송하는 것이 얼마나 쉬운지에 놀랐다. 그것은 스케일아웃 환경에서 서비스를 효과적으로 모니터링할 수 있는 새로운 놀이터였다.
외데고르는 “애플리케이션과 서비스가 실시간으로 실현되는 것을 보는 것이 그저 좋았다. 서비스 동작 및 성능뿐만 아니라 사용자 동작 메트릭을 시각화하고 변경사항이 출시될 때 실시간으로 볼 수 있는 것, 그리고 시간이 지남에 따라 이러한 메트릭이 어떻게 영향을 받는지 확인할 수 있다는 것은 나에게 정말 혁신적인 일이었다”라고 말했다.
하지만 오픈소스 프로젝트의 제작자들이 흔히 겪는 것처럼 외데고르는 벽에 부딪혔다. 그래파이트에는 사용성이라는 큰 문제가 있었다. 실제 쿼리, 그래프 및 대시보드를 만드는 작업은 매우 복잡했다. 또한 좋지 않았다. 그래프가 대화형이 아니었기 때문이다.
예를 들어, 간단히 확대할 영역을 표시할 수가 없었다. 그러나 얼마 지나지 않아 외데고르의 이베이팀은 엘라스틱서치에 저장된 로그를 보고 검색하기 위한 새로운 오픈소스 툴인 키바나를 사용하기 시작했다. 외데고르는 키바나가 중앙집중식 로그 시각화 및 애널리틱스에 대한 판도를 바꿨다고 말했다.
이 두 가지 툴의 기능과 한계 사이를 오가며 그는 영감을 얻었다. 키바나가 그래파이트를 쿼리하고 시계열 메트릭을 시각화 할 수 있다면? 그것은 흥미로운 생각이었지만, 쉬운 해법은 없었다. 키바나는 데이터 소스로서 엘라스틱서치에 완전히 집중시켰으며 프로젝트 유지 관리자는 그래파이트와 같은 다른 데이터 소스를 원하지 않았던 것이다.
이것이 외데고르의 동기였다.
2013년 12월 5일, 그는 그래파이트 쿼리에서 나오는 데이터를 시각화해서 그래프 시각화를 실행하기 위해 키바나의 비트를 수정하기 시작했다. 외데고르는 “솔직히 이 열정 가득한 프로젝트에 대해 거의 쉼 없이 몇 주를 쏟아부었다. 시간 속에서 길을 잃었다. 먹거나, 마시거나, 잠을 잔 기억이 없다”라고 말했다.
그는 2014년 1월에 그라파나 v1을 출시했다. 깔끔하고 보기 좋은 UI, 빠르고 기능이 풍부한 그래프 기능, 쉬운 편집 및 쿼리 작성 UI, 대시보드를 보다 일반적이고 재사용 가능한 대시보드를 만들기 위한 대시보드 템플릿 변수가 추가됐다. 다른 사용자들이 원할 것이라고 그가 생각했던 것들도 더해졌다.
그의 생각은 적중했다.
프로메테우스에서 모든 인프라 데이터로
그라파나는 시계열 데이터로 작업하는 개발자 및 플랫폼 팀뿐 아니라 개발자들에게 바로 히트상품이 되었다. 그것은 빠르게 프로메테우스 모니터링 데이터를 위한 사실상의 시각화 엔진이 되었다.
훌륭한 시작이지만, 이 기술은 더 훌륭했다. 실로 엄청나게 성공한 가장 큰 이유는 개방형 아키텍처 및 플러그인 모델 덕분이었다. 이 모델을 통해 개발자는 단일 데이터 소스로 제한되거나 독점적인 관찰가능성 솔루션에 갇히지 않고도 서로 다른 모든 데이터를 쉽게 연결하고 시각화할 수 있었다.
외데고르는 이것을 그라파나의 ‘빅 텐트’ 철학이라고 설명했다. 그는 오늘날에도 해당 프로젝트를 이끌고 있다.
그라파나를 다중 데이터 소스로 만들기로 한 이 결정은 사용자가 데이터를 단일 솔루션으로 가져오도록 강요하는 독점 업체가 지배하는 모니터링 업계의 모델을 뒤집었다. 그라파나 커뮤니티는 이 플러그인 모델을 활용하여 인기 있는 거의 모든 데이터 스토어를 캡처하는 150개의 데이터 소스 플러그를 생성하여 사용자가 단일 오픈소스 툴 내에서 인프라 데이터를 쿼리하고 각 데이터 소스에 대한 네이티브 쿼리 언어를 그라파나 환경으로 가져올 수 있도록 했다.
이러한 데이터 통합은 개발자들에게 새로운 쿼리 언어를 배우도록 강요하지 않는다. 그리고 이후 개발자들에게 훨씬 매끄러운 기법이 추가됐다. 한 가지 방법은 ‘탭 헬(tab hell)’, 즉 생산 문제의 근본 원인을 추적하고 수많은 데이터 소스 및 모니터링 공급업체에 로그인해야 할 때 발생하는 컨텍스트 전환이다. 그라파나의 접근법은 개발자들을 이 지옥에서 해방시켰다. 매우 기분 좋은 구원이었다.
이후 그라파나는 점차 로그, 추적 및 메트릭과 같은 관찰가능성의 ‘3가지 축’을 통합하기 위한 업계의 기본이 되어 갔다. 수년간 그라파나는 로그(로키), 트레이스(그라파나 템포) 및 메트릭(미미르)에 대해 확장 가능한 백엔드를 점진적으로 도입하여 ‘LGTM’ 스택을 만들었다. 이 과정에서 그라파나 덕분에 개발자들은 이러한 관찰가능성 데이터 소스를 위한 백엔드를 구축하고 확장하는 방법을 이해할 필요가 희박해졌다.
대부분의 문제에서 완벽한 가시성을 얻으려면 3가지 원격 측정 유형이 모두 필요하다. 예를 들어, 메트릭과 로그만 있는 경우 왜 잘못되었는지와 무엇이 잘못된 것인지를 알 수 있지만, 데이터베이스 문제인 경우에도 오류가 발생한 지점을 확인하려면 여전히 추적이 필요하다. 이러한 모든 원격 측정 유형을 하나의 뷰에서 쿼리하고 연관성을 보여줄 수 있게 되면서 그라파나는 개발자의 두뇌 부하를 더욱 감소시켰다.
2,000만 사용자를 넘어선 이후
IDC에 따르면 관찰가능성 시장은 2025년이면 90억 달러에 이를 것으로 보인다. 그라파나는 창립 10주년을 맞아 전 세계 개발자 커뮤니티에서 사용자 2,000만 명을 돌파했다. 오늘날 그라파나의 사용 사례는 애플리케이션 및 인프라 모니터링을 훨씬 능가한다. 그라파나는 시각화 기능과 상이한 데이터 스토어 통합의 단순화로 인해 수많은 학생 프로젝트, 비디오 게임에 채택됐으며, 그리고 최근에는 스페이스 X 제어 센터에도 사용됐다.
그라파나의 인기와 함께, 외데고르의 회사이자 그라파나의 주요 기업 후원자인 그라파나 랩은 거의 모든 클라우드 하이퍼스케일러가 구애하는 상황을 만끽하고 있다. 그라파나 랩은 AWS, 마이크로소프트 애저, 텐센트, 알리바바 및 구글 클라우드와 긴밀한 관계를 맺고 있으며, 이들은 모두 공식 파트너십을 통해 직접 그라파나 제품을 보유하고 있다.
사실 AWS가 최초였으며 그라파나도 AWS의 공이 크다는 것을 인정한다. 몇 년 전 AWS와 파트너십을 구축한 이후 AWS 고객이 AWS 마켓플레이스를 통해 그라파나 클라우드 LGTM 스택 전체를 사용하여 인프라에서 더 많은 것을 실행할 수 있도록 확장됐다.
외데고르는 “관찰가능성에 대한 아이디어가 폭발적으로 증가한 것은 단순한 모니터링이나 애플리케이션 성능을 넘어서는 수준으로 마침내 말하기 때문이다. 운영의 현재 상태를 이해하는 것이다. 그것은 통합적 개념이다”라고 말했다.
이번 주 스웨덴의 그라파나콘에서 외데고르와 팀은 관찰가능성 데이터를 시각화하기 위해 개발자 경험을 계속해서 업그레이드할 수 있는 새로운 그라파나 10 기능을 많이 선보일 것이 확실시된다. 그것이 외데고르와 팽창하고 있는 그라파나 커뮤니티가 정체될 조짐도 없이 10년 동안 해온 일이기도 하다.
* Matt Asay는 몽고DB의 개발자 관계 업무를 담당하고 있다. 그러나 본 글은 몽고DB의 입장이 아니다. dl-ciokorea@foundryco.com
