구글, 페이스북, 에릭슨과 같은 기술 업계의 거인들은 오늘날 다수의 중소 기업들이 직면한 규모 관련 문제를 과거에 겪었으며, 오늘날 그 결과물들 공유하고 있다.
“ ‘고(Go)’는 구글이 직접 자신의 문제를 해결하기 위해 제작한 프로그래밍 언어다”라고 고 언어 제작자 중 한명인 롭 파이크는 말했다.
그의 말이 사실이다. 그러나 처음과는 상황이 달라졌다. 이제는 전 세계 다른 기업들도 대규모 어플리케이션 제작을 위해 고 언어를 채택하고 있다.
얼랑(Erlang) 역시 유사한 경우다. 본래 얼랑은 스웨덴의 통신 업체 에릭슨(Ericsson)이 하드웨어 상의 대규모 통신 교환 데이터를 다루기 위해 개발한 독점적 언어였다. 그러나 이후 오픈소스화 됨에 따라 각종 대규모 애플리케이션 제작 시 활발히 채택되고 있다.
페이스북 역시 15억의 소셜 네트워크 사용자들이 매일 쏟아내는 수 천억의 API 콜을 처리하기 위해 그래프QL(GraphQL)과 빅파이프(BigPipe)를 개발한 바 있다. 오늘날 이들 기술은 오픈소스화됐으며, 콘텐츠 관리 프로젝트 드루팔(Drupal) 등에서 모바일 웹 페이지 로딩 속도 개선 목적으로 이용되고 있다.
위의 사례들엔 한 가지 공통점이 있다. 바로 인터넷, 테크놀로지 산업의 거인들이 개발한 프로그래밍 언어와 소프트웨어(대부분 대규모 운영 작업과 관련한 특수한 니즈를 충족하기 위해 개발된 것들이다)가 오픈소스화된 것들이라는 점, 또 오늘날 중소형 기업들이 일상적 작업에 사용하고 있는 것들이라는 점이다.
가트너의 리서치 디렉터 마크 드라이버는 이러한 경향에 대해 IT 업계의 낙수 효과를 보여주는 사례라고 표현했다. 그는 “어제의 최첨단 테크놀로지가 오늘에는 누구나 이용하는 표준이 되는 것이 현재의 테크놀로지 산업이다. 또한 (구글이나 페이스북 등) 대기업들이 오픈 컴퓨팅의 협력적 성격이나 인터넷을 이끄는 역학을 이해하게 됐다는 점 역시 오픈소스 생태계의 번성에 기여한 요인이라 할 수 있겠다. 다시 말해 기술을 공유함으로써, 결국 자신들이 활동할 산업의 기반이 튼튼해짐을 기업들이 깨닫게 된 것이다”라고 분석했다.
구글이 얻는 것은?
구글 등이 그저 호혜적 측면에서만 이런 일을 하는 건 아니다. 이들 대기업이 자사의 테크놀로지를 공유하는 배경에는 보다 현실적인 이유들 역시 존재한다. 예를 들어, 구글은 지난 11월 자신들의 텐서플로(TensorFlow) 인공 지능 및 머신 러닝 엔진을 오픈소스화 했다. 텐서플로는 효율인 구동을 위해 막대한 규모의 데이터를 필요로 한다.
텐서플로 테크놀로지가 시장에 배포되면서 그 이득을 본 이들도 많지만, 동시에 그 다양한 서비스를 통해 수집되는 막대한 양의 정보를 이용해 구글 역시 그 누구보다도 큰 이익을 누리고 있다.
드라이버는 “고와 같은 언어를 오픈소스 커뮤니티에 공개하는 것은 마케팅적 측면에서도 유의미한 활동이다. 이러한 프로젝트를 후원함으로써 구글은 더 뛰어난 엔지니어들을 영입할 수 있고, 그로써 혁신의 선순환을 구현해 낼 수 있다”라고 설명했다.
대규모의 사용자를 지원하는 거대 애플리케이션을 구축하는 과제는 지난 수 년 간 구글이나 페이스북 등의 인터넷 거인들이 고민해온 주제였다. 그런데 이제는 그보다 작은 규모의 기업, 스타트업들도 대규모 사용자를 지원할 수 있는 웹, 모바일 애플리케이션 개발 작업에 뛰어들고 있다. 중소 업체들의 입장에선 자신들이 현재 직면하고 있는 문제를 이미 해결해 둔 선구자들의 도움을 받는 것이다.
어콰이어(Aquia) 역시 이런 기업들 가운데 하나다. 이 기업은 드루팔 콘텐츠 관리 시스템용 기업 서비스를 제공하는 SaaS 서비스에에 ‘고’를 이용하고 있다. 어콰이어의 크리스찬 예이츠 부사장은 “고객과 모바일 기기 등에서 데이터를 수집하고 관리하는 것이 기업들의 일반적인 활동이 됐다”라고 이야기했다.
그는 “몇 년 전 만해도 데이터를 다루거나 그를 위한 소프트웨어를 개발하는 것은 대기업들만의 이야기였다. 그들은 우리가 현재 고민하는 동시성, 지연율, 퍼포먼스 등의 문제를 이미 심도 있게 다뤘고, 해결 방안을 이미 발견한 상태다”라고 덧붙였다.
어콰이어는 여러 종의 프로그래밍 언어를 실험했고 그 가운데 고가 가장 빠른 언어임을 확인했다. 또한 이는 오픈소스 언어이기도 했다. 이에 따라 어콰이어의 코드 팀이 즉각 작업에 적용하고 혁신을 시작하는 데에도 유리했다고 예이츠는 말했다.
“이처럼 시장에서 널리 채택되고, 소스 코드에 대한 가시성이 훌륭한 언어는 분명 개발자들이 더 빨리 생산성을 높일 수 있도록 도와준다. 우리는 또한 엣시(Etsy)를 비롯한 여러 인터넷 기업들의 툴을 활용해 서버를 관리하고 있다”고 예이츠는 말했다.
웹이 있기도 전에 발명된 웹 툴
80년대 중반 에릭슨이 얼랑을 개발했을 때는 월드 와이드 웹이라는 것 자체가 없던 시절이었다. 그럼에도 불구하고 얼랑은 웹 어플리케이션에 매우 이상적인 언어임이 확인 되었다고 가트너의 마크 드라이버는 말했다.
“얼랑은 대용량 데이터 전환에 적합한 언어였으며 시대를 앞서간 언어였다. 오늘날 많은 기업들이 메시지 중심의 대규모 고용량 애플리케이션을 개발하고 있으며 얼랑은 그러한 애플리케이션들이 꼭 맞는 언어다”라고 그는 설명했다.
일례로, 2014년 페이스북이 인수했으며 9억 명의 유저를 자랑하는 왓츠앱 플랫폼 역시 얼랑을 이용하고 있다.
또 다른 예는 영국의 온라인 도박 업체 베트365(Bet365)다. 베트365의 경우 피크 시간대에는 동시 접속 유저 수가 700만 명을 넘어서며 매년 트래픽이 20% 가량 증가하고 있다.
이 업체는 처음에는 자바와 .Net으로 온라인 플랫폼을 만들었지만 늘어나는 사용자 수를 감당하기엔 역부족이었다. 또한 새로운 서비스의 타임-투-마켓 문제도 발생했다. Bet365의 소프트웨어 설계자 챈드라셰카 물라파티는 얼랑이 문제 해결에 일조했다고 전했다.
“얼랑은 우리 플랫폼에 무척 이상적인 언어다. 물론 시작은 통신 회사에서 만든 것이지만 매일같이 수백만 명의 유저들을 지원해야 하는 우리 같은 회사가 직면한 문제는 통신회사의 그것과 상당히 비슷하다. 대규모 유저를 지원할 수 있어야 하고 다수의 동시 접속을 감당할 수 있으며 99.999%의 가용성을 필요로 하는 우리 회사의 웹사이트로서는 더할 나위 없는 언어다”라고 물라파티는 말했다.
인력 부족 문제는 숙제
대규모 인터넷 기반 애플리케이션 서비스를 위해 페이스북, 구글, 에릭슨과 같은 기업들이 만든 언어를 채택하는 데 있어 어려움도 물론 있다. 그 중 하나가 개발자의 부족이다.
베트365역시 같은 문제를 겪었다. 비록 얼랑이 오래 전에 만들어진 언어이긴 하지만 온라인 플랫폼에 대한 적합성이 널리 알려지기 시작한 건 최근의 일이다. 다시 말해 얼랑 개발자들을 채용하기가 쉽지 않다는 이야기이며 관련 예산도 새로 책정되어야만 했다고 물라파티는 설명했다.
하지만 그는 원격 근무가 해결의 실마리를 제공한다고 덧붙였다. 물라파티는 “매일 같이 사무실에 출근할 수 있는 개발자를 원했다면 인력 문제 해결이 쉽지 않았을 것이다. 하지만 그 부분에 대한 집착만 버리면 오히려 문제 해결은 쉬워진다. 현재 우리 회사는 다른 지역에 살고 있는 개발자들과 원격으로 일한다. 또 대학 졸업생들을 새로 채용하여 직접 교육하기도 한다”라고 말했다.
dl-ciokorea@foundryco.com
