구글이 매일 엑사바이트 이상 데이터를 여러 대륙에 분산된 클러스터에서 전송하는 서비스 '에핑고(Effingo)'의 세부 사항을 공개했다.
구글이 최근 호주 시드니에서 열린 ACM 연례 학술 대회 ‘시그콤 2024(Sigcomm 2024)’ 대표 세션에서 매일 1.2엑사바이트(약 1000억 기가바이트) 이상의 데이터를 효율적으로 전송할 수 있는 방법과 기술 세부 사항을 담은 논문을 발표했다. 이 데이터 복사 서비스는 ‘에핑고(Effingo)’라는 이름으로 알려졌다.
이번 논문은 총 7명의 구글 과학자들이 공동으로 작성했다. 저자들은 “WAN 대역폭은 그리 광범위하지 않으며 빛의 속도는 항상 일정하다. 이 2가지 근본적인 제약이 있기 때문에 전 세계에 분산된 시스템은 처리와 서비스가 이뤄지는 곳과 가까운 위치에서 데이터를 복사해야 한다. 이런 시스템을 소유한 대규모 조직은 끊임없이 변하는 네트워크 토폴로지, 장애 도메인에 대한 엄격한 요구 사항, 여러 경쟁 전송, 여러 종류의 할당량을 가진 소프트웨어 및 하드웨어 계층으로 인해 복잡성이 가중된다”라고 언급했다.
저자들에 따르면 에핑고는 매일 여러 대륙에 분산된 수십 개의 클러스터에서 엑사바이트가 넘는 데이터를 전송하며 10,000명 이상의 사용자에게 서비스를 제공할 수 있다. 이들은 관리형 데이터 전송을 “전 세계에 분산된 대규모 시스템의 숨은 영웅”이라고 부르면서, “전 세계에 걸친 네트워크 지연 시간을 수백 밀리초에서 대륙 내 수십 밀리초로 줄여주기 때문이다. 이를 통해 사용자는 대화형 작업의 마법을 경험할 수 있다”라고 말했다.
하지만 저자에 의하면 데이터 전송 관리 시스템의 일반적인 목표는 “데이터를 소비해야 하는 순간에 급하게 전송하지 않고 최적의 시점에 전송하는 것”이다. 저자들은 “이런 시스템은 리소스에 대한 표준 인터페이스, 즉 사용자의 요구, 예산 및 시스템 목표를 중재하는 인터페이스를 제공한다”라고 설명했다.
또한 에핑고의 차별화 지점으로는 “보고된 대규모 데이터 전송 시스템에서 흔히 볼 수 없는 요구 사항과 기능을 갖추고 있다는 점”을 꼽았다. 에핑고는 전송 시간을 최적화하는 대신 네트워크 비용을 제어하면서 원활한 대역폭을 최적화한다. 예를 들면 해저 케이블과 같은 고가의 링크 사용을 줄이기 위해 복사 구조를 최적화해 비용을 줄일 수 있다.
대표적인 네트워크 설계 요구 사항에는 한 클라이언트의 전송이 다른 클라이언트의 전송에 영향을 미치지 않도록 하는 클라이언트 격리, 두 클러스터 간의 복사가 제3의 클러스터에 의존하지 않도록 제한하는 격리 장애 도메인, 클라이언트가 명시적으로 지정하지 않은 위치에 복사를 금지하는 데이터 상주 제약, 데이터 손실이나 손상을 방지하기 위한 데이터 무결성 검사 등이 있다. 또한 데이터 종속성이 느리거나 일시적으로 사용할 수 없는 경우에도 시스템은 계속 작동해야 한다.
구글에 따르면 논문에는 이런 설계 목표를 구글이 어떻게 달성했는지에 대한 자세한 설명과 함께 에핑고의 진화 과정을 기록한 학습 세션이 담겼다. 다만 저자들은 에핑고가 여전히 진행 중이며 꾸준히 발전하고 있다는 점을 강조했다. 이들은 구글이 데이터센터 간 전송 시 CPU 사용량을 개선하고, 리소스 관리 시스템과의 통합을 개선하며, 전송을 더 빠르게 확장할 수 있도록 제어 루프를 개선할 계획이라고 밝혔다.
인포테크 리서치 그룹의 수서 자문 이사인 나빌 셰리프는 이 서비스의 가치를 높이 평가했다. 그는 “리소스와 네트워크 집약적인 사용 사례의 경우 비용과 지속 가능성에 대한 고려 사항이 있을 수 있지만, 조직이 지리 분산화의 규모와 거리를 크게 늘릴 수 있다는 것은 더 나은 사용자 경험을 제공하는 데 유용할 뿐만 아니라, 가까운 곳에 있지 않은 애플리케이션에서 데이터에 액세스할 때 발생하는 일부 제한 요소를 제거할 수 있다는 의미다”라고 말했다.
그는 “이 서비스는 비즈니스 연속성, 웹 애플리케이션의 글로벌 도달 범위 및 기타 여러 유형의 협업 분야에서 판도를 바꿀 가능성이 있다”라고 평가했다. dl-ciokorea@foundryco.com
