파나마 페이퍼 ‘빅데이터와 클라우드로 찾아냈다’

파나마 페이퍼가 전세계를 떠들썩하게 만들었다. 조사 내용은 둘째치고, 기술적인 부분에도 관심이 쏠렸다. 데이터가 무려 2.6테라바이트에 달하기 때문이다. 문서로는 1,150만 건이다. 어마어마한 분량이다. 언론인들은 이 방대한 문서를 어떻게 정리하고 관리해서 분석했을까?

국제탐사보도언론인협회(ICIJ: International Consortium of Investigative Journalist)는 지난 몇 년간 세계적인 언론 탐사 보도를 위해 기술 인프라를 구축했다. ICIJ는 2013년 해외로의 조세 회피와 관련된 ‘오프쇼어 리크스(Offshore leaks)’, 2014년 룩셈부르크 부유세 법안과 관련된 ‘럭스 리크스(Lux Leaks)’, 2015년 스위스은행을 이용한 부정한 현금 예탁과 관련된 ‘스위스 리크스(Swiss Leaks)’ 등 기술 ‘풀뿌리(토대)’를 마련했고, 언론 보도에 데이터 분석을 이용하는 많은 경험을 축적했다. ICIJ의 데이터와 조사 담당 부서에서 근무하는 마르 카브라는 파나마 페이퍼의 기술적 당면과제에 대해 다른 누구보다 잘 알고 있다. <컴퓨터월드(Computerwoche (Germany))>는 며칠 전, 이 스페인 언론인과 대화를 나눌 기회를 가졌다.

컴퓨터월드(이하 CW) : 파나마 페이퍼는 역대 (단일)언론 탐사 보도 가운데 가장 많은 분량의 데이터에 바탕을 두고 있다. 이메일과 PDF 문서, 이미지, 데이터베이스 세트가 2.6 테라바이트에 달한다. 어떤 방법으로 데이터를 분석하고 검색할 수 있도록 만들었는가?
마르 카브라(이하 카브라): 해외에서 누설된 정보를 바탕으로 한 4번째 탐사 보도였다. 우리는 몇 년 동안 이런 조사를 시작할 때, 그 전에 시간을 들여 확보한 데이터를 이해해야 한다는 점을 배웠다. 그래서 데이터를 처리할 방법을 파악하기 위해 몇 달 동안 다양한 형태의 데이터를 이해했다. 앞서 조사에서 이용했던 플랫폼을 이용했지만, 이 정도의 데이터를 처리할 수 있도록 플랫폼을 개선했다.

문서 일체를 호스팅 할 플랫폼이 필요하다는 점을 가장 먼저 알았다. 안타깝게도 문서의 약 1/3이 PDF나 TIF 같은 이미지 파일이었다. 이에 광학 인식으로 텍스트를 처리할 복잡한 프로세스를 준비해야 했다. 그런 후, 전세계에서 문서를 검색할 수 있도록 문서를 색인 처리해 클라우드 플랫폼에 집어넣었다.

동시에 우리는 21개 사법권의 조세 회피처를 이용한 20여만 회사에 대한 정보가 들어있는 모색 폰세카(Mossack Fonseca) 내부 데이터베이스 자료를 확보하고 있었다. 이들 데이터를 가시화할 또 다른 도구가 필요했다. 우리는 데이터베이스를 Neo4j 로 옮기기로 했다. 그리고 손쉽게 그래프를 구현할 수 있고, 기업과 수혜자, 주주, 기타 관계자의 상관관계를 확인할 수 있는 소프트웨어인 Linkurio.us로 Neo4j 데이터베이스를 처리했다. 기자들은 이 두 플랫폼을 가장 많이 활용해 2.6테라바이트의 정보를 분석했다.

CW: 자동화할 수 있었던 작업, 수동으로 처리해야 했던 작업은 무엇인가?
카브라: 자동화한 작업이 없었다. 1,150만 파일에 담긴 2.6테라바이트의 정보를 처리하기 위해 많은 시간을 투자했다는 의미다. 사용했던 플랫폼을 개선하기 위해 많은 리소스를 투입했다. ICIJ는 취재에 도움을 주는 소프트웨어에 있어, 사용자가 아주 다양하다는 점을 염두에 둔다.

또 취재에는 능숙하지만, 기술에는 서툰 기자들이 있다. 반면 암호화와 컴퓨터에 관해 정말 많은 것을 알고 있는 기술 전문가급 기자들이 있다. 심지어 프로그램을 개발할 수 있는 기자들도 있다. 이런 사용자들의 필요 사항에 부합하는 도구를 도입해 활용해야 한다.

자료 검색 플랫폼은 구글처럼 검색 창으로 검색할 수 있고, 동시에 은행 계좌, ID, 비밀번호 등 정규 표현식과 패턴 검색에 있어 복잡한 쿼리를 처리할 수 있는 플랫폼이 필요했다. Linkurio.us와 Neo4j가 여기에 해당한다.

Linkurio.us는 그래프 데이터를 아주 손쉽게 가시화할 수 있다는 장점이 있다. 누구나 다룰 수 있다. 기술에 능숙하지 못한 기자들도 점들을 클릭하면, 연결되면서 상관관계를 파악할 수 있다. 직관적이어서 아주 유용하다. 그러나 고급 사용자가 Neo4j의 언어인 Cypher를 이용해 쿼리를 할 수 있도록 Linkurio.us와 Neo4j를 통합해야 했다. ‘2단계 이내에서 이 사람과 연결된 모든 사람들’, ‘20개 이상의 회사와 관계가 있는 모든 사람들’ 같은 검색을 처리할 수 있는 방식이다. 즉 두 부류의 언론인들을 지원할 수 있는 플랫폼을 구현하는 것이 아주 중요했다. 우리는 풀타임 프로그래머를 채용해 문서(자료) 플랫폼을 개선했고, 1년 동안 자료를 처리했다.

CW: 가장 큰 어려움은 무엇이었나?
카브라: 데이터 처리다. 우리는 기본적으로 문서를 가져와, 머신이 텍스트를 체계화할 수 있는지 조사하는 아주 복잡한 ‘사슬’을 구현해야 했다. 이것이 불가능할 경우, 문서를 OCR로 인식시킨 후, 인덱스로 보낸다. 우리는 클라우드의 30~40개 머신을 이용한 병렬 프로세싱으로 이를 처리했다. 문서 대기행렬(queue)이 하나만 있었더라도, 아주 많은 시간이 걸렸을 것이다.

CW: 플랫폼을 개선했다고 언급했다. 어떤 방법으로 개선했나?
카브라: 많은 문서가 다양한 형식(Format)을 띠기 때문에 ICIJ에는 특별한 중요성이 있었던 부분이다. 예를 들어, 일부 언론인들은 국가 이름 리스트를 집어넣을 경우 문서에서 이와 관련된 리스트를 추출하는 기능을 원했다. 이에 ‘배치 검색(Batch searching)’ 기능을 개발했다. 이름이 든 스프레드시트를 집어넣으면, 몇 분 뒤 리스트를 제공하는 기능이다. 우리는 과거 조사에서는 필요 없었던 기능을 도입해 도구를 개선했다.

CW: ICIJ에서 파나파 페이퍼스의 기술적인 부분을 담당한 사람은 몇 명인가?
카브라: 언론인과 프로그래머 12명으로 구성된 작은 팀이다. 6명이 내가 책임진 데이터 및 조사 부서 소속이다. 모두 데이터 처리 업무를 책임진다. 그러나 기술적인 문제들을 전담하는 3명의 프로그래머가 있다. 프로그래머 1명은 자료의 비정형 데이터, 다른 1명은 정형 데이터, Linkurio.us, Neo5j, 데이터 분석에 초점을 맞췄다.

CW: 기술적인 관점에서 파나마 페이퍼의 다음 목표는 무엇인가?
카브라: 기사에서는 아주 큰 성과를 일궈냈다. 50개 국가의 정치인 수백 명 등 공인들의 이름을 폭로했다. 5월 초에는 모색 폰세카에 포함되지 않은 조세 회피처를 이용한 20여 만 회사의 이름을 공개할 예정이다. 우리는 이를 클라우드에 집어넣을 계획이다. 누구나 우리 웹사이트에서 이용할 수 있도록 지원하기 위해서다. 이미 ICIJ.org에서 수만 오프쇼어(해외) 회사들의 이름을 확인할 수 있는 오프쇼어 리크스(Offshore leaks)를 운영하고 있다. 여기에 파나마 페이퍼 데이터를 추가할 계획이다.

즉 5월 초에는 웹사이트에 기자, 일반 시민, 법 집행 기관, 세무 당국 등 누구나 이들 회사와 관계자를 검색할 수 있는 검색 엔진이 구현된다. 또 Neo4j와 Linkurios.us라는 백엔드 툴로 시각화를 지원할 예정이다. 수많은 사람들이 데이터베이스를 이용할 수 있다는 점에서 아주 큰 성과가 될 전망이다.

CW: 그렇게 생각하는 이유는 무엇인가
카브라: ICIJ가 그 동안 구현한 모든 것들 중 가장 성공적인 산물은 오프쇼어 리크스 데이터베이스다. (파나마 페이퍼 이전에) 웹사이트에서 가장 많이 이용하는 기능이 오프쇼어 리크스 데이터베이스다. 이 데이터베이스로 더 큰 성과를 일궈낼 수 있다고 확신한다. 오프쇼어 데이터에 관심을 갖는 사람들이 증가하고 있기 때문이다. 이 사람들이 데이터베이스를 많이 사용할 것이다. 예를 들어, 2013년 6월 오프쇼어 리크스 데이터를 공개했을 때, 세무 당국들이 이를 이용했었다. 한국 정부는 우리가 공개한 데이터를 이용해 미납 세금 수백만 달러를 징수할 수 있었다. 나는 많은 사람들이 이에 관심을 갖게 될 것으로 예상한다.

dl-ciokorea@foundryco.com