머신러닝은 자동화된 관료주의?··· ‘설명을 요구할 권리’와 AI

“하지만 나는 죄가 없습니다.” K는 말했다. “착오가 있었습니다. 누군가가 죄가 있다는 것이 어떻게 가능하기나 합니까? 우리는 모두 서로 다를 바 없는 인간입니다.”
“맞습니다.” 목사가 말했다. “그렇지만 죄 있는 자들이 그렇게 이야기하지요.”

어딘지 ‘카프카’스러운가? 카프카의 <심판> 중 일부분이기 때문이다. <심판>은 이해할 수 없는 관료주의에 갇혀 이런저런 운명의 저주를 받고 자신에게 내려진 결정에 대해 이의를 제기할 길 없는, 한 무고한 남자의 악몽과도 같은 이야기다. 머신러닝은 자동화된 관료주의에 비유됐다. 유럽 규제 당국은 분명 머신러닝이 규제 없이 확산되면 우리 모두 K가 되는 세상이 올지도 모른다고 우려하고 있다.

1995년도 유럽 개인정보 보호 명령을 전면 개정한 것으로서 유럽인과 거래하는 모든 회사에게 적용될 GDPR은 머신러닝과 인공지능에 대해 어떤 내용을 담고 있을까? 사실 별 내용이 없다. 그래서 법학자들 사이에서는 새로운 법률하에 EU 사람들은 어떤 권리를 갖고, 유럽에서 영업하는 글로벌 회사에게 GDPR 준수는 어떤 모습이어야 할지에 대한 논쟁이 일고 있다.

논쟁의 중심은 설명조항(Recital) 71조에 한 번 등장하는 ‘설명을 요구할 권리(right to explanation)’라는 구절이다. 설명조항은 GDPR의 동반 문서로서 그 자체로 법적 강제성은 없다. 그러나, GDPR에는 정보 수집 주체가 소비자 정보를 어떻게 사용할지 소비자들에게 알려야 한다고 명시되어 있다. 통지 대상 내용에는 “자동화된 의사 결정의 존재 여부, 그리고 최소한 그러한 경우에는 관련된 논리에 대한 의미 있는 정보, 또한 정보 주체에 대한 그러한 정보 처리의 의미와 예상되는 결과” 등이 포함되어야 한다. [강조 표시는 임의로 추가]

상식적으로 해석하면 만일 컴퓨터가 인간의 개입 없이 현실에서 의사결정을 내린다면 그러한 의사결정 방식에 대해 모종의 책임이 있어야 한다는 의미다. 예를 들어, 은행의 머신러닝 모델이 고객에게 여신을 거부한다면, 또한 그러한 행위가 의미 있는 인간의 개입이 없이 이뤄진다면, 어떻게 그러한 결정을 내리게 되었는지 은행은 고객에게 설명해 주어야 할 의무가 있다고 일부 학자들은 주장한다.

뉴욕에 있는 데이터 앤 소사이어티(Data & Society) 연구소의 앤드류 셀브스트 연구원은 “사람들이 블랙박스 시스템이나 다름없는 것을 팔고 있다”고 지적했다. 그는 다음과 같이 덧붙였다. “일이 잘못되면 프로그래머들은 ‘이런 시스템은 아무도 이해하지 못한다’면서 투명성이 없는 것을 악용해 뒤로 숨는다. 궁극적으로 받아들일 수 있는 답변은 아니다. 우리에 관한 결정인데 우리가 검토할 수도 없는 방식으로 내린다면, 이를 거부하자는 것이다. 이 거부는 인간 존엄성과 인간 자율성의 표현이다.”

설명을 요구할 권리가 존재해야 한다는 강력한 주장에도 불구하고 그러한 권리가 유럽 법률하에 실제로 존재하는지는 확실하지 않다. 만일 존재한다면 자율 주행 트럭이 빠져나갈 수 있는 구멍이 있을 가능성이 높다.

AI 대상의 GDPR ‘설명을 요구할 권리’가 있는가?
지난해 발표된 기준 법률 분석에서 영국 옥스퍼드 인터넷 연구소 연구원 산드라 와터는 GDPR이 시행되면 AI가 ‘설명을 요구할 권리’에 의해 강력히 규제될 것이라는 당시 일반적이던 개념을 비판했다.

와터는 “법률 관점에서 보면 5월을 기준으로 어떤 것이 법적으로 의무화될 것인지 매우 명백하다”며 “‘설명을 요구할 권리’라는 말은 설명조항에서 한 번 언급된다. 설명조항은 법적 구속력이 없으며 따로 강제할 수 없다”고 말했다.

그녀의 설명에 따르면 설명조항의 목적은 법률 내 모호한 내용을 명확히 하기 위한 것이지만 이번 경우에는 모호함이 없다. 그녀는 “그 분석 논문을 쓴 이유는 해결해야 할 문제가 있다는 것에 대한 경각심을 불러일으키고 싶어서였다”며 자신은 법적 구속력이 있는 설명을 요구할 권리를 적극적으로 찬성한다고 밝혔다.

그러나, 와터의 반대자들은 그녀의 GDPR 해석에 동의하지 않는다. GDPR에 설명을 요구할 권리가 존재한다고 주장하는 논문을 셀브스트와 함께 공동으로 저술한 NYU 법대 연구원 줄리아 파울스는 “이 법률의 입법 의도는 매우 명확하다”고 전제하며 “[개인정보를] 언제 사용하고, 여기에 어떻게 접근하며, 생활과 삶의 기회에 개인정보가 어떻게 영향을 미칠지에 대해서 개인들에게 의미 있는 권리를 부여하는 것이 핵심”이라고 설명했다.

GDPR의 2대 핵심 원칙은 정보 처리 방식의 투명성과 책임이다. 따라서 GDPR에서 설명을 요구할 권리를 추론할 수 있다는 것이 파울스와 셀브스트의 주장이다. 그러나 점점 더 복잡해지는 AI 시스템에 ‘설명을 요구할 권리’을 구현하는 것은 기술적으로 어렵기 때문에 그러한 요건을 준수하는 것이 가능하기는 한 것인지 의문이 제기되기에 이르렀다.

‘설명을 요구할 권리’는 실제로 가능한가?
아무도 확실히 알 수 없다. 머신러닝 모델을 개발할 때 정확성과 설명 가능성이 양립할 수 없다는 것은 현재 잘 알려져 있다. 모델의 정확성이 높으면 높을수록 모델이 내리는 결정은 명백함이 떨어진다. 따라서 인간은 그러한 결정을 신뢰하기 어렵다. 많은 것이 걸려 있을 때 특히 그렇다.

전쟁터만큼 많은 것이 걸려 있는 곳은 없으므로 미 국방성의 비밀 실험실에서는 이 문제를 해결할 방법을 연구 중이다. 인터넷의 전신 APRANET의 개발자인 방위고등연구계획국(DARPA)은 2016년 ‘설명 가능한 AI’ 계획을 출범해 4년간 이 문제 해결 작업에 막대한 연구 자금을 투자했다.

DARPA의 제안요청서에는 “[AI] 시스템의 장점이 엄청나지만 그 효과가 제한적인 이유는 기계가 자신의 결정과 행동을 인간 사용자에게 설명할 수 없기 때문”이라고 나와 있다. 또한 제안요청서에는 “이 문제는 특히 국방성에게 중요하다… 앞으로 등장할 인공지능 파트너 세대를 사용자들이 이해하고 적절히 신뢰하고 효과적으로 관리하려면 설명 가능한 AI는 필수적이기 때문이다”라고도 명시돼 있다.

머신러닝은 그림이 나타내는 바를 이해하기 위해 특징을 분석한다. 데이터 패턴에 대해 알고 있는 내용을 지속해서 조정하기 때문에 결정을 내린 ‘이유’가 불분명할 수 있다.

DARPA에서 자금을 지원하는 연구는 GDPR 준수 영역에도 영향을 미칠 가능성이 높지만, 당분간 민간에서는 이와 관련은 있되 성격은 다른 우려 상황에 직면하게 된다. 즉, 의사 결정을 설명하는 행위의 결과로 보호 대상의 영업 비밀이 공개되거나 지적재산권을 위반하는 일이 발생할 수 있다. 책임과 혁신 장려 사이에 적절한 균형점을 찾는 것은 아직 해결되지 않은 문제다. 그런데도 시도해야 한다는 것이 파울스의 주장이다.

“어려우니까, 많은 경우 시스템이 복잡하니까, 라는 생각은 어떻게 실제 결과가 도출되는지 대한 설명을 회피하려는 핑계다. 이는 기술과 사회 정책을 역행하는 것”이라고 지적했다. “입증되지 않는 공공의 이익에 대한 약속 때문에 깊이 자리 잡고 매우 중요한 자율, 존엄, 사생활 등에 대한 권리를 포기하는가?”라고 반문했다.

GDPR은 AI 규제에 대해 의도적으로 모호하지만, 기본적으로 혁신을 장려하면서도 필요하다면 규제 당국이 충분히 개입할 힘을 유지하려는 듯하다. 와터는 다음과 같이 말했다. “유럽은 머신러닝 금지를 원하지 않는다. 애초의 목적은 머신러닝 금지가 아니다. 정보 수집 주체의 이익과 정보 주체의 이익 간에 균형을 유지하는 것이 총체적인 목표다.”

GDPR 설명을 요구할 권리: 의도된 모호함
지난 15년간 유럽 개인정보 보호 법률 관련 업무를 해 온, 샌프란시스코 소재 법률회사인 베너블즈(Venables) 소속 변호사 섀넌 야보스키는 GDPR의 모호함은 실수가 아닌 특징이라고 주장했다. 야보스키는 “GDPR이 여러 지점에서 구체성이 부족한 감은 분명히 있다”고 전제하며 “의도적인 측면도 있다. 기술이 발전할 여지를 남겨두기 원하기 때문”이라고 설명했다.

야보스키는 GDPR이 1995년 개인정보 보호 명령을 대체하며 옛 법률은 시대에 뒤떨어졌다고 말했다. 그동안 교훈을 얻은 유럽 입법 담당자들은 이제 특정 기술 설계 선택 사항을 없애기보다는 고급 원칙에 입각한 기술 규제를 목표로 하고 있다.

그러한 모호함으로 인해 해당 회사들은 불안함을 느낄지 모르지만, 법적으로 모호한 설명을 요구할 권리를 집행하는 것이 5월 GDPR 시행 시점에서 유럽 규제 당국의 우선순위는 결코 아니라고 야보스키는 강조했다. 그는 “인공지능과 머신러닝은 이제 초기 단계”라고 전제하고 “기술이 발전함에 따라 더욱 중요해지고 사회에 더 큰 영향을 미칠 가능성이 있다”고 덧붙였다.

GDPR 설명을 요구할 권리 집행
유럽 규제 당국은 GDPR을 집행할 작정이며 본보기로 첫 6개월에서 12개월 사이에 지독히 나쁜 행위자를 색출할 것임을 암시하고 있다. 그러나, 설명을 요구할 권리의 존재도 불확실하고 만일 설명을 요구할 권리가 존재한다면 어떤 의미인지도 불확실한 상태기 때문에 법정에서 다투기 전까지는 어디에 선이 그어질지 모른다고 봐야 한다.

와터는 “누군가가 언젠가는 고소하는 일이 발생할 것”으로 내다봤다. 시범 사례가 회원국의 법정에서 일어날 것이다. 그 회원국은 많은 국제 기업들이 유럽 본사를 두고 있는 아일랜드가 될 공산이 크다. 그녀는 “최종 판결이 유럽 법률의 최고 재판소인 유럽 사법 재판소에서 내려질 것”이라며 “그곳에서 판결을 내리고 체계의 해석 방식에 대해 발언할 것이다. 그때쯤이면 명확해질 것이다”고 덧붙였다.

dl-ciokorea@foundryco.com