김진철의 How-to-Big Data | 빅데이터와 인공지능 (3)

업그레이드될 LHC 가속기를 고광도 LHC(High-Luminosity LHC; HL-LHC), 또는 슈퍼 LHC(Super-LHC)라고 부른다. HL-LHC로 LHC 가속기가 업그레이드되면 검출기에서 발생하는 데이터의 양이 기하급수적으로 증가하게 되는데, 2019년에는 2016년에 생성된 데이터의 4배에 이르는 293PB, 2028년에는 2016년에 생성된 데이터의 52배에 이르는 3.8EB에 이를 것으로 추정된다. 이렇게 많은 데이터를 추정하기 위해 현재 LHC의 네 개의 검출기 시스템에 쓰이고 있는 이벤트 데이터 가공 자동화 시스템과 소프트웨어를 전면적으로 개선하는 작업이 현재 진행되고 있다.



현재 데이터보다 수십 배 이상 쏟아져 나오는 데이터를 놓치지 않고 처리하여 중요한 물리학적 단서들을 포착하기 위해 이벤트 데이터를 현재보다 정밀하고 빠르게 분석, 가공하는 기술이 필요하다. 이를 위해 LHC 연구자들은 최근 주목을 받는 딥러닝 기술을 활용해서 보다 더 정밀하고 빠르게 이벤트 데이터를 분석할 수 있는 다양한 방법과 분석 기법에 대한 연구결과를 발표하고 있다.

최근 딥러닝을 이용해 LHC 데이터를 분석한 결과 중 많은 관심을 모았던 것은 딥러닝을 이용해 힉스 보존이 생성되는 이벤트와 힉스 보존 이벤트와 같은 입자들을 생성하지만 힉스 보존 때문에 생기는 것이 아닌 다른 배경 이벤트들을 구분하는 이벤트 분류기를 만드는 데에 딥러닝 기술을 적용한 연구 결과이다.

어바인 소재 캘리포니아 주립대(University of California, Irvine)의 피터 사도프스키(Peter Sadowski)와 피에르 발디(Pierre Baldi) 교수, 줄리안 콜라도(Julian Collado), 다니엘 화이트슨(Daniel Whiteson)은 2014년 고에너지 물리학에서의 머신러닝 응용을 논의하는 학술회의인 HEPML 2014에서 딥러닝을 이용해 힉스 보존을 생성하는 이벤트와 그 외 배경 이벤트를 구분하는 분류기(classifier) 모델을 딥러닝으로 만들어 그 성능이 기존의 분류기보다 더 높아지는 것을 보였다[2-6].

피터 사도프스키와 공동 연구진은 물리학적으로 정의된 21개의 저수준(low-level) 자질(feature) 벡터와 7개의 고수준(high-level) 자질(feature) 벡터를 이용해 힉스 입자 이벤트와 그 외 이벤트를 분류하는 딥러닝 모델을 만들고, Pythia와 같은 이벤트 시뮬레이션 소프트웨어를 통해 메타데이터가 붙여진 이벤트 실험 데이터를 이용해 딥러닝 모델을 학습시켰다. 이 딥러닝 모델의 분류 성능을 과거 물리학적 지식을 이용한 분류기 알고리즘의 이벤트 분류 성능과 비교하였다. 그 결과 딥러닝을 이용한 이벤트 분류기 성능이 더 높게 나타났다(그림 1).

피터 사도프스키와 공동 연구진의 딥러닝을 응용한 힉스 보존 이벤트 분류기 실험 결과에서 주목해야 할 결과는 딥러닝 모델이 위에서 언급한 28개의 자질(feature) 벡터를 모두 사용하지 않더라도 힉스 보존을 구분할 수 있는 분류기 모델을 잘 학습했다는 것이다. 위에서 언급한 7개의 고수준 자질 벡터는 21개의 저수준 자질 벡터를 이루는 물리학적 변수들로부터 유도가 가능한 물리학적 변수들로, 분류기 모델의 정확도를 보조하는 역할을 하는 변수들이었다. 기존의 이벤트 분류기 모델은 물리학적 변수를 이용한 자질 벡터가 많을수록 분류기의 성능이 더 좋아졌지만, 딥러닝을 이용한 분류기 모델은 21개의 저수준 자질 벡터만 이용하여 기존 입자 물리학적 지식을 이용한 분류기 알고리즘보다 더 높은 성능을 얻을 수 있었다[2-6].

피터 사도프스키와 공동 연구진이 밝혀낸 또 하나의 중요한 과학적 기여는 바로 앙상블(ensemble) 심층 신경망(deep neural network) 모델의 ‘지식 증류(Knowledge Distillation)’ 방법을 통해서 계산량이 적으면서도 힉스 입자 이벤트 분류 성능이 좋은 신경망 모델을 만들 방법을 찾아낸 것이다. 이들은 성능이 좋은 심층 신경망(deep neural network) 모델이 학습한 이벤트 분류의 ‘숨은 지식(dark knowledge)’을, 심층 신경망(deep neural network) 모델보다 계산량이 적은 얕은 신경망(shallow neural network)이 학습, 전수받도록 하여 계산량이 적으면서도 분류 성능이 더 좋은 신경망 모델을 만드는 것이 가능하다는 것을 확인하였다[2, 5].

딥러닝 분야에서 유명한 연구자들인 제프리 힌튼(Geoffrey Hinton), 오리올 비니얄즈(Oriol Vinyals), 제프 딘(Jeff Dean)은 2014년 신경정보처리시스템(Neural Information Processing Systems; NIPS) 학술대회에서 함께 열린 ‘딥러닝 및 표상 학습 워크숍(NIPS Deep Learning and Representation Learning Workshop)’에서 신경망에서의 ‘지식 증류’를 이용한 분류 성능 향상 방법을 발표하였다. ‘지식 증류’ 방법은 특정한 카테고리의 데이터만 집중적으로 학습한 ‘전문가(expert)’ 신경망들의 앙상블이 가진 소위 ‘숨은 지식’을 전문가 신경망 앙상블보다 계산량이 적고 구조가 단순한 얕은 신경망으로 전달하는 방법이다.

제프리 힌튼(Geoffrey Hinton), 오리올 비니얄즈(Oriol Vinyals), 제프 딘(Jeff Dean)은 전문가 신경망들이 학습할 때 배운 ‘숨은 지식’이 정답과 함께 소프트맥스(softmax) 함수값으로 주어지는 좀더 부드러운 형태의 출력값으로 표현된 학습 데이터를 이용해 전문가 신경망들을 함께 사용하여 얕은 신경망을 학습시키면, 얕은 신경망만을 학습시킬 때보다 더 성능이 좋아진다는 것을 발견했다.

피터 사도프스키와 공동 연구자들은 이런 지식 증류 방법을 힉스 입자 분류 작업에 똑같이 적용해보았고 역시 얕은 신경망 모델의 힉스 입자 이벤트 분류기의 성능이 더 좋아지는 것을 확인했다. 이 결과는 검출기의 실시간 데이터 처리 시스템에서 힉스 입자 검출, 분류를 신경망 모델을 사용해서 좀더 적은 계산량으로 더 정확하게 할 수 있는 방법을 찾은 것이어서 LHC 연구자들에게 중요한 결과로 받아들여졌다.

피터 사도프스키와 공동 연구자들이 힉스 입자 검출, 분류에 지식 증류 방법을 적용한 결과의 또 다른 중요성은 바로 힉스 입자를 분류하는 신경망 모델이 어떻게 힉스 입자를 분류하는지 해석할 수 있는 방법의 하나를 찾은 것이다.

딥러닝 모델의 가장 큰 문제점 중의 하나는 모델의 파라미터 수가 많고 복잡하여 딥러닝 모델이 학습한 작업을 수행할 때 어떤 방식으로 작업을 수행하고 출력값을 내는지 이해하고 해석하기가 어렵다는 것이다. 이런 딥러닝 모델의 해석가능성(interpretability) 문제는 최근 딥러닝 기술이 사람들의 생활에 영향을 줄 수 있는 추천 시스템, 질병 진단 시스템 등의 의사 결정 및 판단 자동화 분야에 적용되기 시작하면서 점차 중요하게 인식되고 있다.

하나의 딥러닝 모델이 힉스 입자 이벤트 분류를 학습하게 되면 입력된 이벤트 데이터를 어떤 과정을 거쳐 힉스 입자 이벤트로 분류했는지 물리학적인 해석을 하기가 어렵다. 하지만, 특정한 카테고리별, 또는 힉스 입자 생성 이벤트별 데이터를 전문적으로 학습한 ‘전문가 신경망’들의 지식을 전달받은 하나의 심층 신경망 모델은 전문가 신경망들이 어떤 이벤트들을 분류하는지 우리가 알고 있기 때문에 좀더 해석가능한(interpretable) 신경망 모델이 된다. 이렇게 전문가 신경망들이 분류하는 대상과 방식이 지식 전수 형태로 전달된 심층 신경망의 해석가능성이 딥러닝 기술로 분류된 힉스 입자 이벤트를 좀더 정밀하게 검증하고 그 배경이 되는 물리학적인 현상을 깊게 이해할 수 있도록 돕게 된다.

이번에는 LHC 검출기에서 나오는 제트(jet) 이벤트 검출 및 분류 자동화에 딥러닝 모델을 응용한 사례를 하나 더 살펴보도록 하자. 제트란 높은 에너지로 가속된 입자들이 제한된 단면적의 공간으로 한꺼번에 쏟아져 나오는(shower) 현상을 말한다. 입자물리학적으로 좀더 정확하게 얘기하면, 쿼크(quark)나 글루온(gluon)같이 높은 에너지 상태로 갇혀 있던 근본 입자들이 강입자(hadron)로 붕괴, 변화되면서 변화된 강입자와 관련된 다른 입자들이 콘(cone), 또는 고깔모자와 같은 형태로 쏟아져 나오는 현상을 말한다.



이런 제트 이벤트들은 힉스 보존과 같이 특정한 근본 입자와 관련된 이벤트에 따라 그 특성이 달라진다. LHC 각 검출기의 상호작용 지점(interaction point)에서 일어난 이벤트 중에서 힉스와 같이 관심 있는 입자들의 생성과 물리학적 특성을 간접적으로 관찰, 조사하기 위해 잘 활용되는 이벤트이다.

제트 이벤트는 강입자(hadron)들의 에너지를 측정하는 칼로리미터 검출기에서 수집된 영상 데이터에서 높은 에너지를 가지는 픽셀군의 형태로 잘 검출이 된다. 그림 2의 상단에 보면, 그림의 오른쪽 아래에 좁은 영역에 높은 에너지의 이벤트로 검출된 제트 이벤트를 볼 수 있다. 이렇게 칼로리미터에서 관찰되는 제트 이벤트를 ‘칼로리미터 타워(calorimeter tower)’라고 하는데, 칼로리미터 타워로 검출되는 제트 이벤트를 분석하면 힉스 입자와 같은 근본 입자가 생성되었는지 확인할 수 있다. 그림 2의 하단에서도 CMS 검출기의 이벤트 재구성 데이터에서 콘 형태로 검출된 W입자의 제트(W-like jet)와 QCD 배경 제트(QCD background jet)을 볼 수 있다.

보통 칼로리미터의 검출 원리와 픽셀의 해상도를 고려하면 위와 같은 W 입자 제트와 QCD 배경 제트를 정확하게 구분하기가 쉽지 않다. 제트 이벤트의 물리학적 메커니즘에 대해서는 상대적으로 많은 연구가 이루어져 있기는 하지만[10-12], 이런 이론적인 연구 결과를 활용해서 정확하게 제트 이벤트를 분류, 검출하는 소프트웨어 기술은 아직 개발되지 않았다[13].



위와 같이 칼로리미터 데이터를 이용해 제트 이벤트를 분류하는 기술을 입자 물리학자들은 ‘제트 태깅(Jet tagging)’이라고 부른다. 최근 제트 태깅 문제에 딥러닝을 적용하여 성능을 향상한 결과를 발표한 연구 결과가 다수 있었다[15-17]. 예일 대학교의 미켈라 파가니니(Michela Paganini) 박사는 보텀 쿼크 입자의 제트 이벤트를 분류하는 ‘보텀 쿼크(bottom quark) 제트 태깅’ 문제에 딥러닝을 적용하여 보텀 쿼크 태깅 성능을 높인 결과를 미국 시애틀에서 열린 국제 물리학 고등 컴퓨팅 및 분석 기술 학술회의(International Workshop on Advanced Computing and Analysis Techniques in Physics Research; ACAT 2017)에서 발표하였다[17].



미켈라 파가니니 박사의 보텀 쿼크 태깅 문제에 딥러닝 기술을 적용한 결과가 발표되기 전인 2016년, 딥러닝 기술을 W입자 제트 태깅 문제에 적용하여 제트 이벤트 분류 성능을 크게 높인 결과가 스탠퍼드 대학의 루크 드 올리비에라(Luke de Oliveira), 마이클 케이건(Michael Kagan), 레스터 맥케이(Lester Mackey), 벤자민 나크만(Benjamin Nachman), 에어리얼 슈바르츠만(Ariel Schwartzman)에 의해 칠레의 밸파라디소에서 열린 ACAT 2016 학술회의에서 발표되었다[15-16]. 여기서는 이들이 발표한 W 입자 제트 태깅 결과를 간단하게 소개해보고자 한다.
 

루크 드 올리비에라와 그의 동료 연구자들이 만든 딥러닝 기반의 제트 이벤트 분류 기술은 우선 칼로리미터 데이터를 이미지화하는 전처리 과정을 통해 칼로리미터 타워가 픽셀의 컬러값으로 변환되는 이미지로 만든다(그림 3 좌편). 이렇게 만들어진 제트 이벤트의 칼로리미터 이미지를 그림 4에 나타난 컨볼루션 신경망(Convolution Neural Network) 기반의 딥제트(DeepJet)라는 딥러닝 모델을 학습시키는 데 사용한다. 학습된 신경망의 마지막 출력층에서 각 픽셀의 최대값 선택(max pooling) 과정을 거치면 그림 4의 하단에 나온 것과 같이 피셔 변환을 통해 구분된 QCD 배경 제트 이벤트의 이미지와 W입자 제트 이벤트의 이미지와 유사하게 제트 이벤트 태깅된 이미지를 심층신경망이 출력으로 내놓게 된다.

그림 5는 딥제트(DeepJet) 딥러닝 모델의 성능을 과거 피셔 변환 및 물리학적 알고리즘 기반의 제트 이벤트 태깅 모델의 성능과 비교한 것이다. 놀랍게도, 딥러닝 모델이 분류한 제트 이벤트 태깅 성능이 과거 피셔 변환 및 물리학적 알고리즘 기반의 ‘N-서브제티니스(n-subjettiness)’ 방법으로 제트 이벤트 태깅을 한 결과보다 2배 이상의 높은 정확도를 보였다. 또한, 제트 이벤트의 칼로리미터 이미지를 입자의 질량과 같은 물리학적 변수를 같이 자질(feature)로 사용하여 학습시킨 ‘N-서브제티니스(n-subjettiness)’ 모델을 사용하면 ‘N 서브제티니스(n-subjettiness)’ 모델의 분류 성능이 좀더 향상되지만, 그렇다고 하더라도 여전히 딥러닝 기반의 딥제트(DeepJet)의 분류 성능과 2배 가까운 차이가 났다(그림 5).

그림 5의 결과를 보면 제트 이벤트의 칼로리미터 데이터를 이미지로 변환하여 딥러닝 기술을 활용할 경우 더 정확하게 우리가 원하는 이벤트를 분류할 수 있다는 것을 알 수 있다. 또한, 물리학적 변수들을 자질로 활용한 과거 머신러닝 기반의 제트 이벤트 태깅 알고리즘과 비교하면 딥러닝 기술이 더 정확한 결과를 내는 것으로 보아 제트 이벤트 태깅을 위해 데이터를 학습한 딥제트(DeepJet) 모델이 물리학적인 숨은 지식을 같이 학습하여 제트 이벤트 태깅의 정확도를 높인다고 볼 수 있다.

위의 힉스 보존 이벤트 분류 및 제트 이벤트 태깅 문제에 딥러닝 기술을 적용한 결과는 LHC 빅데이터 처리 성능 향상에 또다른 돌파구를 마련해 주었지만, LHC 연구자들에게 또 다른 숙제가 남게 되었다. 과연 딥러닝 모델이 어떤 물리학적인 숨은 지식을 더 학습하여 과거의 물리학적인 이벤트 분류 알고리즘보다 더 나은 성능을 보인 것인가? 이렇게 딥러닝 모델이 학습한 물리학적인 숨은 지식이 정말 실제 물리학적 현상으로 일어날 수 있고 의미 있는 지식인가? 딥러닝 모델이 데이터로부터 학습한 이런 숨은 지식이 물리학적으로 의미하는 것은 무엇인가? 이렇게 딥러닝 모델이 학습한 검출기 이벤트에 대한 지식을 물리학자들이 물리학적으로 활용하여 과거에 알지 못했던 새로운 입자의 검출과 입자 물리학적 현상 분석에 활용할 수 있을까? 딥러닝 모델이 학습한 지식을 LHC 연구자들이 과연 어떤 방법으로 보고 해석할 수 있을까?

딥러닝 모델을 이용해 이벤트 데이터를 분석한 결과는 놀라운 성능을 보여주었지만, LHC 연구자들이 LHC 데이터에서 보지 못하는 것이 아직도 많음을 또한 알게 해주었다. 지금보다 52배 이상 더 많은 데이터가 쏟아져 나오는 고광도 LHC(HL-LHC; Super-LHC) 시대에는 딥러닝 기술을 활용한 이벤트 자동 분류 기술이 더 중요해질 것이며, 딥러닝 기술을 통해 더 많은 물리학적 지식과 통찰을 얻을 수 있을 것으로 물리학자들은 기대하고 있다. 딥러닝 기술이 LHC 이벤트 데이터 분석에 적용되는 것은 이제 막 시작 단계로 앞으로 더 많은 흥미로운 연구 결과들이 딥러닝을 비롯한 인공지능 기술을 통해 밝혀질 것으로 기대된다.

빅데이터 분석에서 해석가능한 인공지능 모델의 중요성
2017년 1월, 스위스 다보스에서 매년 열리는 세계경제포럼(World Economic Forum)에서 현 IBM의 CEO인 지니 로메티 회장은 IBM의 인지 컴퓨팅(Cognitive Computing) 기술이 사회에 기여하기 위해 갖추어야 할 윤리적인 조건에 관해 얘기하고, 이런 세 가지 윤리적인 조건을 IBM의 모든 인지 컴퓨팅 기술과 서비스가 지켜나갈 것을 천명한 바 있다[18-20]. IBM은 기업 컴퓨팅(enterprise computing) 시장에서 활용되는 인공지능 기술을 인지 컴퓨팅이라는 말로 계속 불러왔다. IBM이 얘기하는 기업 컴퓨팅 시장에서 인지 컴퓨팅 기술의 윤리적인 요건은 다음과 같다[18].

1. 목적(Purpose): IBM이 개발하고 제공하는 인공지능과 인지 시스템의 목적은 인간 지능을 증강하고 보조하는(augment) 것이다. IBM의 인공지능 및 인지 시스템 기술, 상품과 서비스, 정책은 모두 인간의 능력과 전문성, 잠재력을 개선하고 확장하기 위한 목적으로 디자인될 것이다. 이러한 IBM의 입장은 단순한 원칙이 아니라 과학에 근거한 것이다. 인지 시스템은 현실적으로 의식이나 독립적인 조직을 갖지 않을 것이며, 사람들과 사회가 사용하는 프로세스, 시스템, 상품과 서비스에 내재(embedded)되어 인간의 통제하에 사용될 것이다.

2. 투명성(Transparency): 인지 시스템이 세계를 변혁시키는 그 잠재력을 온전히 발휘하도록 하기 위해, 인지 시스템이 내리는 추천, 판단, 그리고 인지 시스템의 활용에 사람들이 확신을 갖도록 해야 한다. 이를 위해, IBM은 개발, 구축하는 인지 솔루션에서 인공지능이 언제, 어떤 목적으로 활용되며, 이런 인공지능을 학습시키고 향상하기 위해 사용한 데이터 및 데이터 출처, 그리고 전문성을 명확하게 밝힌다. 또한, 고객사들이 인공지능과 인지 시스템을 이용한 비즈니스 모델, 지적재산권을 온전히 소유하고 고객사에서 인공지능과 인지 시스템을 통해 얻는 장점들에 대해서도 명료하게 하여 고객사의 데이터와 통찰을 보호하고 파트너와 산업 내 협력 조직들이 비슷한 실무 경험을 활용할 수 있도록 한다.

3. 기술(Skill): 인공지능과 인지 시스템으로 열리게 될 새로운 시대는 인간이 제 역할을 하지 않는다면 실현되지 않는다. 인공지능 및 인지 시스템 기술은 인간의 지능과 전문성을 증강하고 인간과 협력하여 일하기 위한 것이기 때문이다. 이런 새로운 시대를 위해 IBM은 학생들과 작업자들, 시민들이 인지 시스템과의 관계 속에서 효과적으로 안전하게 일할 수 있는 기술과 지식을 습득할 수 있도록 도우며, 이들이 인공지능 경제 체제에서 나타날 새로운 직업과 직무를 쉽게 수행할 수 있도록 한다.

위에서 인공지능 및 인지 컴퓨팅 기술이 가져야 할 투명성은 이들 기술의 활용되는 목적을 달성하고, 이러한 새로운 기술이 활용될 새로운 시대의 경제 체제에 시민들과 학생들이 새로운 직업을 찾고 적응할 수 있도록 하는 데 매우 중요한 역할을 하게 된다. 이런 인공지능 및 인지 컴퓨팅 기술의 투명성을 보장하기 위해 중요한 측면이 바로 인공지능 기술의 해석가능성이다.

필자는 앞의 일곱번째, 여덟번째 글에서 빅데이터 비즈니스에서 딥러닝을 비롯한 인공지능 기술의 가치는 바로 데이터 처리 및 분석, 가공 과정의 자동화에서 온다고 얘기한 바 있다. 그렇다면, 과거 사람들이 수행하던 일들이 인공지능 기술을 통해 자동화되어 사람들을 보조하거나 사람들을 대신해 일하게 되었을 때, 인공지능 기술을 통해 작업하는 로봇이나 소프트웨어가 사람들과 같은 기준으로 작업하거나 일을 한다는 것을 어떻게 알 수 있을까?

이 문제는 경우에 따라서 매우 중요한 문제가 될 수 있다. 드라마나 영화에서 자주 나타나는 예를 들어 같이 한번 생각해보자. 미국 드라마 ‘퍼슨 오브 인터레스트’와 같이 인공지능이 다양한 데이터를 분석하여 잠재적인 테러리스트나 범죄자를 사전에 가려내어 예측하는 시스템이 있다고 가정해보자. 인공지능이 어떤 기준과 근거로 지목된 사람이 범죄자가 될지 아닐지를 판단했는지 알 수 없다면, 억울한 사람이 조작된 데이터로 억울하게 범죄자로 몰릴 수 있는 상황이 생기지 않으리라고 단정할 수 없다.

위와 같은 테러 및 범죄 예측 분석의 경우와 함께 또 사회적으로 민감한 결과를 불러올 수 있는 사례는 최근 많이 언급되고 있는 법률 해석 및 재판과 관련된 인공지능 기술이다. 과연 인공지능이 사람들의 도덕 및 가치, 양심과 인간성에 대해 온전하게 배우고 이에 근거해서 치우치지 않는 판단을 할 수 있을까? 독립적인 판단은 하지 못하도록 시스템을 만든다고 하더라도, 위와 같이 사람을 사람답게 하는 요소들을 적절하게 고려해서 판사들이 법리적인 해석을 할 수 있도록 적절하게 보조하거나 조언, 판례들을 추천할 수 있을까? 인공지능이 추천, 제안한 판례와 법리에 대해서 판사들이 믿고 활용할 수 있을까? 법률 및 판례 분석 등에 사용되는 사법 전문가 시스템은 인공지능 기술 중 가장 먼저 현실화될 기술로 생각보다 빨리 사회에 파장을 일으킬 수 있다.

최근 많이 연구되는 의료 영상 분석 및 진단 보조 인공지능과 같은 기술도 비슷한 문제가 있다. 인공지능이 진단한 질병으로 인해 환자가 받은 처치가 적절하지 않아 의료사고가 발생했을 경우, 그 책임은 누가 져야 할 것인가? 인간과 인공지능의 협진, 또는 인공지능의 도움을 받아 의사가 질병의 진단과 처방을 했을 때 일어나는 의료 사고에 대해서는 누가 어떻게 책임을 질 것인가? 인공지능과 관련된 의료 사고의 책임 소재를 조사하기 위해 인공지능의 데이터 처리 및 진단 과정이 어떻게 해당 질병에 대한 진단 결과에 이르렀는지 어떤 방식으로 조사해야 할 것인가?

위의 모든 문제는 인공지능의 의사 결정 및 작동 방식을 어떻게 분석하고 해석할 것인가에 대한 문제와 깊게 연관되어 있다. 현재의 인공지능 기술은 사람의 지능에 비하면 아직 초보적인 단계임에도 불구하고, 인공지능이 학습의 대상이 되는 작업을 어떻게 배우고 무엇을 배웠는지 해석할 방법은 극히 제한적이며 알 방법이 거의 없다.

특히 요즘 많이 인기를 끌고 있는 딥러닝과 심층신경망 모델은 자기인코더(Autoencoder) 모델과 같은 일부 표현 학습(representation learning) 모델과 베이지안 학습(Bayesian learning) 모델을 제외하고는 모델이 배운 것이 무엇인지 해석하는 것은 거의 불가능하다. 신경망 모델이 학습한 것이 무엇인지 인간이 해석할 수 없다면 인공지능 기술의 오용이나 결함으로 인해 발생한 사고에 대한 법률적인, 사회적인 문제에 대처하기 어려울 수 있다.

위와 같은 문제의식으로 최근 인공지능 기술의 해석가능성에 대한 연구가 활발해지고 있다. 인공지능 기술의 해석가능성 문제를 미국 방위고등연구계획국(Defense Advanced Research Projects Agency; DARPA)의 XAI 프로그램에서는 크게 세 가지 방향으로 접근하고 있다[22-24].



첫번째는, 사람이 해석할 인공지능 모델이 학습한 것과 분석 대상이 되는 인공지능 모델의 학습 내용을 비교함으로써 이해하는 방법이다. 이를 ‘모델 귀납(Model Induction)’ 방법이라고 한다[22]. 앞에서 소개한 피터 사도프스키와 공동 연구자들이 ‘지식 증류’ 방법을 이용해 딥러닝 기반 분류기(classifier)로 힉스 입자 이벤트 분류 성능을 높인 결과가 그에 해당한다.

피터 사도프스키가 사용한 모델은 ‘전문가 혼합(Mixture of Experts)’ 또는 ‘앙상블(Ensemble)’ 모델이라고 부르는 것으로, 특정한 카테고리, 또는 영역의 데이터만을 전문적으로 학습한 여러 개의 신경망 모델을 이용해 특정한 작업 수행 성능을 높이는 방식의 신경망 모델이다. 이렇게 전문가 신경망들이 학습한 내용들을 하나의 신경망이 수행할 수 있도록 학습시키는 ‘지식 증류’와 같은 방법을 사용하면 신경망 모델이 어떤 것을 학습하고 어떤 일들을 수행할 수 있는지, 학습한 내용을 인간이 이해하고 있는 전문가 신경망들의 학습 내용 및 분석 결과를 가지고 가늠할 수 있다.

‘지식 증류’를 통해 학습시킨 얕은 신경망은 여러 개의 전문가 신경망을 사용해 특정 작업을 수행하는 것보다 계산량이 적어 연산 성능을 쉽게 높일 수 있을 뿐만 아니라, 각 전문가 신경망이 학습한 ‘숨은 지식’도 전달할 수 있어 연산 성능과 작업 성능을 동시에 높이는데 효과적인 방법으로 활용할 수 있다.

두번째로 해석가능한 인공지능 모델을 만드는 방법은 해석가능한 방법론을 이용해서 새로운 방식으로 인공지능 모델을 만드는 것이다[22]. 이를 ‘해석가능한 모델(Interpretable Model)’ 방법론이라고 하는데, 요즘 많은 관심을 받는 확률론적 그래프 모델(Probabilistic Graphical Model; PGM)이 대표적으로 해석가능한 인공지능 모델 개발 방법론이다.

딥러닝의 기반이 되는 심층신경망 모델은 대개 심층신경망의 뼈대인 노드(node) 또는 뉴런(neuron)과 가중치 매트릭스(weight matrix) 또는 시냅스(synapse)에서 학습된 것이 무엇인지, 어떤 의미를 가지는지 해석하기가 쉽지 않다. 하지만, 최근 많이 연구되고 있는 생성 베이지안 모델(Generative Bayesian Model) 관점에서 심층신경망 모델을 디자인하는 심층 베이지안 모델(Deep Bayesian Model), 앞에서 언급한 확률론적 그래프 모델(Probabilistic Graphical Model; PGM)을 이용해서 심층신경망을 디자인하게 되면 심층신경망의 노드와 가중치 매트릭스가 의미하는 것이 무엇인지 해석할 수 있게 된다.

세번째로 해석가능한 인공지능 모델을 만드는 방법은 기존 인공지능 모델을 해석가능한 모델로 만들 수 있도록 변형하거나 변경하여 해석가능한 출력과 모델로 만들어 해석하는 것이다[22]. 이것은 딥러닝과 같은 ‘표상 학습(representation learning)’ 방법에 사용할 수 있는 방법이다.



딥러닝을 유명하게 만든 딥러닝 모델 중의 하나인 자기인코더 모델은 입력과 출력에 학습하려는 자질(feature)을 가진 데이터를 똑같이 주어 데이터를 표현하는 자질(feature) 및 표상(representation)을 네트워크가 스스로 학습할 수 있도록 하는 딥러닝 모델이다. 자기인코더가 영상으로부터 학습한 자질들은 공간과 주파수 대역 모두에서 국소화(localize)된 웨이브렛(wavelet) 같은 자질도 있고, 사람 얼굴 영상 데이터를 학습할 때에는 얼굴의 형상이나 눈, 코, 입의 공통된 특징만을 추출한 자질을 학습하기도 있다. 이런 자질들은 사람이 학습한 모델을 관찰하였을 때 모델이 학습한 자질이 무엇을 의미하는지 해석할 수 있다.

이런 자기인코더 모델과 같이 기존의 심층신경망 모델과 같은 인공지능 모델을 학습시키는 과정에서 사람이 해석할 수 있는 자질을 학습할 수 있도록 인공지능 모델을 변형하거나 보완하여 해석가능한 인공지능 모델을 만드는 것을 미국 방위고등연구계획국(Defense Advanced Research Projects Agency; DARPA)의 데이비드 거닝(David Gunning)은 ‘심층 해석(Deep Explanation)’[22]이라고 불렀다.

위와 같은 아이디어로 DARPA에서는 현재 XAI 연구 프로그램을 2021년까지 진행하여 소프트웨어 도구와 해석가능한 인공지능 모델을 개발하는 것을 목표로 하고 있다. 해석 가능한 인공지능 모델은 최근 2~3년 동안 학계에서도 많은 관심을 끌기 시작하여 딥러닝 연구의 총본산인 신경정보처리시스템 학술회의(Neural Information Processing Systems; NIPS)에서는 2017년에 해석가능한 딥러닝 모델에 대한 독립적인 워크샵이 열리기도 했다[25]. 역시 인공지능 분야의 저명한 학술회의 중 하나인 국제 인공지능 연합 학술회의(International Joint Conference on Artificial Intelligence; IJCAI)에서도 2017년에 XAI 워크숍이 같이 열리기도 했을 만큼 최근 해석가능한 인공지능 기술에 대한 관심이 높아지고 있다.

CERN의 LHC 연구자들은 LHC 빅데이터 처리를 하면서 초당 1TB의 규모로 쏟아지는 원시 데이터에 물리학적인 메타데이터를 붙이고 관심 있는 이벤트를 가진 데이터만 자동으로 골라내는 데이터 처리 자동화의 용도로 인공지능 기술의 일종인 패턴 인식과 머신러닝 기술을 주로 사용했다. 최근에는 딥러닝 모델과 같은 고급 인공지능 기술이 가진 일반화(generalization) 능력을 이용해서 연구자들이 미처 발견하지 못할 수 있는 의미 있는 새로운 물리학적 현상을 발견하는 분석 도구로써도 활용하려고 하고 있다.

LHC 빅데이터 활용의 일차적인 목적은 물질에 대한 근본적인 지식을 밝혀내는 것이다. 이렇게 과학 실험과 연구 과정에서의 데이터 분석에서 지식과 통찰을 얻기 위해서는 데이터를 해석하는 과정이 필요하다. 데이터 분석과 해석을 위해 인공지능 기술을 사용할 때에는 반드시 인공지능이 어떻게 데이터로부터 결과를 내었는지 그 과정을 사람이 해석할 수 있어야 한다. 만약 인공지능의 추론 과정을 사람이 해석할 수 없다면 인공지능을 통해 얻은 결론과 통찰은 인공지능에만 의미 있는 지식이 되고 정작 인공지능을 사용해 데이터를 분석한 과학자에게는 아무런 의미 없는 지식이 되고 만다. 이것은 다른 사람이 나를 대신해 시험공부를 열심히 해준다고 해서 내가 시험을 잘 볼 수 있는 것은 아닌 것에 비유할 수 있다.

일반 조직이 빅데이터 비즈니스에 인공지능 기술을 사용할 때에도 마찬가지이다. 인공지능을 이용한 데이터 처리 및 비즈니스 프로세스 자동화에 인공지능 기술을 사용할 경우에는 비즈니스의 스피드와 기민성을 높여서 그 효과를 얻게 되지만, 데이터 분석에 인공지능 기술을 사용할 때에는 비즈니스 도메인에 의미 있는 해석을 할 수 있도록 인공지능 기술이 디자인되어야 한다. 인공지능이 비즈니스 데이터에서 얻은 결론이 비즈니스 도메인에 맞는 해석이 가능하도록 인공지능의 추론 과정을 분석할 수 없다면 인공지능이 데이터 분석을 통해 얻은 결론과 통찰은 사람들과 비즈니스 조직에 아무런 쓸모가 없거나 오히려 위험하게 오용될 수 있다.

최근 유럽의 강력한 개인정보보호 규제인 GDPR(General Data Protection Regulation)이 시행되기 시작하면서, 인공지능 기술을 이용한 자동화된 개인정보 처리와 분석 과정(GDPR에서는 이를 ‘프로파일링(profiling)’이라고 한다)에서 해석가능한 인공지능의 중요성이 다시 주목받고 있다. GDPR에서는 일반인과 같은 정보주체가 자동화된 프로파일링 과정에 따른 결정 사항을 거부하거나 그 설명을 요구할 수 있는 권리를 가진다[30-31].

이렇기 때문에 유럽에서 인공지능 기술을 이용한 자동화된 개인 정보 처리 및 예측 분석 등의 고급 분석 기술을 이용해 지능형 서비스를 제공하는 회사들은 GDPR의 적용을 받게 되어 자동화된 프로파일링 처리 과정에서 얻은 결정 과정에 대한 설명을 제공할 수 있어야 한다[30-31]. GDPR 법안이 유럽 내에서의 개인 정보 보호 표준이 아니라 글로벌 표준으로서 개인 정보 처리의 기준이 될 가능성이 높기 때문에 구글과 같이 딥러닝 및 머신러닝 기술을 많이 사용한 빅데이터 처리를 하는 기업들은 해석가능한 인공지능 기술이 더욱 필요하게 되었다.

아직 해석가능한 인공지능 기술 개발은 학계에서 전문적으로 논의되는 초기 단계의 기술이다. GDPR과 같은 강화된 개인정보 보호 규제가 시행되고 인공지능이 내린 결정이 일반 사회에 미치는 영향이 커질 수 있음이 인지되기 시작하면서 점차 엔터프라이즈 정보 기술로서도 중요성이 높아지고 있다.

해석가능한 인공지능 기술은 데이터 분석을 위한 기술로서도 의미가 있지만, 안전한 인공지능을 만드는 기술로서도 의미가 있다. 열 길 물속은 알아도 한 길 사람속은 모른다는 말은 그만큼 사람이 생각하는 것을 알 수 없어 사람이 위험한 존재라는 의미를 전달하는 속담이기도 하다. 인공지능이 추론하고 생각하는 과정을 분석하고 해석하는 기술이 없다면 인공지능이 인류를 위해 도움이 되는 선한 존재로서 동작할지, 아니면 해를 입힐 수 있는 존재로서 동작할지 알 수 없을 뿐만 아니라, 인공지능이 인간에게 유익하게 동작하도록 인간이 통제하고 다룰 수 없게 될 것이다.

해석가능한 인공지능 기술은 상업화하기에는 아직 먼 기술이지만, 빅데이터 인프라와 로봇, 드론, 자율주행차 등의 인공지능을 이용한 사이버 물리 시스템(cyber-physical system)이 사회의 기반 인프라로서 자리 잡기 위해서는 꼭 필요한 기술이다. 인공지능을 이용한 데이터 분석과 지능형 서비스, 상품으로 시장을 개척하려는 기업들은 기업이 만드는 인공지능이 좀더 안전하고 사회에 도움이 되는 상품으로서 쓰일 수 있도록 만드는데 해석가능한 인공지능 기술이 앞으로 필요한 기술로서 자리 잡게 될 것이기 때문에 관심을 가지고 지속해서 모니터링하는 것이 좋다.

데이터 기반 비즈니스를 위한 데이터 과학자들과 지능형 시스템을 개발하는 소프트웨어 엔지니어들도 해석가능한 인공지능 기술의 동향과 발전을 주의 깊게 모니터링하고 꾸준히 익히는 것이 좋을 것이다. 데이터 과학자들과 소프트웨어 엔지니어들이 개발하는 인공지능 시스템을 좀더 안전하고 예측가능한 시스템으로 만들면서, 인공지능이 얻은 지식과 통찰을 데이터 분석에 효과적으로 사용하기 위해서도 중요한 기술이다. 해석가능한 인공지능 기술은 데이터 과학자들의 데이터 분석과 지식 창출 역량을 증강하여 기업의 위험 대처 능력을 크게 향상해 줄 것이다.

[참고문헌]
[1] 김진철, “LHC에서 배우는 빅데이터와 machine learning 활용 방안”, 2016년 9월 28일, A CIO Conversation for Technology Leadership – Breakfast Roundtable 발표 자료
[2] Peter Sadowski, Julian Collado, Daniel Whiteson, Pierre Baldi, “Deep Learning, Dark Knowledge, and Dark Matter,” Journal of Machine Learning Research – Workshop and Conference Proceedings V. 42, pp.81-97, 2015. (http://proceedings.mlr.press/v42/sado14.pdf)
[3] P. Baldi, P. Sadowski, and D. Whiteson, “Searching for Exotic Particles in High-Energy Physics with Deep Learning,” Nature Communications, 5:4308, 2014. (doi: 10.1038/ncomms5308 , http://www.nature.com/ncomms/2014/140702/ncomms5308/full/ncomms5308.html.)
[4] P. Baldi, P. Sadowski, and D. Whiteson, “Enhanced Higgs Boson to τ+τ- Search with Deep Learning,” Phys. Rev. Lett., 114(11):111801, 2015. (doi: 10.1103/PhysRevLett.114.111801).
[5] Peter Sadowski, “Deep Learning for Experimental Physics,” dissertation, UNIVERSITY OF CALIFORNIA, IRVINE, 2016.
[6] Kyle Crammer, “Particle Physics and Machine Learning,” (https://erez.weizmann.ac.il/pls/htmldb/f?p=101:58:::NO:RP:P58_CODE,P58_FILE:5398,Y)
[7] Geoffrey Hinton, Oriol Vinyals, Jeff Dean, “Distilling the Knowledge in a Neural Network,” Proceedings of Deep Learning and Representation Learning Workshop in Neural Information Processing Systems(NIPS) 2014, arXiv:1503.02531, 2015. (http://arxiv.org/abs/1503.02531)
[8] C. Bucila, R. Caruana, and A. Niculescu-Mizil, “Model compression,” In Proceedings of the 12th ACMSIGKDD International Conference on Knowledge Discovery and Data Mining(KDD’06), pages 535–541, New York, NY, USA, 2006. ACM.
[9] J. M. Butterworth, A. R. Davison, M. Rubin, and G. P. Salam, “Jet substructure as a new Higgs search channel at the LHC,” Phys. Rev. Lett., 100:242001, 2008. (doi: 10.1103/PhysRevLett.100.242001.) [“Jet tagging”에 관한 논문]
[10] D. E. Soper and M. Spannowsky, “Finding physics signals with shower deconstruction,” Phys. Rev. D, 84:074002, 2011. doi: 10.1103/PhysRevD.84.074002. [“Theoretical progress in the microphysics of jet formation”]
[11] D. E. Soper and M. Spannowsky, “Finding top quarks with shower deconstruction,” Phys. Rev. D, 87:054012, 2013. doi: 10.1103/PhysRevD.87.054012. [“Theoretical progress in the microphysics of jet formation”]
[12] I. W. Stewart, F. J. Tackmann, and W. J. Waalewijn, “Dissecting Soft Radiation with Factorization,” Phys. Rev. Lett., 114(9):092001, 2015. doi: 10.1103/PhysRevLett.114.092001. [“Theoretical progress in the microphysics of jet formation”]
[13] A. J. Larkoski, I. Moult, D. Neill, “Analytic boosted boson discrimination,” J. High Energ. Phys. (2016) 2016: 117. (https://doi.org/10.1007/JHEP05(2016)117.) [“No complete analytical model for classification directly from theoretical principles”, “expert feature offer powerful insight”]
[14] J. Dolen, P. Harris, S. Marzani, S. Rappoccio, and N. Tran, “Thinking outside the ROCs: Designing Decorrelated Taggers (DDT) for jet substructure,” J. High Energ. Phys. (2016) 2016: 156. (https://doi.org/10.1007/JHEP05(2016)156)
[15] Ariel Schwartzman, “Image Processing, Computer Vision and Deep Learning – New approaches to the analysis and physics interpretation of LHC events,” ACAT 2016, Valparaiso, Chile, January 2016. (https://indico.cern.ch/event/397113/contributions/1837827/attachments/1213258/1770340/ACAT_Ariel.pdf)
[16] Luke de Oliveira, Michael Kagan, Lester Mackey, Benjamin Nachman, Ariel Schwartzman, “Jet-images — deep learning edition,” Journal of High Energy Physics, July 2016, 2016:69. (https://link.springer.com/article/10.1007/JHEP07(2016)069)
[17] Michela Paganini, “Machine Learning Algorithms for b-Jet Tagging at the ATLAS Experiment,” CERN Document Server Report No. ATL-PHYS-PROC-2017-211, arXiv:1711.08811, Proceedings of the 18th International Workshop on Advanced Computing and Analysis Techniques in Physics Research (ACAT 2017), 2017. (http://cds.cern.ch/record/2289214/files/ATL-PHYS-PROC-2017-211.pdf?version=1)
[18] IBM THINK Blog, “Transparency and Trust in the Cognitive Era,” January 17, 2017. (https://www.ibm.com/blogs/think/2017/01/ibm-cognitive-principles/ )
[19] Alison DeNisco Rayome, “3 guiding principles for ethical AI, from IBM CEO Ginni Rometty,” TechRepublic, January 17, 2017. (https://www.techrepublic.com/article/3-guiding-principles-for-ethical-ai-from-ibm-ceo-ginni-rometty/)
[20] Larry Dignan, “IBM’s Rometty lays out AI considerations, ethical principles,” ZDNet, January 17, 2017. (https://www.zdnet.com/article/ibms-rometty-lays-out-ai-considerations-ethical-principles/)
[21] Tim Hwang, “Fulfilling the Potential of AI Requires Getting Interpretability Right,“ IBM iX, December 14, 2017. (https://www.ibm.com/blogs/insights-on-business/ibmix/fulfilling-potential-ai-requires-getting-interpretability-right/)
[22] Mr. David Gunning, “Explainable Artificial Intelligence (XAI),” Defense Advanced Research Projects Agency(DARPA), Program Information. (https://www.darpa.mil/program/explainable-artificial-intelligence)
[23] BATR, “DARPA’s XAI Explainable Artificial Intelligence Future,” The Market Oracle, May 15, 2018. (http://www.marketoracle.co.uk/Article62285.html)
[24] 금융보안원 보안기술연구팀, “설명 가능한 인공지능(eXplainable AI, XAI) 소개,” 보안연구부-2018-020, 금융보안원, 2018.
[25] Interpretable ML Symposium NIPS 2017, 7 December, Long Beach, California. (http://interpretable.ml/)
[26] IJCAI 2017 Workshop on Explainable Artificial Intelligence (XAI), Melbourne, Australia, 20 August 2017. (http://home.earthlink.net/~dwaha/research/meetings/ijcai17-xai/)
[27] George Nott, “Explainable Artificial Intelligence’: Cracking open the black box of AI,” Computerworld, 10 April, 2017. (https://www.computerworld.com.au/article/617359/explainable-artificial-intelligence-cracking-open-black-box-ai/)
[28] Emily Webber, “Similarity Cracks the Code Of Explainable AI,” simMachines, October 20, 2017. (http://simmachines.com/similarity-cracks-code-explainable-ai/)
[29] William Vorhies, “GDPR and the Paradox of Interpretability,” Data Science Central, March 26, 2018. (https://www.datasciencecentral.com/profiles/blogs/gdpr-and-the-paradox-of-interpretability)
[30] Council of the European Union, “REGULATION (EU) 2016/… OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL of on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation),” 5419/16, Brussels, 6 April 2016.
[31] 행정자치부, 한국인터넷진흥원, “우리 기업을 위한 「유럽 일반 개인정보 보호법」안내서,” 2017년 4월. (http://www.kisa.or.kr/uploadfile/201705/201705101555446057.pdf)
 

*김진철 박사는 1997년 한국과학기술원에서 물리학 학사, 1999년 포항공과대학교에서 인공신경망에 대한 연구로 석사 학위를, 2005년 레이저-플라즈마 가속기에 대한 연구로 박사 학위를 받았다. 2005년부터 유럽입자물리학연구소(CERN)의 LHC 데이터 그리드 구축, 개발에 참여, LHC 빅데이터 인프라를 위한 미들웨어 및 데이터 분석 기술을 연구하였다. 이후 한국과학기술정보연구원(KISTI), 포항공과대학교, 삼성SDS를 거쳐 2013년부터 SK텔레콤에서 클라우드 컴퓨팅과 인공지능 기술을 연구하고 있다. 빅데이터와 인공지능 기술의 기업 활용 방안에 대해 최근 다수의 초청 강연 및 컨설팅을 수행하였다. dl-ciokorea@foundryco.com