법적·제도적 위험성··· 안전한 AI 비즈니스를 위한 가이드

하지만 AI는 각종 컴플라이언스 규제, 법률, 프라이버시, 윤리 등의 영역에서 광범위하면서도 숨겨진 위험 요소일 수 있다. 여러 업종의 수많은 실무자들이 상당한 비즈니스 위험을 향해 맹목적으로 달려가는 형국일 수 있는 셈이다.

이미 의료 및 금융 서비스 등 여러 정부 및 산업 규정을 준수해야 하는 산업의 기업들과 관련해서는 구체적인 우려의 목소리가 제기되고 있다.

법률 기업 폭스 로스차일드(Fox Rothschild)의 기술 실무 공동 회장이자 법률 활동을 기술, 프라이버시, 데이터 보안, 인프라 등에 집중하는 소프트웨어 엔지니어 출신의 댄 패리스는 “맥락, 윤리 및 데이터 품질은 특히 규제가 엄격한 산업에서 AI의 가치와 신뢰성에 영향을 끼칠 수 있는 문제다. 규제가 엄격한 산업에 AI를 배치하면 심각한 컴플라이언스 문제가 발생할 수 있다”라고 말했다.

위험할 수 있는 AI 비즈니스
금융 기술 기업들이 AI에 대대적으로 투자하고 있지만 이로 인해 발생할 수 있는 손실이나 행정 조치는 금융 서비스 기업들에게 재앙이 될 수 있다고 패리스가 강조했다. “예를 들어, 알고리즘이 고장 나거나 제대로 작동하지만 맥락이 잘못된 경우 무역상사 또는 투자자에게 상당한 손실이 발생할 수 있다”라고 그가 말했다.

또한 의료 분야는 특히 AI의 잠재적 위험성에 주목하지 않을 수 없는 예시를 제공한다. 패리스는 “예를 들어, 의료 영상에서 패턴을 식별하거나 상태를 진단하는데 도움이 될 수 있는 인식 기술이 있다. 의료 산업에서 AI를 배치하는 흔한 사례 중 하나다”라며, “사람의 눈 대신에 컴퓨터로 이미지 스캔하는 경우 더욱 정확할 수 있지만 동시에 파편적인 경향이 있다”라고 말했다. 환자에 대한 여타 맥락 정보를 가지고 수 년의 실무를 통해 발전시킨 직관이 있는 의사와는 달리 AI와 머신러닝 프로그램의 결과는 좁고 불완전할 수 있다는 설명이다.

패리스는 “의료적 판단의 이점 없이 이런 결과에 의존하면 실제로 환자 결과가 악화될 수 있다”라고 말했다.

뉴욕대학교(New York University)의 정보 시스템 교수이자 AI 및 머신러닝 전문가 바산트 다르는 기계도 실수한다는 점을 언급하며 “단 피로, 분노, 감정 또는 좁은 시야 등으로 인해 발생하는 인간의 실수와는 종류가 다를 수 있다”라고 말했다.

다르는 이어 “그렇다면 기계가 자율적으로 결정을 내리고 학습하여 향상되는 새로운 AI 세상에서 인간과 기계의 역할과 책임은 무엇일까? 만약 AI에 대해 입력에 기초해 결정을 내리는 ‘공장’으로 본다면 인간의 역할은 오류 관련 비용이 수용될 만한 수준일 수 있도록 공장을 설계하는 것이다”라고 말했다.

기계가 스스로 학습하여 향상된다면 인간은 이런 학습 과정의 품질을 확보할 책임이 있다는 주장이다. 그는 “오류의 비용이 너무 높을 때 기계를 신뢰해서는 안 된다”라고 설명했다.

다르는 규제를 책임진 이들이 우선 최신 AI 시스템이 유발할 수 있는 오류가 감당할 수 있는 수준인지 여부를 판단해야 한다고 말했다. 예를 들어, 교통 규제 기관은 자율주행 자동차가 연간 2만 명의 생명을 살릴 수 있기 때문에 이 기술이 사회에 가치가 있다고 판단할 수 있다. “하지만 보험 시장이 태동하려면 오류로 인한 피해를 제한할 수 있도록 규제를 고려해야 할 수도 있다”라고 그가 말했다.

의료 영역에서 규제 문제는 활용처에 좌우된다. 백내장 수술 등의 특정 영역은 이미 인간보다 뛰어난 경향이 있는 기계가 수행하고 있으며 최근의 연구에서 기계가 방사선 전문의와 병리학자보다 뛰어날 수 있음이 발견되었다고 다르가 말했다.

“하지만 기계도 여전히 실수하며 AI 도입 결정 시 그 비용을 고려해야 한다. 대부분 가치 계산을 예상할 수 있지만 일반 사례 결과와는 다른 ‘최악의 사례’를 반드시 감안해야 한다”라고 그는 말했다.

고려할 법적 문제
규제 고려사항 외에 AI 사용에는 법적 영향이 있을 수 있다. 국제 노동 및 고용 법률 기업 LM(Littler Mendelson) P.C.에서 근무하며 로봇공학, AI 및 자동화 산업 그룹 소속인 매트 쉐러는 “기계가 ‘잘못된’ 결정에 도달하거나 유해한 것으로 입증된 일련의 행동을 권장할 때 누가 책임을 질 것인가가 주요 문제 중 하나다”라고 말했다.

예를 들어, 의료 관련 문제의 경우 그 기술을 사용하는 의사 또는 병원이 책임을 져야 할까? 아니면 애플리케이션 디자이너 또는 프로그래머가 책임을 져야 할까? 쉐러는 “환자가 구체적으로 AI 시스템이 치료 과정을 결정하도록 요청한다면 어떻게 될까? 사람들 사이에는 기계가 인간보다 더 나은 판단을 내린다고 생각하는 경향이 있다. 즉 해당 목적을 위해 설계된 AI 시스템의 결정을 맹신한다는 점이 개인적으로 우려된다”라고 말했다.

법률 기업 H & H(Holland & Hart)의 기술 혁신 경영자 두크 추는 AI를 사용하는 조직의 일원이 최종 책임을 져야 할 수 있다고 말했다. 그는 “인공지능 또는 머신러닝이 결론에 도달하고 의사를 결정할 때 증거, 승인, 증명, 책임의 문제가 먼저 떠오른다”라고 말했다.

예를 들어, 금융 산업에서는 조직이 AI를 이용해 금융 보고서에 대한 정보를 수집하는 경우 제공된 정보가 정확하고 합목적적이며 정보의 신뢰성을 확보하기 위해 효과적으로 작동하는 적절한 통제가 마련되어 있음을 인간이 증명하고 서명해야 한다고 그는 말했다.

추는 “그러면 인간이 해당 진술을 작성했고 그렇게 할 수 있는 권한이 있음을 알 수 있다. 의료 영역에서 책임자는 AI를 활용해 일련의 증상을 알려진 질병 및 트렌드와 비교 분석하여 진단을 돕고 치료 계획을 작성할 수 있다. 두 경우 모두 인간이 최종 결정을 내리고 최종 답변에 서명하며 무엇보다도 실수의 영향에 대해 책임을 지는 것이다”라고 말했다.

AI, 특히 신경망(Neural Network) 기술은 예측이 어렵기 때문에 “전통적인 법 측면에서 상당한 문제를 야기한다”는 지적도 있다. 신규 및 혁신 기술의 영향을 파악할 수 있도록 돕는데 특화된 글로벌 법률 기업 DLA 파이퍼(DLA Piper)의 파트너 마크 래드클리프는 “왜냐하면 많은 AI 프로그램이 제 3자가 결과 사용 방식을 판단할 수 있도록 허용하지 않기 때문에 전통적인 정서상 원인과 영향을 결부시키기 어렵기 때문이다”라고 말했다.

그는 “전통적인 불법 행위 이론은 법적 책임을 위해 ‘가장 가까운 원인’을 요구한다. 불법 행위 ‘과실’ 체제(The tort ‘negligence’ regime)는 소프트웨어 디자인 상황에 불확실한 인간 표준을 적용하는 것이다. AI 알고리즘이 프로그래밍에 기초한 결과에 ‘편견’을 주입하는지 여부는 또 다른 문제다”라고 말했다.

안전한 AI를 위한 베스트 프랙티스
기업은 AI와 관련된 법률 및 컴플라이언스 위험성을 낮추기 위해 여러 가지를 할 수 있다.

먼저 기계가 의사를 결정하는 방식을 확실하게 이해하는 것이 하나의 핵심 요건이다. 즉, 입법기관과 법원 및 정책 결정자들은 설계자조차도 제대로 이해할 수 없는 시스템의 생성 및 배치에 대해 얼굴을 찌푸릴 가능성이 높다는 점을 이해해야 한다고 쉐러가 강조했다.

그는 “인공지능 블랙박스 문제를 우리가 제대로 이해하지 못하는 다른 기술과 마찬가지로 시스템을 배치하기 전에 광범위하게 시험함으로써 해결할 수 있다고 본다. 향후 거시적인 관점에서 시행착오의 과정이 될 것이라 생각한다. 시간이 지나면서 어떤 의사를 인간 또는 컴퓨터가 결정하는 것이 좋은지 파악하게 될 것이다”라고 말했다.

래드클리프는 기업들이 규제 당국와 법적 임계치를 충족하는 수준으로 추론을 ‘추적’하는 시스템을 설계하는 방안을 고려해야 한다고 말했다. 또 규제 당국이 법적 책임의 규칙과 기타 접근방식을 통해 이런 투명성을 촉구해갈 것이기도 하다고 그는 덧붙였다.

나아가 기업들은 현실성을 확보하기 위해 규칙 제정에 참여해야 한다. “정부기관은 업계에서 현실적인 투입값을 얻지 않고는 실용적인 규칙을 만들 수 없을 것”이라고 래드클리프가 말했다.

그는 이어 “아마 규제 기관은 단일 사건 또는 일련의 사건을 토대로 실용적이지 못한 규칙을 만들 것이다. 기업들은 산업 조직 및 정부 규제 기관과 협력하여 이런 무릎 반사 대응을 지양해야 한다”라고 덧붙였다.

또한 조직은 법적 책임이 불거질 때를 감안해 AI의 결론 또는 인간의 의사 결정에 의존하는 것이 안전한지 파악해야 한다. 래드클리드는 “이런 우려는 산업 별로 다르며 산업 내에서도 다를 수 있다”라고 전했다.

예를 들어, 내과 전문의가 환자 진단을 보조하기 위해 AI를 사용하는 것은 AI를 로봇 수술에 활용하는 것보다 위험이 훨씬 낮을 수 있다. 그는 “성숙된 법적 규제 체제가 있는 의약 등의 고위험 활동의 경우 기업들이 규제자와 협력하여 이 새로운 접근방식에 적용할 규칙을 업데이트해야 할 것” 이라고 말했다.

또 기업들은 AI 활용에 대해 스스로와 고객 및 비즈니스 파트너들 사이에서 법적 책임을 할당하는 방법을 고려할 필요가 있다는 주문도 있다.

“예를 들어, 기업이 은행을 위한 AI 애플리케이션을 개발하는 경우 당사자들은 AI 프로그램이 ‘특정 경계 지역 지정’ 등의 규제 문제를 발생시키거나 [지불금 계산 오류 등] 실수를 하는 경우에 누가 책임을 질지 고려할 것이다. 왜냐하면 이런 문제는 선례가 없고 당사자들은 계약서에 당사자들 사이의 법적 책임 할당을 설계할 수 있기 때문이다”라고 래드클리프가 말했다.

신경망에 관한한 AI가 발전하고 있지만 규제 및 법적 위험을 통제하고 싶어하는 기업들은 인간 의사 결정 과정 내의 여러 요소 중 하나로써 AI를 바라볼 필요가 있다고 패리스가 말했다.

그는 “AI는 인간이 통제하고 계속 신중하게 배치해야 하는 하나의 툴이다. 성공적인 AI 개발을 원하는 기업은 먼저 데이터 세트와 데이터 품질에 투자해야 한다. AI 애플리케이션을 위한 데이터의 품질과 적합성 평가는 중요한 첫 걸음이다. 머신러닝을 위해 인간 투입이 지속적으로 필요한 작업과 결정을 분석하는 것이 다음 과제다” 라고 말했다. dl-ciokorea@foundryco.com