챗GPT 같은 생성형AI 기술을 도입할 때 기업에서 가장 걱정하는 것은 보안 문제다. 챗GPT에 기업 기밀 정보가 입력될까 봐 우려하는 것이다.
출장 및 경비 관리 소프트웨어를 제공하는 나반(Navan, 구 트립액션스(TripActions)는 지난 2월 비즈니스 및 고객 지원하기 위해 생성형 AI 기술에 사활을 걸기로 결정했다.
미국 캘리포니아의 팔로 알토에 위치한 나반은 코드를 작성·테스트·수정하기 위해 오픈AI(OpenAI)의 챗GPT(ChatGPT)와 깃허브 코파일럿(GitHub Copilot)의 코딩 지원 도구로 활용했다.
나반은 각종 생성형 AI 도구를 이용해 고객 대응 챗봇 ‘아바(Ava)’의 대화 경험을 개선했다. 여행 및 비용 챗봇 비서 아바는 고객들에게 질문에 대한 답변과 대화형 예약 경험을 제공하는 식이다. 또한 이용자에게 출장 지출, 규모, 세부적인 탄소 배출량 등의 데이터를 보여주기도 한다.
나반의 2,500명 직원 중 다수는 생성형 AI로 불필요한 작업을 없애고 있다. 대표적으로 AI 코딩 도구로 코드 생성 속도를 높였다. 하지만 생성형 AI 도구는 보안 및 규제 위험이 있다. 실제로 보안 기업 사이버헤이븐(CyberHaven)이 펴낸 보고서에 따르면 직원이 챗GPT에 붙여넣는 데이터 중 11%는 기밀 자료인 것으로 나타났다.
나반의 CSO 프라바스 카란스(Prabhath Karanth)는 데이터 보안 유출, 멀웨어, 잠재적인 규제 위반 등 생성형 AI로 인한 보안 위험에 대응해야 했다.
나반은 전사 차원에서 유료 버전 챗GPT를 쓰면서 기업 밖으로 내부 데이터가 유출될 가능성을 우려했다. 그래서 명확한 기업 지침과 모니터링 도구를 사용하여 유출 및 다른 위협을 억제하는 노력에 투자하고 있다. 예를 들어 나반은 SaaS 도구를 이용해 기업 정책을 위반하려는 직원을 파악하면서 내부 직원들의 보안 인식을 높이도록 도왔다.
나반은 어떻게 생성형 AI와 관련된 오용 및 의도적 또는 비의도적 위협을 막고 있을까? 다음은 카란스와의 인터뷰 내용이다.
Q. 나반에서 챗GPT를 사용하는 목적은 무엇인가?
A. AI 자체는 이미 오래 전에 나온 기술이다. 하지만 올해는 구체적인 문제를 해결하기 위해 많은 기업이 AI를 도입하고 있다. 기술 수준이 한 차원 높아진 셈이다. 나반은 기술 관련해서는 ‘얼리 어답터’를 추구한다. 여행 및 비용 관리 분야에서 AI가 혁신을 가져다 것이라고 보았다. 그러다 보니 아주 기술 초기부터 제품 워크플로우뿐 아니라 내부 운영 과정에서 AI를 도입하고 있다.
Q. 제품 워크플로우 및 내부 운영 과정 그리고 직원 및 고객 응대 과정에서 챗GPT가 도움이 되는가?
A. 제품 측면에서 몇 가지 애플리케이션이 있다. 나반은 챗GPT를 기반으로 한 챗봇이자 워크플로우 비서 ‘아바’를 운영하고 있다.
나반 제품에는 많은 기능이 있다. 예를 들어, 관리자가 회사와 관련된 여행 및 비용에 관한 정보를 검색할 수 있는 대시보드가 있다. 그리고 내부적으로 운영을 지원하기 위해 나반 개발 조직 내 소프트웨어 개발 속도를 높일 수 있는 방법을 연구하고 있다. 심지어 보안 관점에서도 생성형AI 기술을 접목할 수 있는 도구가 많다고 생각한다. 결국 챗GPT는 우리 기업 전반에 걸쳐 활용될 수 있다.
Q. 생성형 AI 기술을 사용해보고 끔찍하다고 생각했던 개발자들에 관한 글을 읽었다. 생성되는 코드가 터무니없는 수준이기 때문이다. AI 코딩 도구를 이용하는 내부 개발자의 반응은 어떠한가?
A. 나반에는 그런 피드백이 없었다. 우리 개발자 커뮤니티에서는 두 가지 측면에서 AI 코딩 고두를 도입하고자 하는 의지가 매우 높았다. 첫번째 운영 효율성이다. 최소한 표준 라이브러리 및 개발 자료의 경우 개발자가 더 이상 처음부터 코드를 작성할 필요가 없다. 매우 좋은 결과가 나타나고 있다. 개발자는 AI로 필요한 것을 얻은 후 관련 코드를 기반으로 원하는 결과물을 구축할 수 있다.
두번째 오픈소스 관련 기술이다. 나반은 오픈소스 라이브러리를 사용한다. 거의 모든 개발자가 그렇게 하기 때문에 해당 오픈소스 라이브러리를 개발에 활용하는 데 AI 코딩 도구는 도움이 된다.
그렇다고 AI 코딩 도구를 도입하는 방식은 여러가지가 있을 것이다. 무턱대고 도입할 수는 없다. 모든 상황에 맞는 도구는 없다. 상황에 맞게 적절하게 적용해야 할 것이다.
참고로 나반에는 ‘스타트업 안의 스타트업(start-up within a start-up)’이라는 별도의 그룹이 있으며 여기서 긴밀한 감독 하에 새로운 기술을 기존의 시스템에 신중하게 통합하는 실험을 주도하고 있다.
Q. 챗GPT 외에 사용하는 도구가 있는가?
A. 비즈니스 환경에서는 딱히 없지만, 개발자 영역에서 깃허브 코파일럿을 일부 사용한다. 하지만 비 개발자 환경에서는 대부분 오픈AI 기술만 이용한다.
Q. 조직에 대한 잠재적인 보안 관리 측면에서 AI는 몇 순위로 위협적인가?
A. 가장 낮은 순위부터 가장 높은 순위까지 순위를 매기지는 않겠지만 위험성 완화를 위해 보다 큰 전략이 필요하다. 나는 기존과 다른 완전히 새로운 위협 분류 수준을 만들고 AI를 평가하려 하고 있다. 무엇보다 중요한 것은 위험성 관리이다.
위협 완화는 기술적 관점에서만의 이야기가 아니다. 기술과 도구를 하나의 관점으로 봤을 때 이런 기술을 내부적으로 사용하고 제품화하는 측면에서 거버넌스와 정책이 뒷받침해야 한다. 인력, 프로세스, 기술 위험 평가가 필요하며 그 후에 이를 완화해야 한다. 이런 완화 정책이 마련되면 위험이 감소한 것이다. 물론 이 모든 것을 실행에 옮기지 않으면 AI가 가장 큰 위협 요소가 된다.
Q. 직원들이 챗GPT를 사용할 때 어떤 종류의 문제에 직면했는가? 민감한 기업 정보를 복사하여 프롬프트 창에 붙여 넣은 직원이 있었는가?
A. 나반은 항상 선도하기 위해 노력하며 그게 나반의 핵심 DNA다. 나반이 AI 기술을 도입하기로 결정했을 때, CSO로서 나는 전체론적 위험 평가를 수행해야 했다. 그 과정을 리더급으로 구성된 전문팀과 함께 수행했다. 해당 전문 팀에서는 리더가 엔지니어링 측면에서 제품 플랫폼 보안을 운영한다. 그리고 기업 보안, DLP(Data Loss Prevention, 데이터 손실방지), 감지 및 대응 관련 업무를 담당하는 섹옵스(SecOps) 팀이 있다. 그리고 거버넌스, 위험 및 준법감시, 신뢰 부서가 있으며 그런 팀을 통해 위험 관리, 준법감시, 기타 모든 것을 담당한다.
다시 말해 모든 전문가가 함께 AI 애플리케이션의 모든 측면에 대해 위험 평가를 수행했다. 우리는 심지어 의도하지 않더라도 AI를 악용하여 IP와 고객 개인 식별 정보 등의 데이터를 빼내지 못하도록 신경썼고 데이터 손실 방지 등의 관리책을 마련했다. 그래서 우리가 앞서고 있었다고 말할 수 있다.
Q. 여전히 의도적으로 챗GPT에 민감한 데이터를 붙여 넣으려는 직원이 있었는가?
A. 상황과 맥락을 고려해 DLP를 수행하고 있다. 무작위로 차단하지 않고 항상 감지하고 하나의 사건처럼 처리한다. 내부자 위험 또는 외부적일 수 있으며, 감독 과정에서 법률 및 HR 부서 지원을 받고 있다. 이것이 보안 팀 운영의 핵심이다. 위협을 확인하고 방지책을 마련하는 것이다.
Q. 예상보다 많은 직원이 챗GPT 프롬프트에 기업 데이터를 붙여 넣는 그런 일은 없었는가?
A. 그렇지 않았다. 챗GPT에 대해서 예상되는 부분이었고, 회사 전체는 물론 챗GPT를 많이 쓸 수 있는 개발자 등에 AI 보안 인식을 높이기 위해 대대적으로 노력했다. 그래서 예상을 벗어나는 부분이 없었다. 예상했던 대로였다.
Q. 생성형 AI를 콘텐츠 생성에 사용할 때 저작권을 침해할 가능성에 대해 우려하고 있는가?
A. 이 위험 영역을 해결해야 한다. 해당 위험 영역에 대한 일부 법률적 전문지식이 필요하기 때문에 내부 변호사 및 법률팀이 이를 검토했으며 지침을 마련했다. 나반은 생성형 AI 콘텐츠 생성과 관련해 모든 법률 프로그램을 지원했다. 위험을 관리하기 위해 그만큼 노력했다.
새로운 지침과 제약 사항이 마련된 후 나반은 프라이버시, 보안, 법률 팀들과 제품 및 콘텐츠 팀들 사이의 의사소통이 잘되도록 집중했다. 이와 관련하여 직원들을 위한 추가적인 훈련이 있었다.
Q. 챗GPT가 의도적 또는 비의도적으로 멀웨어를 생성하는 현상은 어떻게 보는가?
A. 나는 보안 업계 종사자이기 때문에 보안 관련 공격적인 측면에서 일어나는 모든 일을 면밀히 주시하고 있다. 온갖 종류의 애플리케이션이 존재한다. 멀웨어가 있고, 소셜 엔지니어링이 생성형 AI를 통해 이루어지고 있다. 지속적으로 방어책이 마련되어야 한다고 생각한다. 나는 확실히 잘 알고 있다.
Q. 챗GPT로 생성하는 코드는 어떻게 모니터링하고 있는가? 특별히 사용하는 관리 도구가 있는가? 아니면 사람이 직접 새로 생성된 모든 코드를 검토하는가?
A. 2가지 방안이 있다. 하나는 우리가 생산에 투입하는 모든 코드가 안전한지 확인하는 것이다. 다른 하나는 내부자 위험이다. 생성된 코드가 나반의 기업 환경을 벗어나지 않도록 해야 한다. 우선, 우리는 완전하게 보호되는 자동화된 공동 배치 파이프라인인 CI/CD(Continuous Integration, Continuous Deployment)가 있다. 생산에 투입되는 모든 코드에 대해 개발자가 병합하기 전에 통합 시점에 정적 코드를 실행한다. 또한 환경에 투입되는 제3자 코드에 대한 소프트웨어 구성 분석이 있다. 이 외에도 병합부터 브랜치와 배치까지 파이프라인 전체를 CI/CD로 강화하고 있다.
이 외에도 API 테스트 및 구축 시간 API 테스트가 있다. 제품 보안팀이 생산에 투입되는 모든 중요 기능에 대해 위협 모델링 및 디자인 검토를 수행하고 있다.
두번째 부분인 내부자 위험은 데이터 감지 및 대응인 DLP 전략에 들어간다. 우리는 무작위로 차단하지 않지만 환경, 즉 많은 환경 영역에 기초하여 차단을 수행하고 있다. 상대적으로 정확도가 높은 감지책이 있었으며 나반의 IT 환경을 보호할 수 있었다.
Q. AI 위협에 대응하여 보안 프로필을 강화하기 위해 사용한 도구가 있는가?
A. 사이버헤이븐(CyberHaven)이 있다. 나는 과거에 전통적인 DLP 기술을 사용했고 때로는 그런 도구가 신호를 못잡는 경우를 자주 봤다. 사이버헤이븐은 회사 전반에 걸쳐 엔드포인트를 떠나는 모든 데이터의 이동을 모니터링하는 환경을 구축할 수 있다. 여기에는 종점-SaaS, 종점-스토리지 등 많은 환경이 포함된다. 이를 통해 보호 조치가 크게 개선되었고 데이터 이동 및 내부자 위험에 대한 모니터링이 크게 개선되었다. 오픈AI 이용 환경에서 이런 기술은 매우 중요하다. 우리에게 엄청난 도움이 되었다.
Q. 사이버헤이븐 이야기가 나왔으니 말이지만 최근 보고서에 따르면 직원 20명 중 1명이 회사 기밀 데이터를 챗GPT에 붙여 넣고 다른 내부 AI 도구는 신경 쓰지 않는다고 한다. 그런 직원은 보통 어떤 민감한 데이터를 복사하여 붙여 넣는가?
A. 솔직히, 우리의 경우 오픈AI 이용 과정에서 중요한 데이터가 넘어가는 것은 보지 못했다. 중요하다는 말은 고객, 개인 식별 정보 또는 제품 관련 정보를 의미한다. 물론, 다른 여러 내부자 위험 사례가 있었으며, 우리는 문제를 분류하고 법률 부서를 참여시키며 모든 조사를 수행해야 했다. 특히, 오픈AI의 경우 환경을 기준으로 이곳저곳에서 차단했지만 대대적인 데이터 유출은 없었던 것 같다.
Q. 결국 특정 용도에 더욱 잘 사용될 수 있고 쉽게 보호할 수 있는 소규모 모델이 나오는 추세다. 범용 대형 모델이 이런 소규모 모델에게 추월당할까?
A. 현재 많은 소규모 모델이 개발되고 있다. 하지만 오픈AI가 추월당할 것이라고는 생각하지 않는다. 오픈AI는 자사의 기술이 소형 또는 대형 모델이 기반삼아 구축될 수 있는 플랫폼이 되기를 원한다.
그래서 대형 모델이 소비하는 컴퓨팅 리소스가 너무 크기에 소형 모델이 많이 생성될 것이라 생각한다. 컴퓨팅이 문제가 되겠지만 오픈AI가 추월당할 것이라고는 생각하지 않는다. 그들은 원하는 개발 방법과 사용하고 싶은 플랫폼의 규모에 대한 유연성을 제공하는 플랫폼이다. 상황이 그렇게 진행되고 있다고 생각한다.
Q. 오픈AI 또는 AI SaaS 제공자가 자체적인 언어 모델 훈련 등 알려지지 않은 목적으로 나반의 데이터를 사용하지 않을 것이라 믿는 이유는 무엇인가?
A. 우리는 그들과 계약을 체결했고, 그들이 우리 데이터를 활용하는 것을 법적으로 거부했다. 법적 측면에서 우리는 그들보다 앞서 있었다. 클라우드 제공자의 경우 매우 일반적인 일이다.
Q. 생성형 AI 기술에 의한 잠재적인 위험으로부터 조직을 보호하려는 다른 CSO들에게 어떤 조언을 하고 싶은가?
A. 인력, 프로세스, 기술 접근방식으로 시작해야 한다. 인력, 프로세스, 기술 측면에서 위험 분석 평가를 수행한다. 전체론적인 위험 평가부터 시작한다. 전반적인 도입 상태를 확인해야 한다. 제품 워크플로에서 사용할 것인가? 그렇다면 CTO와 엔지니어링 조직이 이 위험 평가의 주요 이해관계자가 되어야 한다.
물론, 법률 부서도 참여해야 한다. 보안 및 프라이버시 담당자도 참여해야 한다. 또한, 이런 위험 평가를 수행하기 위해 여러 프레임워크가 이미 제공되고 있다. NIST는 도입을 중심으로 위험 평가를 수행하기 위한 프레임워크를 공개했으며, 고려해야 하는 거의 모든 위험을 다루고 있다. 그러면 자신의 환경에 무엇을 적용할 수 있는지 파악할 수 있다. 그리고 E2E(End to End)로 대응할 수 있도록 이런 관리책을 지속적으로 모니터링하는 프로세스를 마련해야 한다.
dl-ciokorea@foundryco.com
