미 국립표준기술연구소(NIST)가 대규모 언어 모델(LLM) 위험성을 평가하는 가이드라인을 만드는 작업을 시작했다고 28일 밝혔다.
‘인공지능 위험 및 영향 평가(Assessing Risks and Impacts of AI, ARIA)’라는 NIST의 새로운 프로그램은 AI 시스템의 사회적 위험과 영향을 평가하고 현실 환경에서 인간이 AI와 정기적으로 상호작용할 때 나타나는 영향력을 분석하는 역할을 한다. 또한 NIST는 AI 수준과 영향력을 파악하기 위한 ‘테스트, 평가, 검증 및 확인(Testing, Evaluation, Validation and Verification, TEVV)’ 프로그램도 주도할 예정이다.
NIST 담당자는 CIO닷컴과의 인터뷰에서 초기에는 주로 세 가지 영역을 탐색하는 데 집중하겠다고 밝혔다. 첫 번째는 ‘비공개 정보에 대한 접근 권한’이다. NIST는 LLM이 공유해서는 안 되는 정보를 보호할 수 있을지 또한 창의적인 사용자가 시스템에서 해당 정보를 빼낼 수 있는가를 살펴볼 예정이다. 두 번째 영역은 ‘다양한 인구를 위한 개인화된 콘텐츠’다. LLM이 서로 다른 사용자 집단의 특정 요구 사항을 맥락적으로 인식할 수 있는가를 검사한다. 세 번째 영역은 ‘합성한 사실적인 콘텐츠’다. LLM의 조작 여부를 파악한다.
NIST 담당자는 “지속 가능하고 일반화 가능하고 재사용 가능한 테스트 환경을 촉진하기 위해 구체적 수치로 평가할 수 있는 도구를 활용할 것”이라며 “ARIA로 애플리케이션 유형, 위험, 작업 및 가드레일 수준을 평가할 수 있을 것”이라고 밝혔다.
업계에 미치는 영향
해커원의 공동 설립자 마이클 프린스는 NIST의 방향이 규제가 아닌 지침을 제공하는데 맞춰져 있다는 점을 높이 평가했다.
프린스는 “NIST의 ARIA 프로그램은 더 광범위한 산업에 지침을 제공하기 위해 AI 시스템의 사회적 위험과 영향을 평가하는 데 중점을 뒀다. 지침은 새로운 기술의 안전을 관리하는 데 있어 규제보다 더 나은 접근 방식이다”라며 “AI 같은 기술의 위험과 기회를 완전히 파악하지 못하면 어떤 규제가 가장 효과적인지 알 수 없지만, 지침은 일반적이면서도 유연한 보안 및 안전 모범 사례에 대한 합의를 도출할 수 있다”라고 설명했다.
다만 프린스는 NIST의 노력이 업계에서 이미 하고는 일과 크게 다르지 않다고 설명했다. 프린스는 “어떤 면에서 NIST가 하려는 작업은 기존 조직 내 AI 레드팀이 하려는 작업과 비슷하다. 둘 다 AI의 실제 기능과 안전성을 평가하려는 목표를 가진다”라며 “NIST의 방법론은 사회적 맥락에서 AI를 테스트하는 데 중점을 두는 반면, 기존 조직의 레드팀은 특정 시스템 내의 취약성과 편향을 식별하는 데 집중한다. 둘 다 AI 시스템의 보안과 신뢰성을 보장하는 데 도움이 된다”라고 밝혔다.
EY의 이사인 브라이언 레빈은 “바이든 행정부는 끊임없이 진화하는 기술을 따라잡는 데 초점을 맞추고 있다”라며 “생성형 AI 기술은 아직 매우 변동성이 많은 상태다. 너무 일찍 파고들면서 미국 및 여러 국가 당국의 일부 노력은 효과가 없는 엉뚱한 방향으로 가고 있다”라고 말했다. 하지만 레빈은 다양한 기술 테스트를 정확하게 수행해 온 NIST의 오랜 역사를 고려할 때 NIST의 노력이 향후 의미가 있을 것으로 평가했다.
일부 AI 관계자들은 LLM은 사용에 따라 위험이 달라지기 때문에 외부 영향이 없는 소위 말하는 진공 상태에서 분석하기는 어려울 것이라고 설명했다. 그럼에도 불구하고 프린스는 코드 자체만이라는 평가하는 것은 가치가 있다고 말했다.
프린스는 “보안 전문가들은 보안성을 높이기 위한 각종 교육을 받는다. 그렇다고 해서 피싱 방지 소프트웨어가 필요 없는 것은 아니다. 사람 교육과 기술 도입은 같이 필요하다. 같은 원리가 AI 안전 및 보안 영역에 적용된다. 이러한 문제는 매우 크고 다양한 각도에서 해결해야 한다”라며 “AI를 악용하지 않도록 사람을 교육해야 하고, 여러 해결책을 마련해야 하지만, 어찌 됐든 이 역시 기술과 관련된 영역이다. 안전한 시스템을 사용하는 방법을 단순화하기 위해 개선할 수 있는 모든 노력은 장기적으로 도움이 된다”라고 설명했다.
시스디그의 사이버 보안 전략가이자 부즈 앨런 해밀턴의 전 애널리스트였던 크리스탈 모린은 NIST의 노력이 ‘매우 섬세하고 도전적인 개념’이라고 표현했다. 모린은 “평가자는 데이터 입력 및 출력의 맥락에서 애플리케이션을 평가하고 결과를 정확하게 보고할 수 있는 수단을 찾으면서 완전히 편견 없는 태도를 유지해야 한다. 이를 올바르게 수행하는 데는 시간이 많이 걸릴 것이다”라며 “NIST의 결과가 IT 리더에게 도움이 될 수 있지만 자체 시스템을 갖춘 기업 환경에서는 결과를 평가하고 다시 테스트해야 할 것”이라고 밝혔다.
모린은 “AI 보안은 일률적으로 적용할 수 있는 것이 아니다. 사회적 위험으로 간주되는 것은 지역, 부문, 특정 기업의 규모에 따라 달라질 것이다”이라며 “NIST 프로그램은 AI 애플리케이션을 구현하려는 조직에게 훌륭한 디딤돌이지만, 개별 위험 및 완화 요구 사항을 충족하기 위해 내부적으로도 AI 위험 및 영향 평가를 수행해야 한다”라고 밝혔다.
NIST는 보도자료를 통해 LLM의 위험과 이점을 파악하는 것이 중요하다고 강조했다.미국 상무부 장관 지나 라이몬은 “AI가 우리 사회에 미치는 영향과 앞으로 미칠 영향을 완전히 이해하려면 현실적인 시나리오에서 AI가 어떻게 작동하는지 테스트해야 하며, 이것이 바로 이 프로그램을 통해 우리가 하는 일”이라며 “ARIA 프로그램, 바이든 대통령의 AI 행정 명령 등을 통해 NIST와 미국 AI 안전 연구소는 AI의 위험을 완화하고 이점을 극대화하기 위해 모든 수단을 동원할 것”이라고 설명했다.
NIST 정보기술연구소의 ARIA 프로그램 책임자인 레바 슈워츠는 통제된 실험실 환경에서 AI 기능을 테스트하고 실제 요인을 적용하는 것이 중요하다고 말했다.
슈워츠는 “영향력을 제대로 측정하려면 실험 환경을 잘 마련하는 것 이상의 노력이 필요하다”라며 “ARIA는 모델을 넘어 AI 전반적인 기술을 모두 고려하고, 실제 사용 환경 내 AI와의 상호작용을 검토하고, 다양한 맥락에서 시스템을 평가할 것이다. 이를 통해 이러한 기술의 실제 효과를 넘어 보다 광범위하고 통합적인 관점을 제공할 것이다”라고 밝혔다.
dl-ciokorea@foundryco.com
