10년 내 기업 분야 뒤흔들 미래 기술··· ‘양자 AI’의 현재와 과제 진단

양자 컴퓨팅이 AI를 혁신할까? 이에 대한 대답은 적합한 도구, 스킬, 플랫폼이 풍부하게 등장할 만큼 개발자 생태계가 발전할 지 여부에 달려있다. 양자 AI가 기업 현장에서 활용될 수 있으려면 최소한 다음의 핵심 이정표에 도달해야 한다.

– AI 빌드와 트레이닝에 있어, 양자 컴퓨팅이 전통적인 방식보다 확실한 이점을 갖는 주목할 만한 애플리케이션을 찾아야 한다.
– 양자 AI를 빌드, 트레이닝, 배포할 수 있는 오픈 소스 프레임워크가 광범위하게 도입되어야 한다.
– 양자 AI 애플리케이션들을 개발할 숙련된 개발자 생태계를 상당한 규모로 발전시켜야 한다.

이런 이정표에 도달하기까지 최소 몇 년은 걸릴 전망이다. 현재 양자 AI 산업이 어느 정도 성숙했는지 살펴본다. 

양자 컴퓨팅이 뚜렷한 이점을 갖는 AI 애플리케이션, 아직은 부족
양자 AI는 ML, DL, 기타 데이터를 동력으로 동작하는 AI 알고리즘을 꽤 잘 처리할 수 있다. 

현재 양자 AI는 개념 증명 단계를 훨씬 더 넘어섰다. 그러나 양자 방식이 전통적인 방식보다 AI의 워크로드 추론과 트레이닝에 필요한 매트릭스 작업을 더 잘 처리한다고 주장할 수 있는 단계는 아니다.

AI와 관련해, 중요한 기준은 양자 플랫폼이 전적으로 전통적인 폰 노이먼 아키텍처에 기반을 둔 컴퓨터보다 더 빠르게 ML과 DL 워크로드를 처리할 수 있는지 여부이다. 양자 컴퓨터가 전통적인 방식보다 이를 더 잘 처리할 수 있는 AI 애플리케이션은 아직 등장하지 않았다. 양자 AI가 성숙한 엔터프라이즈 기술이 되기 위해서는, 이런 워크로드를 전통적인 방식보다 더 빨리, 정확히, 효율적으로 처리할 수 있는 AI 애플리케이션이 최소한 몇 개는 등장해야 한다.

어쨌든, 양자 AI 분야의 개척자들은 기능적 프로세스 알고리즘들을 양자 컴퓨팅 아키텍처의 수학적 속성들과 일치시켰다. 다음은 현재까지 등장한 양자 AI의 주요 알고리즘 접근법들이다.

– 진폭 인코딩(Amplitude encoding): 이는 양자 상태 진폭(Quantum-state amplitudes)을 ML과 DL 알고리즘이 수행하는 연산의 인풋 및 아웃풋과 연결시킨다. 진폭 인코딩은 복잡한 다차원 변수를 기하급수적으로 다차원 변수의 기하급수적으로 조밀하게 표현하는 통계 알고리즘을 구현시킨다. 이는 통계 ML 모델 트레이닝에서 지원 벡터 머신의 최소 제곱 버전이나 선형 최소 제곱 회귀(Least-squares linear regressions) 등 선형(연립 일차) 방정식 체계를 줄이는 매트릭스(행렬) 역변환을 지원한다. 이는 개발자가 전체 데이터 세트의 특징을 반영하는 진폭 상태에서 양자 시스템을 시작해야 하는 경우가 많다.

– 진폭 증폭(Amplitude amplification): 이는 특정한 아웃풋 값을 제시하는 블랙박스 함수의 고유 인풋을 높은 확률로 찾아내는 알고리즘을 사용한다. 진폭 증폭은 k-중앙값과 KNN(K-Nearest Neighbors) 같은 비구조화 검색 작업으로 변환할 수 있는 ML 알고리즘에 적합하다. 이는 임의성이 상태 간 추계적 트랜젝션에서 비롯되는 랜덤 워크를 통해 가속화할 수 있다. 상태의 양자 중첩에 내재된 것과 상태 측정으로 인한 파동 함수의 붕괴 사이를 예로 들 수 있다.

– 양자 어닐링(Quantum Annealing): 이는 특정 후보 함수 세트에 대한 머신러닝 함수의 국소 최소값과 최대값을 결정한다. 이는 양자 ML 시스템의 가능한 모든 균등 가중 상태의 중첩에서 시작된다. 이후 선형 편미분 방정식을 적용, 양자-기계 시스템의 시간적 전개를 유도한다. 궁극적으로 양자 시스템의 기저(바닥) 상태와 관련된 잠재적인 에너지와 운동 에너지의 합인 해밀토니안(Hamiltonian)으로 불리는 연산자가 도출된다.

현재 구현된 AI 활용 방법으로는, 이런 기법을 지렛대로 삼아 오토 인코더와 GAN, 강화 학습 에이전트 같은 까다로운 계산 워크로드의 코프로세서로 양자 플랫폼을 이용하는 접근법 등이 있다. 

향후 양자 AI가 발전하면, 고도의 다차원적 문제 영역과 다모드 데이터 세트를 대상으로 하는 복잡한 확률 계산 작업이 수반되는 AI의 큰 도전과제(Grand challenges)에 적용을 했을 때 이런 알고리즘 접근법들은 그 이점을 증명해 보일 것이다. 

지금까지를 기준으로 했을 때, 이렇게 양자로 보완을 하는 방식들이 구현될 수 있는 까다로운 도전과제들은 뉴로모픽 인지 모델(neuromorphic cognitive models), 불확실성 아래 추론(reasoning under uncertainty), 복잡한 시스템의 표현(representation of complex systems), 협력적 문제 해결(collaborative problem solving), 어댑티브 머신러닝(adaptive machine learning), 트레이닝 병렬화(training parallelization) 등이 있다.

그러나 양자 라이브러리, 플랫폼, 도구들이 이런 특정 도전과제에서 스스로를 증명해 보여도, 여전히 엔드-투-엔드 머신러닝 파이프라인에 위치한 전통적인 AI 알고리즘과 함수가 이용될 것이다.

광범위하게 보급된 오픈소스 모델링과 트레이닝 프레임워크가 부족하다
양자 AI가 유용한 엔터프라이즈 기술로 성숙하기 위해 필요한 것이 있다. 이런 애플리케이션들을 개발, 트레이닝, 배포하는데 사용할 수 있는 지배적인 프레임워크이다. 구글의 텐소플로우 퀀텀(TensorFlow Quantum)은 이 부분에서 승산이 있는 기술이다. 올해 3월 발표된 텐소플로우 퀀텀은 널리 도입된 텐소플로우 오픈소스 AI 라이브러리와 모델링 프레임워크를 확장시키는 새로운 소프트웨어 전용 스택이다.

텐소플로우 퀀텀은 현재 AI 분야의 종사자들이 이용하는 지배적인 모델링 프레임워크 중 하나로 다양한 양자 컴퓨팅 플랫폼을 지원한다. 구글 X R&D 부문이 개발했으며, 데이터 사이언티스가 파이썬 코드를 사용해 표준 케라스(Keras) 함수에 기반을 둔 양자 ML 및 DL 모델을 개발할 수 있는 프레임워크이다. 또한 기존 텐소플로우 API와 호환되는 양자 서킷 시뮬레이터와 양자 컴퓨팅 프리미티브(Primitives)를 제공한다.

개발자는 양자 분류, 양자 제어, 양자 근사 최적화 같은 AI 유즈 케이스 대상 지도형 러닝에 텐소플로우 퀀텀을 이용할 수 있다. 메타 러닝, 해밀토니언(Hamiltonian) 러닝, 샘플링 서멀 상태(Sampling thermal states) 같은 고급 양자 러닝 작업을 실행시킬 수 있다. 프레임워크를 사용, 딥 페이크, 3D 프린팅, 기타 고급 AI 애플리케이션에 사용되는 GAN의 중심인 감별적 워크로드와 생성적 워크로드 모두를 처리하는 하이브리드 형태의 양자/전통적 모델을 트레이닝 할 수 있다.

구글은 양자 컴퓨팅이 아직은 AI 워크로드들을 제대로 처리할 수 있을 만큼 충분히 성숙하지 않았다는 점을 인식, 전통적인 컴퓨팅 아키텍처에 한 발을 걸친 상태에서 여러 AI 유즈 케이스를 지원하는 프레임워크를 고안했다. 

개발자는 텐소플로우 퀀텀을 이용, 러닝 태스크를 양자와 전통적인 방식이 결합된 하이브리드 방식으로 처리하는 프로토타입 ML 및 DL 모델을 신속히 개발할 수 있다. 또 이 도구를 이용, 전통적인 데이터세트와 양자 데이터세트를 모두 빌드할 수 있다. 전통적인 데이터는 텐소플로우가 처리하며, 양자 데이터는 양자 서킷과 양자 연산자로 구성된 양자 익스텐션이 처리한다.

구글은 ML 모델을 처리하는 대안적 양자 컴퓨팅 아키텍처와 알고리즘에 대한 첨단 연구에 도움을 줄 수 있는 방향으로 텐소플로우 퀀텀을 개발했다. 덕분에 ML 워크로드에 최적화된 여러 다양한 양자, 하이브리드 처리 아키텍처를 실험하는 컴퓨터 사이언티스트들에게 유용한 새로운 기술이 구현됐다.

이를 위해, 텐소플로우 퀀텀에는 양자 컴퓨터를 프로그래밍할 수 있는 오픈소스 파이썬 라이브러리인 크리크(Cirq)가 포함되어 있다. 이는 현재 양자 시스템의 ‘오류 있는 중간 규모 양자 기술(NISQ: Noisy Intermediate Scale Quantum)’ 서킷 특징이 반영된 양자 게이트를 프로그래밍적으로 생성, 편집, 호출할 수 있는 기능을 지원한다. 

크리크는 시뮬레이션이나 물리적 하드웨어에서 개발자가 지정한 양자 연산을 처리할 수 있도록 도와준다. 양자 연산을 텐소플로우 컴퓨팅 그래프 내부에서 사용할 수 있는 텐소로 변환해 이렇게 한다. 텐소플로우 퀀텀에 없어서는 안되는 크리크는, 양자 서킷 시뮬레이션과 배치 서킷 실행, 자동화된 기대값(Expectation)과 양자 그레이디언트(Gradients)를 지원한다. 또한 개발자는 NISQ 머신을 위한 효율적인 컴파일러, 스케줄러, 기타 알고리즘을 빌드할 수 있다.

구글은 양자 처리를 하이브리드화 할 수 있는 완전한 AI 소프트웨어 스택을 제공하는 것에 더해, 텐소플로우 퀀텀이 양자 ML을 시뮬레이션 할 수 있는 보다 전통적인 칩 아키텍처의 범위를 확대하는 방법을 찾고 있다. 구글은 또 도구가 지원하는 맞춤형 양자 시뮬레이션 하드웨어 플랫폼을 다양한 벤더의 GPU와 자신의 텐소 프로세싱 유닛 AI 가속(Tensor Processing Unit AI-accelerator) 하드웨어 플랫폼을 포함시켜 확대시킨다는 계획을 발표했다.

구글의 발표들은 빠르게 발전하고 있지만, 아직은 성숙기에 도달하지 못한 양자 컴퓨팅 시장을 반영한 것이다. 구글은 가장 인기있는 오픈소스 AI 개발 프레임워크를 확장, 다양한 AI 관련 이니셔티브에 텐소플로우 퀀텀이 사용되도록 촉진할 계획이다.

그러나 텐소플로우 퀀텀의 시장화에 앞서 출시된 몇몇 오픈소스 양자 AI 개발 및 트레이닝 도구들이 존재한다. 이들 경쟁 양자 AI 도구들은 구글 상품과 다르게, 완전한 애플리케이션으로 구현되는 더 큰 규모의 개발 환경, 클라우드 서비스, 컨설팅 서비스 패키지의 일부로 구성되어 있다. 다음은 이런 풀 스택 양자 AI 상품 3종이다.

– 2019년 11월 발표된 애저 퀀텀(Azure Quantum)은 양자 컴퓨팅 클라우드 서비스이다. 현재 프라이빗 프리뷰 단계로 올해 말 정식 출시될 계획이다. 애저 퀀텀에는 마이크로소프트가 개발한 양자 지향형 Q# 언어, 파이썬, C#, 기타 다른 언어들을 지원하는 마이크로소프트의 오픈소스 퀀텀 디벨롭먼트 키트(Quantum Development Kit)이 포함된다. 이 키트에는 ML 암호화, 최적화, 기타 다른 분야를 대상으로 한 양자 앱 개발용 라이브러리들도 포함되어 있다.

– 2019년 12월 발표된 아마존 브라켓(Amazon Braket)은 아직 프리뷰 상태다. 이는 완전 관리형 AWS 서비스이다. ML 등 양자 알고리즘을 빌드한 후, 시뮬레이션 하이브리드 양자/전통적 컴퓨터에서 테스트할 수 있는 단일 개발 환경을 제공한다. 개발자는 다양한 하드웨어 아키텍처에서 ML과 다른 양자 프로그램을 실행시킬 수 있다. 개발자는 아마존 브라켓 개발자 툴킷을 사용해 양자 알고리즘을 빌드할 수 있고, 주피터 노트북스(Jupyter Notebooks) 같은 친숙한 도구를 사용할 수 있다.

– IBM 퀀텀 익스피리언스(Quantum Experience)는 팀이 양자 애플리케이션을 탐구할 때 무료로 활용할 수 있는 클라우드 기반 환경이다. 개발자에게 AI를 비롯한 양자 프로그램의 학습, 개발, 트레이닝, 실행에 이용할 수 있는 첨단 양자 컴퓨터에 대한 접근권을 제공한다. 이는 오픈소스 개발자 도구인 IBM 퀴스키트(Qiskit), 양자 컴퓨터와 관련된 AI, 시뮬레이션, 최적화, 금융 애플리케이션을 실험할 수 있는 여러 분야의 양자 알고리즘 라이브러리들로 구성돼 있다.

이런 양자 AI 풀스텍 벤더들이 텐소플로우 퀀텀을 솔루션 포트폴리오에 포함시키는 정도가 텐소플로우 퀀텀의 도입 여부 및 확대를 결정할 것이다. 클라우드 벤더들이 이미 각자의 AI 스택에서 텐소플로우를 지원하고 있다는 점을 감안하면, 이렇게 될 확률이 높다.

텐소플로우 퀀텀이 단독으로 AI SDK 분야를 견인하지는 않을 것이다. 페이스북이 개발한 파이토치(PyTorch)를 중심으로, 데이터 사이언티스트들의 관심을 차지하기 위해 텐소플로우와 경쟁하고 있는 다른 오픈소스 AI 프레임워크들이 존재한다. 이런 경쟁 프레임워크들에 양자 AI 라이브러리와 도구들이 추가되어 확대될 시기는 향후 12~18개월 사이로 예상되고 있다.

이 분야를 개척하는 벤더들을 살펴보면 새롭게 부상하는 ‘멀티 툴’ 양자 AI 산업의 현황을 개략적으로 파악할 수 있다. 제너두의 페니레인(PennyLane)은 하이브리드 양자/전통적 플랫폼에서 실행되는 AI 개발 및 트레이닝용 오픈소스 프레임워크이다.

2018년 11월에 출시된 페이레인은 양자 ML, 자동 감별, 하이브리드 양자-전통적 컴퓨팅 플랫폼의 최적화에 이용할 수 있는 크로스플랫폼 파이썬 라이브러리이다. 텐소플로우, 파이토치, 넘파이(NumPy) 같은 기존 AI 도구를 사용해 빠르게 양자 서킷의 프로토타입을 구현하고 최적화할 수 있다. 

페이레인은 특히 장치를 가리지 않는다. 스트로베리 필즈(Strawberry Fields), IBM Q, 구글 크리크, 리제티 포레스트 SDK(Rigetti Forest SDK), 마이크로소프트 QDK, 프로젝트Q(ProjectQ)에서 실행될 동일한 양자 서킷 모델을 구현할 수 있다.

아직 숙련된 개발자들로 구성된 규모 있는 생태계가 없다
킬러 앱과 오픈소스 프레임워크가 발전하면서, 모든 애플리케이션에서 이 기술이 활용되도록 혁신을 할 수 있는 숙련된 전문 양자-AI 개발자들로 구성된 생태계 조성에 박차가 가해질 것이다.

양자 AI 개발자 생태계가 성장하고 있는 중이다. 주요 양자 AI 클라우드 벤더들인 구글, 마이크로소프트, AWS, IBM 모두 개발자 공동체를 성장시키려 많은 투자를 하고 있다. 이와 관련된 벤더들의 이니셔티브를 소개한다.

– 마이크로소프트는 QDK를 개발자 도구와 비주얼 스튜디오에 통합, 하니웰(Honeywell)과 이온Q(IonQ), QCI용 양자 하드웨어 플랫폼을 위한 양자 프로그램을 빌드하고, 이런 플랫폼에서 프로그램 기능을 시뮬레이션하는데 사용할 수 있도록 만들 계획을 갖고 있다.

– AWS 상품의 경우, 과학자와 연구원, 개발자들이 단일 환경에서 양자 하드웨어 공급업체(D-웨이브, 이온Q, 리제티 등)의 컴퓨터에 대한 실험을 시작할 수 있도록 되어있다. 이 상품의 사용자들은 조직이 미래를 계획하면서 내부적으로 경험을 축적하기 위한 목적에서 양자 컴퓨팅 하드웨어를 탐구, 평가, 실험할 수 있다.

– IBM은 최근 3년 전에 만든 양자 개발자 생태계인 Q 네트워크를 확대한다는 계획을 발표했다. 20만 명 이상의 사용자가 IBM 퀀텀 익스피리언스를 매개체로 IBM의 양자 시스템과 시뮬레이터를 이용하고 있는 생태계이다. 이 네트워크에 참여하는 사람들은 키스키트, IBM의 양자 전문가 및 리소스를 활용할 수 있다. 또 클라우드를 통해 IBM 퀀텀 컴퓨테이션 센터에 액세스할 수 있다. 양자 컴퓨팅 아키텍처의 실시간 시뮬레이션, AI 등 다양한 워크로드를 지원한다.

이 밖에 D-웨이브(D-Wave), 바이두(Baidu), 앰버플럭스(AmberFlux), 코그니프레임(CogniFrame), 하니웰(Honeywell) 같은 엔터프라이즈 양자 컴퓨팅 산업의 벤더들이 파트너와 고객의 개발 생태계 구축에 필요한 컨설팅 서비스를 제공하고 있다.

도구와 플랫폼에 제약을 받지 않는 양자 AI 개발자 생태계 개발의 경우, 크리에이티브 디스트럭션 랩(Creative Destruction Lab)이 핵심 촉매 역할을 하고 있다. 이 조직의 퀀텀 인큐베이터 스트림(Quantum Incubator Stream)은 창업가와 투자자, 양자 기술 분야의 과학자, 양자 하드웨어 벤더들을 하나로 모아 양자 컴퓨팅, ML, 최적화, 센싱, 기타 양자 기술 응용 분야를 발전시키는 노력을 경주하고 있다. 

이는 D-웨이브 시스템(최신 D-웨이브 시스템 및 소프트웨어 라이브러리에 대한 액세스), IBM(공개 IBM Q 익스피리언스 시스템 및 키스키트 도구에 대한 액세스 및 기술 지원), 리제티(리제티 포레스트 프로그래밍 환경, 클라우드에 연결된 초전도 양자 프로세서와 퀀텀 버추얼 머신에 대한 액세스), 제너두(광자 양자 컴퓨팅용 오픈소스 라이브러리인 스트로베리 필즈, CPU/GPU 실행용 시뮬레이터 수잇, 제나두 클라우드 기반 양자 광자 칩에 대한 액세스)의 양자 컴퓨팅 리소스를 제공한다.

맺음말
양자 AI 시장은 아직 엔터프라이즈 기술에 대한 준비가 되지 않은 상태이다. 그러나 엔터프라이즈용 시장이 성숙해지기 시작한 상태이다.

완전히 성숙한 시장이 되기 위해서는 최소한 위에서 언급한 이정표에 도달해야 한다. 주목할 만한 앱, 오픈소스 개발 환경의 광범위한 도입, 광범위한 개발 생태계 등이 이런 이정표에 해당된다. 

시장을 선도하는 AI 도구들은 이미 이런 이정표에 도달했다. 순수하게 전통적인 컴퓨팅 아키텍처를 기반으로 모델링과 트레이닝을 지원하는 AI 도구들을 일컫는 것이다. 우리는 향후 3~5년 사이에 하이브리드 형태의 양자/전통적 AI가 이 정도로 성숙해질 것으로 내다보고 있다.

양자 AI 시장이 성숙하지 못한 것 때문에 데이터 사이언티스트와 다른 개발자들이 개념 증명, 파일럿 프로젝트, 일부 경우 프로덕션 단계의 배포를 주저해서는 안 된다. 이런 측면에서 다음과 같은 전략적 조언을 제시한다.

양자 AI 분야에서 앞서가기 위해, 애플리케이션 개발자와 데이터 사이언티스트들은 하이브리드형 양자/전통적 컴퓨팅 플랫폼을 이용하는 솔루션을 도입해야 한다. 오토 인코더, GAN, 강화 학습 에이전트 같은 AI 워크로드를 완전히 대체하는 기술이 아닌 코프로세서로 양자 플랫폼을 배포해야 한다. 양자 기반 AI 도구와 함께 구형AI 모델링, 트레이닝 플랫폼에 통합적으로 투자를 해야 한다. 뉴로모픽 인지 모델, 어댑티브 머신 러닝, 트레이닝 병렬화, 기타 첨단 프로젝트에 양자 AI 도구를 적용, 이런 솔루션이 전통적인 컴퓨터 플랫폼보다 확실한 장점을 제공하는 워크로드를 파악해야 한다.

IT 솔루션 공급업체는 이런 성장 기회를 활용하기 위해, 전문 서비스와 파트너십을 확대해야 한다. 양자 AI를 위한 차세대 개발 생태계를 육성하기 위해서이다. 양자 AI 개발 환경을 텐소플로우(새로운 텐소플로우 퀀텀에 초점을 맞춰)와 파이토치 같이 널리 도입된 오픈소스 AI 프레임워크와 통합해야 한다. 또한, 데이터 준비와 모델 개발, 트레이닝, AI 애플리케이션 배포를 단순화 및 가속화하기 위해 양자 AI 도구들에 더 자동화된 ML 기능을 구현해야 한다. 미래에 양자 기반 AI 애플리케이션을 프로덕션 단계로 배포하는 준비를 하기 위해, 양자 AI 라이브러리와 소프트웨어, 서비스를 선도적인 데이터 사이언스 파이프라인 관리, 디봅스, 멀티클라우드 환경에 일치시켜야 한다.

시장 투자자들은 앞으로 몇 년 동안 광범위한 엔터프라이즈 배포가 이뤄지도록, 이런 도구들을 개발하는 양자 기반 AI 솔루션 공급업체에 투자해야 한다. 구체적으로 다양한 소프트웨어 및 하드웨어 백엔드에서 실행될 양자 AI 애플리케이션의 빠른 프로토타이핑을 지원하는 (프레임워크를 가리지 않는)파이썬 라이브러리를 제공하는 제나두의 선례를 따르는 신생 창업회사에 대한 투자를 우선시해야 한다.

* James Kobielus는 퓨처럼 리서치의 리서치 디렉터이자 수석 애널리스트다. 본 기고문의 원문은 이 링크를 통해 확인할 수 있다. 단 회원 가입이 필요하다.dl-ciokorea@foundryco.com