정서 분석(Sentiment analysis)이라 통계, NLP, ML을 사용하여 의사소통에 담겨진 정서적 의미를 판단하는 기법이다. 기업들은 정서 분석을 활용하여 고객 메시지, 콜센터 상호작용, 온라인 리뷰, 소셜 미디어 게시물 등의 콘텐츠를 평가한다. 정서 분석은 회사, 제품, 서비스 또는 이런 제품이나 서비스의 기능에 대한 태도를 추적할 수 있다.
예시
오늘날 웹 상에서 특히 지배적인 정서 분석의 예는 버몬트대학교(University of Vermont)의 CSL(Computational Story Lab)의 프로젝트인 헤도노미터(Hedonometer)이다. CSL 그룹은 일일 행복도 점수를 계산하기 위해 트위터의 총 트래픽 중 약 1/10을 차지하는 5,000만 개 이상의 영어 트윗을 매일 분석한다.
접근방식은 간단하다. 해당 연구소는 보편적으로 사용되는 단어를 1만 개를 수집하고 아마존(Amazon)의 MT(Mechanical Turk) 서비스를 통해 사람들이 각 단어에 1~9점의 행복도 점수를 매기도록 했다. 중립적인 단어와 맥락에 크게 의존하는 단어는 제외되고 나머지의 점수를 합산하고 평균을 구하여 일일 행복도 점수를 판단했다. 점수가 기입된 단어 목록은 해당 프로젝트의 웹 사이트에서 영어와 기타 9개 언어로 제공되고 있다.
이 ‘단어 주머니’ 접근방식은 오래된 정서 분석 방식이라고 IDC의 일반 AI 및 정보 지식 발견 수석 조사 분석가 헤일리 서덜랜드가 말했다. 그녀는 “그러나 아주 큰 텍스트 세트에는 꽤 유효할 수 있다”라고 말했다.
헤도노미터 정서 분석의 보편적인 유형인 단순한 긍정-부정 척도를 사용하는 것이다. 헤노도미터는 1~9점 척도를 사용하지만 다른 접근방식들은 긍정, 부정, 중립 등 3개 값을 사용하거나 백분율 점수를 준다. 좀더 자세한 접근방식은 다른 감정도 감지할 수 있다고 서덜랜드가 말했다. 그녀는 “도구별로 다르다. 슬픔, 분노, 흥분이 가장 보편적인 것들이다”라고 말했다.
회사들은 여러 더욱 미묘한 버전의 정서 분석을 활용하여 사람들이 불만족스러워 하거나 불편함을 느끼고 있는지 감지한다.
또 다른 유형의 정서 분석은 의도 감지이다. 그녀는 “그들이 어떤 행동을 취할지 파악하고 있는 것이다. 예를 들어, 영업 부문에서는 구매에 대한 관심 유무를 파악하고자 한다”라고 말했다.
정서 분석은 단순히 텍스트를 분석하는 것이 아닐 수 있다. 서덜랜드는 “일각에서는 얼굴 분석을 사용하고 음성 신호를 사용하기도 한다. 흥미롭게도, 감정 AI에 집중하고 있는 기업들이 보이고 있다. 사람들이 실제로 하는 말 외에 어조를 파악함으로써 비꼼 등을 더 쉽게 파악할 수 있다”라고 말했다.
정서 분석의 예는 다양하다. 오바마 행정부는 정서 분석을 활용하여 대중의 의견을 측정했다. WHO의 백신 컨피던스 프로젝트(Vaccine Confidence Project) 또한 연구의 일환으로 정서 분석을 활용하여 소셜 미디어, 뉴스, 블로그, 위키피디아, 기타 온라인 플랫폼을 살펴본다.
올 봄, 구글 클라우드는 IIS(Intelligent Impact Solution)를 공개했다. 여기에는 정서 분석 구성요소가 포함되어 있다. 이를 통해 정부 기관이 의사소통 노력의 초점을 맞추고 코로나19 백신 접종에 관한 변화하는 생각과 행동을 파악할 수 있다.
서덜랜드는 “여러 국가와 지방자치단체가 코로나19 백신 접종 전략을 위한 정보를 확보하는 데 도움이 된다”라고 말했다.
도구
기본적인 수준의 정서 분석에는 통계 또는 지도 또는 준 지도 학습 알고리즘에 기초한 머신러닝이 수반된다. 헤도노미터와 마찬가지로 지도 학습에는 데이터 세트에 점수를 매기는 인간의 작업이 필요하다. 준 지도 학습의 경우 자동화된 학습과 정기 점검이 조합되기 때문이다.
딥러닝은 정서 분석을 수행하는 또 다른 수단이다. IDC의 서덜랜드는 “딥러닝은 인간의 두뇌가 작동하는 방식에서 영향을 얻은 다계층 신경망을 사용한다”라고 설명했다. 이 더욱 정교한 수준의 정서 분석은 문장 전체, 심지어 대화 전체를 살펴보고 감정을 판단할 뿐 아니라 이를 활용하여 음성과 비디오를 분석할 수 있다.
주요 고객 지원 플랫폼 및 마케팅 제공업체들과 마찬가지로 모든 대형 클라우드 기업들이 정서 분석 도구를 제공하고 있다. 일반적인 AI 제공업체들도 저서 분석 기능을 포함하고 있다고 서덜랜드가 말했다.
정서 분석에 관심이 있는 기업들은 우선 이미 사용하고 있는 도구와 기술을 살펴보아야 한다고 포레스터 리서치의 부사장 겸 수석 분석가 보리스 에벨슨이 말했다. “정서 분석이 포함된 설문조사 도구가 있는가? 고객 피드백 관리 플랫폼에도 기본적이거나 꽤 괜찮은 정서 분석이 있다”라고 그는 설명했다.
또한 IBM 왓슨 디스커버리(Watson Discovery)와 마이크로 포커스 IDOL(Micro Focus IDOL) 등 정서 분석이 있는 범용 분석 도구도 있다.
에벨슨은 “우리는 고객들이 일반적으로 문서 수집 및 마이닝 또는 고객 경험 프로세스의 일환으로 정서 분석을 필요로 하기 때문에 다음으로 거기를 살펴보도록 조언한다”라고 말했다.
정서 분석, NLP, ML
자체 정서 분석 플랫폼을 구축하는 기업은 소수에 불과하다. 이를 위해서는 내부 전문가와 대규모 훈련 데이터 세트가 필요하기 때문이다. 하지만 기존의 플랫폼으로 충족되지 않은 구체적인 요구사항이 있는 기업들이라면 자체 도구가 필요할 수 있다. 이런 경우에 기업들은 일반적으로 오픈소스 라이브러리로 시작하여 자체적인 도구를 만든다.
정서 분석을 수행할 수 있는 NLP 라이브러리로는 허깅페이스(HuggingFace), 스페이시(SpaCy), 플레어(Flair), 앨런NLP(AllenNLP) 등이 있다. 또한, 파이캐럿(PyCaret)과 패스트.AI(Fast.AI) 등의 일부 로우코드 언어 도구도 정서 분석을 지원한다.
딥러닝의 경우 BERT, XLNet, GPT3 등의 트랜스포머 모델을 통해 정서 분석을 수행할 수 있다. GPT3는 심지어 훈련 데이터 없이 정서 분석을 수행할 수 있다.
자체 플랫폼을 구축하면 경쟁 우위를 점할 수 있다고 캡제미니(Capgemini)의 AI 및 분석 부사장 댄 시미언이 말했다.
그는 “대기업 사이에서 이런 트렌드가 일부 보이고 있다. 경쟁자와 마찬가지로 기성 도구를 구매하는 경우 경쟁 우위를 얻을 수 없다”라고 말했다.
API
자체 플랫폼을 구축하는 기업들이 취하는 보편적인 접근방식은 API를 통해 정서 분석 기능을 가져오는 것이다. 아마존 컴프리헨드(Amazon Comprehend), 애저 코그니티브 서비스(Azure Cognitive Services), 구글 내추럴 랭기지 API(Google Natural Language API) 등 모든 주요 클라우드 제공자들이 이 서비스를 제공한다. IBM 왓슨도 API가 있다.
캡제미니의 시미언은 “결국, 문제는 이런 API가 얼마나 좋으냐이다”라고 말했다. 그리고 비용이 있다고 그가 덧붙였다. 그는 “각 모든 API 호출 시 비용이 발생한다. 이런 특정 API를 호출하는 것이 경제적인지 확인해야 한다. 하지만 중소기업에 좋은 솔루션이 될 수 있다”라고 말했다.
데이터 세트
정서 분석에 대한 기계 언어와 딥러닝 접근방식은 대규모 훈련 데이터 세트가 필요하다. 상업적으로 공개되어 있는 도구는 일반적으로 대규모 데이터베이스가 필요하지만 좁은 산업 영역에 집중되지 않고 매우 포괄적인 경향이 있다.
맥킨지(McKinsey & Co)의 준 파트너 브라이언 리차드슨은 “정서를 적절히 검토하는 방법을 배우기 위해서는 실제로 수십 억 개의 단어와 예가 필요하다”라고 말했다.
그는 “단일 기업, 소매, 은행 등의 경우 고객에 대한 충분한 데이터를 확보하여 모델을 구축하기가 어렵다. 하지만 전달 학습 등의 도구를 통해 NLP 모델은 수 조 개의 기록을 통해 매우 광범위한 말뭉치를 기준으로 캘리브레이션 된 후 다양한 사용 사례에 적용되고 있다”라고 말했다.
즉, 영역별 훈련 데이터 세트가 작은 기업은 상용 도구로 시작하고 자체적인 필요에 맞출 수 있다.
주요 사용 사례
오늘날 업계의 주요 정서 분석 사용 사례는 콜센터에서 고객 의사소통과 통화 전사본을 분석하는 것이다.
예를 들어, 신제품 출시 후 부정적인 정서가 증가하면 무엇인가 잘못되고 있다는 조기 신호일 수 있으며, 기업은 이를 분석하여 어떤 기능이 문제를 일으키고 있는지 파악하거나 문제 처리에 더 많은 대리인을 투입할 수 있다.
현재 고객 지원에 더 많은 웹 기반 화상통화가 포함되는 상황에서 점차 많은 비디오 훈련 데이터가 등장하기 시작했다.
고객 경험에 대한 정서 분석을 수행하기 위해 사용되는 같은 종류의 기술을 직원 경험에도 적용할 수 있다. 예를 들어, 컨설팅 대기업 젠팩트(Genpact)는 10만 명의 직원을 통해 정서 분석을 사용하고 있다고 해당 기업의 글로벌 분석 리더 아마레시 트리패시가 말했다.
그는 “우리는 일반 챗봇인 AI 도구를 사용하고 있다. HR직원들이 모두에게 연락하여 모든 것이 잘 되고 있으며 지원을 받고 있다고 느끼고 있는지 확인하는 대신에 챗봇이 있어 챗봇과 대화할지 여부를 선택할 수 있다”라고 말했다.
이를 통해 기업은 직원들이 지원받고 있다고 느끼지 못하는 영역을 찾을 수 있다. 그는 “우리는 우리가 잠재적으로 도울 수 있는 영역을 찾고 있다. 우리는 대화를 나눈다. 우리는 사람들에게 도움이 되는 지원을 제공하는 방법을 알고 있기 때문에 이는 매우 큰 도움이 된다”라고 말했다.
정서 분석을 브랜드 관리에도 사용하여 회사가 고객 기반층이 자사의 제품에 대해 어떻게 느끼고 있는지 파악하고 이런 고객들에게 마케팅 메시지가 집중되도록 할 수 있다.
콘스텔레이션 리서치(Constellation Research)의 부사장 겸 수석 분석가 앤디 투라이는 “홍보에 특히 유용하다. 누군가 부정적인 이야기를 하는 경우 위기 관리를 위해 일찍 파악하는 것이 좋다. 아니면 기업을 운영하고 있는 경우 사람들이 좋아하는지 여부를 알 수 있다”라고 말했다.
예전의 접근방식은 설문조사서를 송부하는 것이었다고 그가 말했다. 데이터를 수집하고 분석하는 데 며칠 또는 몇 주가 소요되었다. 그는 “하지만 이제 사람들은 트위터 등에 솔직하게 표현하는 것으로 보인다”라고 말했다. dl-ciokorea@foundryco.com
