[인더스트리뉴스 김관모 기자] AI 컴퓨팅 기술 전문기업 엔비디아(CEO 젠슨 황)는 GPU 가속 애플리케이션 프레임워크인 ‘엔비디아 자비스(NVIDIA Jarvis)’를 5월 15일 발표했다. 자비스는 기업들이 영상 및 음성 데이터를 활용해 자사 제품과 고객, 그리고 산업에 최적화된 최첨단 대화형 AI 서비스를 구축하도록 돕는 것이 특징이다.

AI컴퓨팅과 추론 기능 추가… 기업 및 고객 고유의 용어 이해할 수 있어

엔비디아는 “재택근무, 원격진료, 원격수업이 늘어나면서 고객지원부터 실시간 기록, 화상통화에 이르는 맞춤형 언어 기반 AI 서비스에 대한 수요가 급증하고 있으며, 이를 통해 사람들의 생산성과 연결성이 유지되고 있다”며 이번 자비스 구축의 배경을 설명했다.

자비스 기반의 대화형 AI 제품 및 서비스를 최초로 활용하고 있는 기업들로는 AI 기반의 콜센터 솔루션을 제공하는 보카(Voca), 금융 분야 AI 기술 기업 켄쇼(Kensho), 일정 관리를 위한 가상 어시스턴트 스퀘어(Square)가 있다.

엔비디아 창립자 젠슨 황(Jensen Huang) CEO는 “대화형 AI는 애플리케이션이 뉘앙스와 상황을 이해하고 커뮤니케이션하는 능력을 갖기 때문에 많은 산업에 걸쳐 미래의 중심이 될 것”이라며, “엔비디아 자비스는 의료 및 금융 서비스, 교육 및 소매 분야 기업들이 빠른 속도와 정확성으로 고객 지원을 자동화하도록 도울 것”이라고 설명했다.

자비스를 기반으로 구축된 애플리케이션은 AI 컴퓨팅을 위한 새로운 엔비디아 A100 텐서 코어(Tensor Core) GPU의 혁신 기술뿐만 아니라, 추론을 위한 엔비디아 텐서RT(TensorRT)의 최신 최적화 기능을 활용할 수 있다. 이를 통해, 개발자는 실시간 상호작용에 필요한 수준인 300밀리초 임계값보다 더 빠르고 강력한 비전 및 음성 모델을 사용해 전체 멀티모달(multimodal) 애플리케이션을 실행할 수 있다.

자비스는 개발자가 각 기업 및 고객 고유의 용어를 이해할 수 있는 엔드-투-엔드 실시간 대화형 AI 애플리케이션을 쉽게 생성, 배치 및 실행할 수 있도록 GPU 가속 소프트웨어 스택과 툴을 제공한다.

시장조사기관 IDC의 AI 소프트웨어 플랫폼 리서치 데이비드 슈멜(David Schubmehl) 티렉터 는 “모든 규모의 조직들이 잘 훈련된 가상 비서와 챗봇을 사용하여 고객 서비스를 제공하고 비즈니스를 성장시키는 것의 가치를 깨닫기 시작하면서, 대화형 AI 시장의 급속한 성장세가 지속되고 있다”며, “IDC는 자동화된 고객 서비스 에이전트 및 디지털 어시스턴트 같은 대화형 AI 활용사례와 관련한 전세계 지출이 2019년 58억 달러에서 2023년 138억 달러로 성장해 연평균 24%의 복합성장률을 기록할 것으로 보고 있다”고 말했다.

개인화된 대화형 경험을 제공하기 위해서는 기업들이 자사 제품 및 고객 요구사항에 특정된 데이터에 대해 언어 기반 애플리케이션을 훈련시켜야 한다. 하지만, 서비스를 처음부터 구축하려면 AI 관련 전문지식이 풍부해야 할 뿐 아니라, 모델을 훈련시키기 위한 대량의 데이터와 컴퓨팅 리소스는 물론, 새로운 데이터로 모델을 정기적으로 업데이트하는 소프트웨어가 필요하다.

자비스는 대화형 AI를 위한 엔드-투-엔드 딥러닝 파이프라인을 제공해 이러한 과제를 해결한다. 또한, 자연어 이해를 위해 엔비디아의 메가트론 버트(Megatron BERT)와 같은 최첨단 딥러닝 모델을 포함한다. 기업들은 엔비디아 네모(NVIDIA NeMo)를 사용해 데이터에서 이러한 모델을 미세 조정하고, 텐서RT를 통해 추론을 최적화하며, 엔비디아의 GPU 최적화 소프트웨어 카탈로그인 NGC에서 이용할 수 있는 헬름(Helm) 차트를 활용해 클라우드 및 엣지(edge) 환경에 배치할 수 있다.

엔비디아의 대화형 AI 플랫폼을 조기 도입해 활용하고 있는 기업들

전세계 주요 기업들은 엔비디아의 대화형 AI 플랫폼을 활용해 서비스 품질을 향상시키고 있다.

도시바(Toshiba), AT&T를 포함한 세계 선도 기업들은 더욱 빠르고 자연스러운 대화형 경험을 제공하기 위해 엔비디아를 활용하는 보카의 AI 가상 에이전트를 이용하고 있다. 보카는 고객의 말과 대화 의도를 완벽하게 이해하기 위해 AI를 활용한다. 이를 통해 다양한 음성 톤과 음성 단서를 자동으로 식별하여 고객이 말하는 것과 고객이 의미하는 것을 구별해낸다. 또한, 엔비디아 AI 플랫폼이 제공하는 확장성을 통해 고객 대기 시간을 크게 단축시켰다.

보카의 공동창립자 겸 CTO 앨런 베커(Alan Bekker)는 “콜센터에서는 낮은 레이턴시(대기시간)가 매우 중요하다. 엔비디아 GPU를 통해 우리 에이전트는 최고의 정확도로, 1초 이내에 듣고, 이해하고, 응대할 수 있다”며 “현재 우리 가상 에이전트는 일반 고객 서비스 요청부터 지불 거래 및 기술 지원에 이르는 모든 통화의 70-80%를 처리하고 있다”고 말했다.

켄쇼는 엔비디아의 대화형 AI 플랫폼을 활용해 금융 분야 음성 인식 솔루션인 스크라이브(Scribe)를 개발했다. 엔비디아 기술이 적용된 스크라이브는 유선 회의, 혹은 다른 금융 오디오 관련 상용 솔루션보다 정확성 측면에서 최대 20% 더 우수한 성능을 제공한다.

켄쇼의 게오르그 쿠스코(Georg Kucsko) AI 리서치 총괄은 “우리는 딥 러닝을 통해 엔드-투-엔드 자동 음성인식을 구현하는 방법을 연구하기 위해 엔비디아와 긴밀히 협력하고 있다”며, “엔비디아와 새로운 모델을 훈련시켜 AI를 적용하지 않은 기존의 접근방식과 비교해 재무 전문 용어에 대한 보다 높은 정확도를 제공하고 있다. 이를 통해 고객들에게 단 몇 분 단위로 적시에 정보를 전달하고 있다”고 설명했다.

한편, 스퀘어는 영업사원들이 AI를 이용해 자동으로 고객과의 약속을 확인, 취소, 변경하고 보다 전략적이며 자유롭게 고객과 커뮤니케이션할 수 있는 AI 가상화 어시스턴트를 개발했다. 스퀘어의 가보르 안젤리(Gabor Angeli) 대화형 AI 담당 총괄은 “스퀘어 어시스턴트는 고객 질문의 75%를 이해하고 도움을 줄 수 있을 뿐 아니라, 10%의 더 많은 사람들이 약속을 지킬 수 있도록 한다”며, “GPU를 사용하면 CPU보다 10배 빠른 속도로 모델을 훈련하여 보다 정확하고 자연스러운 상호작용이 가능케 함으로써, 고객의 비즈니스 성장을 도모할 수 있다”고 말했다.

김관모 기자 다른기사 보기