엔비디아, 최신 MLperf AI 추론 벤치마크서 또 기록 경신
  • 최정훈 기자
  • 승인 2020.10.22 17:52
  • 댓글 0
이 기사를 공유합니다

CPU 대비 237배 뛰어난 AI 추론 성능 제공해

[인더스트리뉴스 최정훈 기자] AI 컴퓨팅 기술 선두 주자 엔비디아가 자사의 인공지능(AI) 컴퓨팅 플랫폼이 최신 MLPerf 벤치마크 테스트에서 놀라운 성능을 발휘하며 또 다시 기록을 경신했다고 밝혔다. 이로써, 엔비디아는 하드웨어, 소프트웨어 및 서비스의 AI 성능을 측정하는 업계 유일의 독립 벤치마크 분야에서 선도적인 입지를 굳히게 됐다.

엔비디아는 두 번째 MLPerf 추론 벤치마크에서 데이터센터 및 엣지(edge) 컴퓨팅 시스템에 대한 6개 애플리케이션 영역 모두에 걸쳐 최고 성능을 달성했다고 10월 22일 밝혔다. 해당 테스트는 컴퓨터 비전에 대한 기존 두 가지 영역 외에도, AI 분야에서 가장 빠르게 성장하는 추천 시스템, 자연어 이해, 음성인식, 의료 이미징을 다루는 네 가지 영역을 포함한다. 

엔비디아 A100 GPU [사진=엔비디아]
엔비디아 A100 GPU [사진=엔비디아]

다양한 산업 분야의 조직들은 이미 엔비디아 A100 텐서코어(Tensor Core) GPU의 탁월한 추론 성능을 활용해 AI를 연구활동에 적극 적용하고 있다. 금융 기관은 대화형 AI를 사용해 고객 문의에 신속히 응대하고 있으며, 소매 업체는 AI를 통해 재고를 관리하고 있다. 또한, 의료 서비스 제공업체는 AI를 활용해 수백만 개의 의료 이미지를 분석하여 질병을 보다 정확하게 식별해내고 생명을 구하고 있다.

엔비디아 이안 벅(Ian Buck) 가속 컴퓨팅 담당 부사장 겸 총괄은 “모든 업계가 AI를 통해 새로운 서비스를 제공하고 비즈니스를 성장시킬 수 있는 더 나은 방법을 모색하게 되면서, AI의 활용이 폭발적으로 증가하는 티핑 포인트(Tipping Point)에 도달하고 있다”며,  “MLPerf 테스트에서 기록적인 성과를 달성하기 위해 엔비디아가 일궈낸 결과물들은 기업들에게 우리의 일상을 개선할 수 있는 새로운 수준의 AI 성능을 제공한다”고 설명했다. 

이번 MLPerf 테스트 결과는 엔비디아의 AI 추론 역량이 크게 성장함에 따라 맺은 결실이다. 5년 전만 해도 일부 첨단기술 기업만이 추론을 위해 GPU를 사용했다. 하지만, 엔비디아의 AI 플랫폼이 모든 주요 클라우드 및 데이터센터 인프라 제공업체를 통해 이용가능해지면서, 업계 선도 기업들은 엔비디아의 AI 추론 플랫폼을 활용해 비즈니스 운영을 개선하고 추가 서비스를 제공하고 있다.

더불어, 엔비디아 GPU는 이제 처음으로 퍼블릭 클라우드에서 CPU 보다 더 많은 AI 추론 용량을 제공한다. 엔비디아 GPU의 총 클라우드 AI 추론 컴퓨팅 용량은 2년마다 약 10배씩 증가하고 있다.

AI 추론을 새로운 표준 제시

엔비디아와 그의 파트너사는 엔비디아 데이터센터 GPU, 엣지 AI 가속기, 엔비디아 최적화 소프트웨어 등이 포함된 엔비디아 가속 플랫폼을 이용해 MLPerf 0.7 결과를 제출했다. 

엔비디아가 올해 초 선보인 3세대 텐서(Tensor) 코어와 멀티인스턴스 GPU 기술이 적용된 엔비디아 A100은 레스넷(ResNet)-50 테스트에서 CPU보다 30배 이상 높은 성능을 기록했다. 또한, MLPerf 추론 0.7 벤치마크에 따르면, 새롭게 추가된 데이터센터 추론을 위한 추천 테스트에서 엔비디아 A100은 최신 CPU 대비 237배 뛰어난 성능을 보였다.

이는 단일 엔비디아 DGX A100 서버가 약 1,000대의 듀얼 소켓 CPU 서버와 동일한 성능을 제공할 수 있다는 것을 의미하는 것으로, 기업들이 AI 추천 모델을 연구 단계에서 생산 단계로 전환할 시 높은 비용효율성을 보장한다.

이번 벤치마크 결과는 또한 엔비디아 T4 텐서 코어 GPU가 주요 기업용 서버, 엣지 서버, 그리고 비용 효율적인 클라우드 인스턴스를 위한 견고한 추론 플랫폼임을 보여준다. 엔비디아 T4 GPU는 동일한 테스트에서 CPU 성능을 최대 28배 능가했다. 또한 엔비디아 젯슨 AGX 자비에(Jetson AGX Xavier)는 SoC(시스템온칩) 기반 엣지 디바이스 가운데 단연 독보적인 성능을 제공한다. 

이러한 결과를 얻는 데에는 엔비디아 텐서RT(TensorRT) 추론 최적화, 엔비디아 트라이톤(Triton) 추론 지원 소프트웨어를 포함한 고도로 최적화된 소프트웨어 스택이 필요했다. 두 소프트웨어 모두 엔비디아의 소프트웨어 카탈로그인 NGC에서 이용할 수 있다. 

한편, 엔비디아 외에도, 11개의 엔비디아 파트너사가 엔비디아 GPU를 활용해 총 1,029개의 결과를 제출했는데, 이는 데이터센터 및 엣지 부문 총 제출량의 85% 이상을 차지하는 수치다


관련기사

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.