[인더스트리뉴스 최종윤 기자] 구글클라우드가 ‘데이터 클라우드 서밋’ 미디어 브리핑에서 데이터 분석, 비즈니스 인텔리전스(BI), 인공지능(AI), 데이터베이스 포트폴리오 전반의 데이터 클라우드 기술 혁신과 신규 파트너 프로그램을 발표했다.
이번에 발표한 주요 기술 혁신은 △빅레이크(BigLake) △스패너 체인지 스트림(Spanner change stream) △버텍스 AI 워크벤치(Vertex AI Workbench) △루커용 커넥티드 시트(Connected Sheets for Looker) 등으로, 기업이 데이터와 데이터 워크로드의 한계를 극복하고 데이터의 도달 범위를 확장해 데이터의 가치를 빠르게 실현할 수 있도록 지원한다.
제한없는 데이터 클라우드를 구현하는 ‘빅레이크’와 ‘스패너 체인지 스트림’
구글클라우드는 데이터 레이크와 데이터 웨어하우스를 통합한 데이터 레이크 스토리지 엔진 빅레이크(BigLake)를 프리뷰 버전으로 발표했다. 서로 다른 데이터 레이크와 웨어하우스에서 데이터를 관리할 경우 사일로(silo)가 발생하기 쉽고, 특히 데이터 이동 시 리스크와 비용이 높아진다. 데이터의 제한을 없애는 빅레이크를 활용하면 기존의 스토리지 형식이나 시스템에 관계없이 데이터를 분석할 수 있다. 기업은 소스에서 데이터를 복제하거나 이동할 필요가 없어 비용 절감 및 효율성 향상의 이점을 누릴 수 있다.
구글클라우드는 지난 10년간 빅쿼리가 이뤄낸 혁신을 데이터 레이크로 확장함으로써 유연하고 비용 효율적인 개방형 레이크 하우스 아키텍처를 구현해냈다. 빅레이크는 기업이 아파치 스파크(Apache Spark)와 같은 오픈소스 처리 엔진을 비롯해, 구글클라우드 서비스와 파케이(Parquet) 등 오픈파일 형식을 아우르는 API 인터페이스를 통해 세분화된 액세스 제어 역량을 갖출 수 있도록 지원한다.
트위터(Twitter)는 빅쿼리와 함께 빅레이크의 스토리지 기능을 이용해 데이터 제한없이 트위터 사용자의 플랫폼 사용 현황과 콘텐츠 선호도를 파악하고 있다. 그 결과 초당 3백만개 이상의 집계를 실행하는 광고 파이프라인을 통해 매일 수조 건에 달하는 이벤트와 관련된 콘텐츠를 제공할 수 있게 됐다.
스패너 체인지 스트림(Spanner change stream)은 구글 클라우드 데이터베이스인 스패너(Spanner)에 새롭게 추가된 기능으로 고객은 데이터베이스에서 삽입, 업데이트, 삭제 등의 변경 사항을 실시간으로 추적할 수 있다. 고객은 스패너에서 빅쿼리로 변경 사항을 쉽게 복제하고 Pub/Sub을 사용해 다운스트림 애플리케이션 동작을 실행시키거나, 컴플라이언스 준수를 위해 구글클라우드 스토리지(Google Cloud Storage)에 변경 사항을 저장할 수 있다.
이를 통해 항상 최신 상태의 데이터에 액세스하고 실시간으로 분석을 수행할 수 있다. 최대 99.999% 가용성을 지원하며 초당 최대 20억건 이상의 요청을 처리하는 스패너는 체인지 스트림 기능의 추가로 한 단계 더 향상된 데이터 처리 역량을 지원할 수 있게 됐다.
데이터 워크로드의 한계를 극복하는 ‘버텍스 AI 워크벤치’
구글클라우드는 보다 빠른 AI 모델 개발과 손쉬운 유지보수를 지원하는 버텍스 AI 워크벤치를 정식 출시했다. 버텍스 AI 워크벤치는 데이터 및 머신러닝 시스템을 단일 인터페이스로 제공해 모든 팀이 데이터 분석, 데이터 사이언스, 머신러닝 전반에 걸쳐 공통된 툴셋을 사용할 수 있도록 지원한다. 버텍스 AI 워크벤치는 구글클라우드의 빅쿼리, 서버리스 스파크(Serverless Spark) 및 데이터프록(Dataproc)과 네이티브 통합이 가능하며 기존 노트북 환경 대비 5배 빠르게 머신러닝 모델을 개발, 학습 및 배포할 수 있도록 지원한다.
버텍스 AI를 이용하면 주기적으로 모델을 업데이트할 수 있는데 많은 양의 모델을 관리하는 것은 기업에 여전히 어려운 일이다. 구글클라우드는 모델 유지보수 관리를 보다 간소화할 수 있도록 버텍스 AI 모델 레지스트리(Vertex AI Model Registry)에 신규 ML옵스(MLOps) 기능을 프리뷰 버전으로 선보였다.
버텍스 AI 모델 레지스트리는 빅쿼리 ML 모델을 포함한 머신러닝 모델의 탐색, 사용 및 관리를 위한 중앙 저장소를 제공한다. 데이터 사이언티스트가 모델을 공유하고 앱 개발자가 이를 사용하는 것이 한층 쉬워져, 조직은 데이터에 기반해 실시간으로 의사결정을 내릴 수 있고 변화하는 시장 상황에 민첩하게 대응할 수 있다.
데이터의 도달 범위를 확장하는 ‘루커용 커넥티드 시트’
이외에도 구글클라우드는 통합형 BI 플랫폼인 루커용 커넥티드 시트(Connected Sheets for Looker)와 데이터 스튜디오(Data Studio)에서 루커 데이터 모델에 접근을 지원하는 기능을 발표했다. 이제 루커 익스플로어(Looker Explore), 구글 스프레드시트(Google Sheets) 또는 데이터 스튜디오의 드래그 앤 드롭(drag-and-drop) 인터페이스를 사용해 원하는 방식으로 데이터를 활용할 수 있다.
기업은 통합된 구글클라우드 BI 플랫폼을 이용해 모든 사용자가 보다 쉽게 데이터에 액세스하고, 새로운 데이터세트와 연산을 통합하며, 동료들과 원활히 협업할 수 있다. 이를 통해 데이터에 기반한 통찰력을 확보해 혁신을 추진하고 현명한 의사결정을 내릴 수 있다.
데이터 클라우드 파트너사와 협력 강화
구글클라우드는 견고한 파트너 생태계를 통해 고객의 데이터 혁신을 지원하고 있다. 현재 700개 이상의 소프트웨어 파트너사가 구글의 데이터 클라우드를 이용해 애플리케이션을 구현하고 있다. 블룸리치(Bloomreach), 에퀴팩스(Equifax), 엑사빔(Exabeam), 퀀텀 메트릭(Quantum Metric) 및 줌인포(ZoomInfo) 등 여러 파트너사들이 빅쿼리 기반 구축(Built with BiqQuery) 이니셔티브를 기반으로 데이터 클라우드 기능을 이용하며 전담 엔지니어링 팀, 공동 마케팅 및 시장 출시와 관련한 지원을 제공받고 있다.
구글클라우드의 고객들은 빅쿼리와 같은 제품에 긴밀하게 통합되고 최적화된 파트너 솔루션을 원한다. 이러한 고객 수요에 대응하고자 구글클라우드는 구글 클라우드 레디 - 빅쿼리(Google Cloud Ready - Big Query) 프로그램을 발표했다. ‘구글 클라우드 레디 - 빅쿼리’ 프로그램은 파이브트란(Fivetran), 인포매티카(Informatica), 태블로(Tableau) 등 파트너 솔루션이 핵심 기능 및 상호호환성 요건을 만족하는 지 검증한다. 이를 통해 고객은 새로운 툴을 평가하는 데 소요되는 시간을 상당히 절감할 수 있다. 이미 25곳 이상의 파트너사가 ‘구글 클라우드 레디 - 빅쿼리’ 프로그램 인증을 받았다.
마지막으로 구글클라우드는 고객이 온프레미스 및 기타 클라우드 환경에서 구글클라우드의 관리형 데이터베이스 서비스로 빠르고 원활하게 이전할 수 있도록 지원하는 데이터베이스 이전 프로그램(Databases Migration Program)을 발표했다. 해당 프로그램에는 도구 정비, 리소스 및 딜로이트(Deloitte)와 같은 협력사의 전문 역량은 물론 데이터베이스 이전 비용을 상쇄할 수 있도록 구글에서 제공하는 인센티브가 포함된다.
구글클라우드는 데이터 및 분석 분야의 선두 기업들과 파트너십을 지속적으로 강화하고 있다. 데이터브릭스(Databricks), 파이브트란(Fivetran), 몽고DB(MongoDB), 네오포제이(Neo4j), 레디스(Redis)를 포함한 주요 파트너사 모두 구글클라우드 고객을 위한 새로운 기능을 발표하고 있다.
구글클라우드 코리아 장화진 사장은 “오늘날 데이터의 양과 유형, 워크로드, 그리고 사용자까지 폭발적으로 증가하면서 전통적인 데이터 아키텍처로 데이터가 가진 진정한 가치를 실현하는 것은 어려워졌다”라며, “구글클라우드는 오늘 발표한 데이터 클라우드의 기술 혁신을 통해 클라우드 환경에서 데이터의 원활한 활용을 지원하고, 고객이 데이터 기반의 비즈니스 가치를 실현함으로써 성공적인 디지털 트랜스포메이션을 추진할 수 있도록 최선을 다할 것”이라고 말했다.
