AI·데이터 분야 슈퍼스타 '데이터브릭스', 한국시장 상륙

기업가치 49조원, 오픈소스계 슈퍼스타 '데이터브릭스'
아파치 스파크 등 오픈소스 SW 창시자들이 힙 합쳐 설립
AI·데이터 개발 관리 지원하는 '레이크하우스 플랫폼' 제공
하이브의 위버스컴퍼니, 클루커스, 메가존클라우드 고객사

 

AI와 데이터를 전문으로 하는 데이터브릭스가 한국 지사를 설립하며 본격 시장 진출을 알렸다. (왼쪽부터 알리 고드시 데이터브릭스 CEO, 지아 오웨이 링(Jia Woei Ling) 북아시아 지역 매니징 디렉터) (사진=데이터브릭스, 편집=김동원 기자)

 

인공지능(AI)·데이터 전문 기업 데이터브릭스가 한국시장에 상륙했다. 기업가치 380억달러(약 49조원)를 자랑하는 오픈소스계 슈퍼스타 기업이다. 알파벳, 아마존웹서비스(AWS), 마이크로소프트(MS) 등 글로벌 빅테크 기업이 투자하고 있다. 아파치 스파크, 델타 레이크, ML플로우 등 인기 오픈소스 소프트웨어(SW) 프로젝트 창시자들이 힘을 합쳐 2013년 설립한 기업이다.

 

데이터브릭스는 20일 기자간담회를 열고 한국지사 설립을 알리고 한국시장 진출을 공식화했다. 회사는 현재 아시아 태평양 전역에서 비즈니스를 펼치며 한국 외에 호주, 싱가포르, 일본, 인도에 지사를 두고 있다. 한국 사업은 AWS와 MS에서 임원을 역임한 지아 오웨이 링(Jia Woei Ling) 데이터브릭스 북아시아 지역 매니징 디렉터가 이끈다.

 

알리 고드시(Ali Ghodsi) 데이터브릭스 최고경영자(CEO)는 기자간담회에 영상으로 등장해 "한국에 투자를 확대해 시장 진출과 확대 속도를 높일 것"이라며 "올해 한국 팀 규모를 두 배로 늘려 한국 기업의 비즈니스 혁신을 지원하겠다"고 밝혔다.

 

알리 고드시 데이터브릭스 CEO는 "올해 한국 팀 규모를 두 배로 늘려 한국 기업의 비즈니스 혁신을 지원하겠다"고 말했다. (사진=데이터브릭스)

 

AI 개발에 효율성 높여줄 '데이터 레이크하우스' 제공

---

데이터브릭스가 제공하는 주요 제품은 '데이터 레이크하우스 플랫폼'이다. '데이터 웨어하우스'와 '데이터 레이크'의 장점을 합친 플랫폼이라고 볼 수 있다. 데이터 레이크의 개방성과 유연성, 머신러닝(ML) 지원과 함께 데이터 웨어하우스의 신뢰성, 강력한 거버넌스 성능을 제공한다.

 

데이터 레이크하우스 플랫폼은 크게 3가지로 정의된다. ▲단순성 ▲개방성 ▲멀티 클라우드다. 장경운 데이터브릭스 솔루션즈 아키텍트 팀장은 "레이크하우스는 정형데이터든 비정형데이터든 포맷에 상관없이 하나의 플랫폼에 보관할 수 있다"면서 "데이터 레이크를 사용해 스토리지 사양에 상관없이 누구나 안정적으로 사용할 수 있게 서비스를 개방했다"고 설명했다. 또 "멀티 클라우드를 기반으로 모든 데이터들을 협업할 수 있는 통합된 컴퓨터 환경도 제공한다"고 말했다.

 

데이터브릭스의 레이크하우스 플랫폼은 단순성과 개방성, 멀티 클라우드가 특징이다. (사진=데이터브릭스)

 

실제로 레이크하우스 플랫폼은 분석, 비즈니스 인텔리전스(BI), 데이터 과학, ML을 구분하는 전통적인 데이터 사일로를 제거해 아키텍처를 단순화했다. AI 개발과 분석에 발생하는 복잡성과 비용을 줄일 수 있어 효율적인 업무가 가능하다.

 

오픈소스와 오픈 표준을 기반으로 구축된 점도 특징이다. 사용자는 친숙한 방법으로 데이터 관리, 보안, 거버넌스에 접근할 수 있다. 또 오픈소스 데이터 프로젝트 생태계와 데이터브릭스 파트너 네트워크를 통해 데이터를 쉽게 공유하고 최신 데이터 스택을 구축할 수 있다.

 

이 장점은 AI 공급기업과 수요기업이 AI를 개발할 때 실패하는 사례를 방지해준다. 장경운 팀장은 "AI를 개발할 때 많이 발생하는 문제로는 데이터 중복보관과 개발사끼리 서로 호환되지 않는 보안과 거버넌스, 툴을 사용한다는 점"이라며 "레이크하우스는 하나의 플랫폼에서 보안과 거버넌스 모델을 제공하고 메이저 데이터는 모두 지원하기 때문에 사용자 편의성이 높다"고 밝혔다.

 

"한국은 아태지역에서 가장 큰 시장, 디지털 전환 지원할 것"

---

데이터브릭스는 미국 실리콘밸리에 본사를 둔 기업이다. 전 세계 7000개 이상의 기업과 기관을 고객사로 보유하고 있다. 포춘 500대 기업 중 40%가 데이터브릭스의 고객사다. 직원은 전 세계에 3000명 이상을 두고 있다.

 

데이터브릭스는 한국 대표 고객사로 글로벌 팬덤 플랫폼 '위버스컴퍼니' 사례를 소개했다. 위버스컴퍼니는 BTS가 소속된 하이브의 자회사다. 이 회사는 AWS 기반 데이터브릭스 레이크하우스 플랫폼을 사용하고 있다. 

 

위버스컴퍼니는 레이크하우스로 모든 데이터를 신뢰할 수 있는 단일소스로 제공한다. 이를 통해 데이터 엔지니어, 데이터 과학자, 분석가들이 협업할 수 있는 환경을 구성했다. 또 백엔드 서버 로그, 클라이언트 앱 로그, 마케팅 솔루션 등 다양한 소스에서 대용량 소비자 데이터를 수집·분석해 인사이트를 확보하고 있다.

 

장경운 팀장은 "많은 기업이 BI 워크로드와 AI, ML 작업을 위해 데이터 웨어하우스와 데이터레이크 시스템을 각각 구축해왔다"면서 "이는 관리 복잡도와 비용 증가 등의 문제를 가져왔고 데이터 조직 또한 둘로 나눠지는 문제가 있었다"고 말했다. 이어 "데이터브릭스는 양분화된 플랫폼을 레이크하우스로 통합 제공하고 있다"고 설명했다.

 

장경운 데이터브릭스 팀장은 "데이터브릭스는 양분화된 플랫폼을 레이크하우스로 통합 제공하고 있다"고 말했다. (사진=데이터브릭스)

 

데이터브릭스는 한국시장 공략을 위해 클루커스, 메가존클라우드 등 국내 파트너사들과 협력을 강화할 계획이다. 에드 렌타(Ed Lenta) 아태지역 총괄 부사장은 "한국은 아태지역에서 가장 큰 시장 가운데 하나"라며 "한국 파트너 및 고객과 긴밀한 협력으로 데이터 및 AI와 함께 디지털 전환을 촉진할 수 있기를 기대한다"고 말했다.

 

AI타임스 김동원 기자 goodtuna@aitimes.com

 

Copyright © '인공지능 전문미디어' AI타임스 (https://www.aitimes.com/)
무단전재 및 재배포 금지

 

AI·데이터 분야 슈퍼스타 '데이터브릭스', 한국시장 상륙 - AI타임스