데이터브릭스 AI 런타임, 정식 출시

데이터브릭스가 발표한 내용

데이터브릭스는 2026년 10월 21일, 자사 플랫폼에 직접 구축된 관리형 GPU 인프라인 AI 런타임(AIR)이 정식 출시됐다고 밝혔다. 회사는 AIR를 통해 고객이 별도의 GPU 스택을 운영하지 않고도 자체 기업 데이터를 활용해 파운데이션 모델을 학습시킬 수 있다고 설명했다.

데이터브릭스는 이 제품이 AI 팀이 GPU 용량 확보, 하드웨어 장애 관리, 학습 작업 실행 대기 등에 소요하는 시간 문제를 해결한다고 밝혔다. 또한 GPU 인프라를 레이크하우스와 별도로 운영할 경우 거버넌스에 공백이 생기고 민감한 학습 데이터에 위험이 발생할 수 있다고 덧붙였다.

인프라 및 성능 관련 주장

데이터브릭스는 AIR가 멀티노드 학습을 기반으로 서버리스 방식의 온디맨드 GPU 접근을 제공한다고 밝혔으며, 이 서비스가 "10만 건 이상의 GPU-시간 학습 실행을 통해 실전에서 검증됐다"고 말했다. 회사는 고객을 대신해 GPU 조달, 클러스터 구성, 네트워킹을 처리하며, 학습 전후 및 진행 중에 GPU와 네트워킹에 대한 상태 점검을 실시해 워크로드를 수백 개의 GPU로 확장할 수 있도록 한다고 설명했다.

데이터브릭스는 AIR가 작업을 스케줄링하기 전에 GPU를 검증하고, 활성 워크로드를 모니터링하며, 유휴 상태의 GPU를 주기적으로 테스트해 상태가 좋지 않은 노드를 제거한다고 밝혔다. 또한 "워밍업된 서버리스 GPU 풀과 지연 이미지 로딩" 방식을 통해 실행 지연 시간을 수 초 단위로 줄였다고 말했으며, 이를 코드를 실행하기 전에 전체 컨테이너 이미지를 다운로드해야 하는 기존 GPU 스택 방식과 대조했다.

데이터브릭스는 고객이 명령줄 인터페이스, 노트북 또는 IDE를 통해 GPU에 접근할 수 있으며, 쿠버네티스나 슬럼(Slurm) 클러스터에서의 마이그레이션도 데이터브릭스 AIR 스킬스(Databricks AIR Skills)라는 기능을 활용해 자연어 프롬프트 한 번으로 처리할 수 있다고 밝혔다. 회사는 AIR가 자사의 레이크플로(Lakeflow) 파이프라인 도구와 통합되며, 지니 제로옵스(Genie ZeroOps)라는 모니터링 기능도 포함한다고 설명했다.

디버깅 및 거버넌스 도구

데이터브릭스는 MLflow 내부에 새로운 관찰성(observability) 기능을 구축해 작업 제출 후 수 초 안에 학습 로그를 스트리밍할 수 있도록 했으며, 멀티노드 학습을 위한 로그 뷰어도 추가했다고 밝혔다. 또한 지니 코드(Genie Code)라는 기능이 AI 런타임 학습 로그를 분석해 문제를 식별하고 다음 단계를 제안하며, 내부적으로 활용한 결과 Qwen 모델의 학습 시간을 "6배" 단축했다고 설명했다.

거버넌스와 관련해서는 AIR가 데이터브릭스와 유니티 카탈로그(Unity Catalog)의 거버넌스 경계 내에서 작동하며, 학습 데이터, 체크포인트, 로그 전반에 걸쳐 일관된 읽기·쓰기 권한을 적용한다고 밝혔다. 회사는 AIR가 VM 수준의 워크로드 격리를 제공하고 프라이빗링크(PrivateLink)와 서버리스 아웃바운드 제어를 지원하며, 이는 호스트 커널을 노출하는 기존 GPU 격리 방식보다 더 강력한 보호를 제공한다고 설명했다.

언급된 고객사

데이터브릭스는 수백 개 기업이 실제 서비스 환경에서 AIR를 사용 중이라고 밝히며, 투비(Tubi), 로빈후드(Robinhood), 피크페이(PicPay), 머크(Merck), 플로 헬스(Flo Health), 타이니피시(TinyFish), 팩트셋(FactSet) 등을 사례로 들었다. 활용 분야는 헬스케어, 제조업, 소비자 대상 에이전트 등이다. 또한 데이터브릭스 자체의 AI 리서치 팀도 KARL과 AI 파스(AI Parse) 기반 모델 학습에 AIR를 활용하고 있다고 밝혔다.

이번 발표에는 데이터브릭스가 제공한 고객 인용문도 포함됐다. 슈퍼휴먼(Superhuman)의 코스티아 오멜리안추크(Kostia Omelianchuk)는 A100 GPU 8개를 사용하는 단일 노드 환경에서 H100 GPU 16개를 사용하는 멀티노드 환경으로 대규모 학습 작업을 전환함으로써 학습 시간을 약 7일에서 48시간으로 줄였다고 말했다. 팩트셋의 니킬 선더라지(Nikhil Sunderraj)는 AIR를 통해 맞춤형 모델을 구축, 학습, 배포하는 데 걸리는 시간이 "며칠에서 몇 시간으로" 줄었다고 말했다. 퀀트헬스(QuantHealth)의 에란 바라시(Eran Barash)는 AIR를 통해 기존 데이터 워크플로 내에서 "수백만 건의 레코드"에 걸쳐 서버리스 GPU 기반 분산 학습을 확장할 수 있게 됐다고 말했다.

출처: 데이터브릭스 블로그, "AI Runtime is Generally Available", 2026년 10월 21일 게재.