Databricks details Proteus system for specialized GPU kernel generation
Databricks says Proteus generates, validates and benchmarks shape-specific GPU kernels, including kernels for Qwen 3.5 122B.
한 줄 답
What did Databricks announce about its Proteus GPU kernel generation system?
Databricks unveiled Proteus, a system that uses agents to generate specialized GPU kernels and subjects candidates to controlled validation and repeated benchmarking. The company says individual kernels generated for Qwen 3.5 122B were 1.8 to 5.2 times faster than the best implementations available in vLLM.
핵심 요약
- Databricks introduced Proteus, a system for generating GPU kernels specialized to runtime shapes.
- The company says individual Qwen 3.5 122B kernels generated with Proteus were 1.8 to 5.2 times faster than the best implementations available in vLLM.
- Proteus verifies proposed kernels against a controlled reference implementation and benchmarks only candidates that pass validation.
- In a Gated DeltaNet packed-decode test on NVIDIA B200 GPUs, Databricks reported shape-specific gains of as much as 1.6 times.
Databricks는 특정 런타임 형태에 특화된 GPU 커널을 에이전트가 생성하고, 통제된 검증과 반복적인 벤치마킹, 관리형 컨텍스트를 적용하는 시스템 Proteus를 선보였다.
회사 측에 따르면 Qwen 3.5 122B용으로 생성된 개별 커널은 vLLM에서 이용 가능한 최상의 구현보다 1.8~5.2배 빠른 성능을 보였다. Databricks는 제안된 커널을 점검하고 최적화 시도 간에 유용한 정보를 전달하기 위해 구축한 하니스의 세부 사항과 함께 이 결과를 공개했다.
벤치마킹에 앞선 검증
Proteus는 커널을 제안하고 통제된 참조 구현과 대조해 검증한 뒤, 검증을 통과한 후보의 실행 시간을 측정하고, 측정 결과가 가장 우수한 구현을 반복적으로 개선한다. Databricks는 후보 커널이 의도한 연산을 공정하게 수행하지 않으면서도 빠르게 보일 수 있기 때문에 검증이 핵심 제약 조건이 됐다고 설명했다.
회사는 개발 과정에서 오해를 불러일으키는 결과의 원인을 여러 가지로 파악했다. 후보가 이전 시도에서 컴파일된 코드를 재사용하거나, 연산을 개별적으로 실행한 기준선과 재생된 CUDA 그래프를 비교하거나, 생성 과정에서 확인한 입력 크기에서만 우수한 성능을 낼 수 있었다.
Databricks에 따르면 자사의 검사기는 양쪽을 일관된 방식으로 측정하며, 교차 검증을 위해 CUDA 이벤트 시간 측정, 벽시계 시간, CUPTI 시간 측정을 사용할 수 있다. 지속돼서는 안 되는 컴파일 상태를 초기화하고, 설정과 해제 순서를 일관되게 유지하며, 성능이 가장 우수한 후보를 재시험하고, 생성 모델에서 일부 테스트를 제외한다. 자동화된 일관성 검사 기능은 물리적 GPU 메모리 대역폭과 연산 한계를 넘어선다고 주장되는 속도 향상도 표시하며, 여기에는 100배를 초과하는 결과도 포함된다.
에이전트에 제공되는 컨텍스트 제한
Proteus는 커널 생성 모델에 제공되는 정보도 관리한다. Databricks는 대규모 프롬프트에 현재 최상의 커널, 실패 사례, 프로파일러 지침, 이전 실행에서 남긴 메모를 포함할 수 있지만, 비용이 늘어나고 유용한 정보가 오래됐거나 상충하는 조언과 뒤섞일 수 있다고 설명했다. 컨텍스트가 지나치게 적은 프롬프트는 같은 막다른 길을 반복하게 만들 수 있다.
회사는 특정 상황에 연결된 실행 가능한 교훈과 관련 상위 실행에서 남긴 간결한 실패 기록으로 구성된 소규모 지식 계층을 채택했다. Proteus는 계층적 태그 필터링과 키워드 검색 및 의미 검색을 결합한 방식으로 이러한 교훈을 검색한다. Databricks는 저장된 교훈의 재구성과 추가 요약은 모든 생성 시도마다 반복적인 다단계 검색을 수행하기보다 백그라운드 작업으로 처리해야 한다고 밝혔다.
Gated DeltaNet 패킹 디코드
Databricks는 NVIDIA B200 GPU와 Triton 백엔드를 사용해 Qwen 3.5 122B의 Gated DeltaNet 패킹 디코드 경로에서 전체 루프를 테스트했다. 이 연산은 패킹된 QKV 입력, 게이트 매개변수, 상태 인덱스를 바탕으로 순환 상태를 갱신하고 디코드 출력을 기록한다.
참조 구현의 지연 시간은 0.025밀리초로 측정됐다. 초기 후보는 검증을 통과했지만 실행 속도가 더 느렸고, 이후 Proteus는 탐색을 형태별 경로로 나눴다. Databricks에 따르면 Candidate 012는 단일 배치 디코드 형태에서 1.5배의 성능 향상을 달성했다. 서빙 디코드 경로에서는 Candidate 030이 0.018밀리초로 가장 낮은 커널 지연 시간을 기록했으며, Candidate 036은 1.6배로 가장 높은 형태별 속도 향상을 보였다.
후자의 커널은 Batch=4, Key=128, Value=128 레이아웃에 특화됐으며 값 차원을 64 단위로 나눠 처리했다. Databricks는 이를 범용 대체 구현이 아니라 해당 형태에서 안전하게 사용할 수 있는 커널이라고 설명했다.
출처: Databricks, 「Achieving Extreme Efficiency through Specialized GPU Kernel Generation」, 2026년 9월 4일 게재.
자주 묻는 질문
- What is Proteus?
- Proteus는 에이전트를 활용해 특수 목적 GPU 커널을 제안하고 반복적으로 개선하는 Databricks의 시스템입니다. 이 하니스는 후보를 통제된 기준 구현과 대조해 검증한 뒤 실행 시간을 측정합니다.
- What performance did Databricks report?
- Databricks says individual kernels generated for Qwen 3.5 122B were 1.8 to 5.2 times faster than the best implementations available in vLLM.
- How does Proteus guard against misleading benchmark results?
- Databricks says the system uses consistent setup and timing, hidden tests, repeated measurements and automated checks for theoretically impossible speedups. It can cross-check results with CUDA event, wall-clock and CUPTI timers.
- What did the Gated DeltaNet case study show?
- On NVIDIA B200 GPUs with a Triton backend, Databricks reported a Batch-1 candidate reaching 1.5 times the reference performance and a serving-decode candidate reaching a 1.6-times shape-specific speedup.