데이터브릭스, 카탈로그 간 거버넌스를 위한 아파치 아이스버그 신규 사양 두 건 공개
Databricks describes two new Apache Iceberg specs, read restrictions and catalog labels, aimed at standardizing policy enforcement across engines and catalogs.
한 줄 답
데이터브릭스는 오픈 레이크하우스의 거버넌스에 대해 무엇을 발표했는가?
Databricks says the Apache Iceberg community has adopted two new specifications, read restrictions and catalog labels, to the Iceberg REST Catalog. Read restrictions let catalogs delegate policy enforcement to trusted engines, while catalog labels let catalogs exchange governance metadata, such as PII tags, across federated systems like Unity Catalog and Snowflake.
핵심 요약
- Databricks reports that the Apache Iceberg community has advanced two additions to the Iceberg REST Catalog: read restrictions and catalog labels.
- 읽기 제한 기능을 이용하면 카탈로그가 사용자에 대한 접근 정책을 평가해 행 필터링과 열 프로젝션 지침을 산출하고, 이를 안전하게 구성된 Trino 배포 같은 신뢰할 수 있는 엔진이 실행에 옮기도록 할 수 있다. 다만 데이터브릭스에 따르면 Spark나 DuckDB처럼 신뢰할 수 없는 엔진의 경우에는 이러한 방식 대신 중앙 집중식 강제가 필요하다.
- Databricks states the read restrictions spec defines nine predefined column-projection actions and standardized row-filter expressions, but does not define how a catalog establishes trust with an engine.
- 데이터브릭스에 따르면 카탈로그 레이블은 유니티 카탈로그, 스노우플레이크, AWS 레이크 포메이션, 구글 클라우드 놀리지 카탈로그 등의 카탈로그가 테이블 및 열 단위로 키-값 형태의 메타데이터를 주고받을 수 있게 해주며, 이를 수신한 카탈로그는 해당 정보를 자체 태깅 또는 정책 모델에 매핑한다.
- Databricks notes that labels are opaque key-value pairs with no shared semantics, so enterprises still need their own conventions to interpret them consistently across catalogs.
데이터브릭스가 아파치 아이스버그(Apache Iceberg) 커뮤니티가 아이스버그 REST 카탈로그용으로 채택한 두 가지 신규 사양, 즉 읽기 제한(read restrictions)과 카탈로그 라벨(catalog labels)에 관한 세부 내용을 공개했다. 회사에 따르면 두 사양 모두 서로 다른 컴퓨트 엔진과 연합 카탈로그(federated catalog)에 걸쳐 데이터에 접근할 때 거버넌스 정책이 적용되는 방식을 표준화하기 위한 것이다.
읽기 제한
데이터브릭스는 읽기 제한이 한 조직이 하나의 카탈로그에서 데이터를 관리하면서도 서로 다른 엔진이나 도구로 이를 조회하고자 하는 흔한 시나리오를 다룬다고 설명한다. 이 모델에서는 카탈로그가 요청 사용자의 신원과 맥락을 평가하고, 어떤 행 필터나 열 마스킹을 적용할지 결정한 뒤, 이러한 제한 사항을 자신이 신뢰하는 엔진에 전달해 집행을 맡긴다.
데이터브릭스는 이를 모든 단계가 카탈로그 자체 환경 안에서 이뤄지는 중앙집중식 집행 방식과 구분한다. 회사는 자사 구현을 예로 들며, 데이터브릭스는 전용 컴퓨트에서 이른바 '보안 필터링 플릿(secure filtering fleet)'을 통해 쿼리를 라우팅함으로써 세밀한 접근 제어를 적용하며, 유니티 카탈로그의 '크로스 엔진 ABAC' 기능이 아이스버그 REST 카탈로그의 스캔 및 플랜 API를 통해 이를 다른 엔진으로 확장한다고 밝혔다.
위임된 집행 방식에서는 엔진이 관리자가 작성한 정책 원문을 그대로 전달받는 것이 아니라, 해당 특정 사용자에게 적용될 필터링 또는 마스킹 지시만을 전달받는다고 데이터브릭스는 설명한다. 회사는 초기 사양이 아홉 가지 사전 정의된 열 프로젝션 동작과 비교나 집합 소속 여부 같은 표준화된 행 필터 표현식을 정의하고 있으며, 서브쿼리나 조회 테이블, 사용자 정의 함수(UDF)에 의존하는 정책은 현재로서는 이런 방식으로 표현할 수 없다고 덧붙였다.
또한 데이터브릭스는 이 사양이 카탈로그가 어떤 엔진을 신뢰할 수 있는지 판단하는 방법 자체는 규정하지 않는다고 지적한다. 클라이언트 측의 주장만으로는 충분하지 않으며, 시스템 관리자가 자체적인 보안 메커니즘을 적용해야 한다는 것이다. 회사는 mTLS와 OAuth 등을 포함한 여러 방안을 논의해온 아이스버그 커뮤니티의 논의를 언급하면서도, 신뢰 문제는 프로토콜 자체의 영역 밖에 있다고 밝혔다. 데이터브릭스는 보안이 적절히 구성된 트리노(Trino) 배포를 신뢰할 수 있는 엔진의 예로 들었으며, 반면 사용자가 런타임을 직접 제어하고 임의 코드를 실행할 수 있는 스파크(Spark)와 덕DB(DuckDB)는 신뢰할 수 없는 엔진으로 간주된다고 설명했다.
카탈로그 라벨
두 번째 사양인 카탈로그 라벨은 연합 카탈로그 전반의 거버넌스 문제를 다룬다고 데이터브릭스는 밝혔다. 회사에 따르면 오늘날 많은 기업이 유니티 카탈로그, 스노우플레이크(Snowflake), AWS 레이크 포메이션(Lake Formation), 구글 클라우드 지식 카탈로그(Knowledge Catalog) 등 여러 카탈로그를 연결해 사용하고 있으며, 이들 각각은 저마다 다른 신원 모델과 정책 언어를 갖고 있다.
데이터브릭스는 라벨을 통해 데이터를 생산하는 카탈로그가 테이블과 열에 경량의 키-값 메타데이터를 부여할 수 있으며, 이를 소비하는 카탈로그가 자체 분류 체계나 태깅 시스템으로 매핑한 뒤 고유의 정책을 적용하게 된다고 설명한다. 예를 들어 생산 카탈로그가 특정 열에 "ssn"이라는 라벨과 함께 "pii=ssn"이라는 값을 붙이면, 이를 소비하는 카탈로그가 마스킹 정책을 발동시키는 데 활용할 수 있다는 것이다.
데이터브릭스는 집행이 소비 카탈로그 내부에 국한되므로 각 시스템이 자체 정책 표현력을 그대로 유지하고 독립적인 감사 기록을 남길 수 있으며, 접근 결정을 내릴 때마다 다른 카탈로그를 호출할 필요가 없다고 설명한다. 다만 회사는 라벨이 표준상 공유된 의미 체계나 고정된 식별자 없이 불투명한 키-값 쌍에 불과하다는 점을 유의해야 한다고 강조한다. 즉 소비 카탈로그는 해석이 끝난 라벨 값만을 볼 뿐, 그 라벨이 본래 의도했던 목적까지는 알 수 없다는 뜻이다. 데이터브릭스는 라벨을 일관되게 해석하려면 기업들이 여전히 자체적인 규약이나 명시적인 매핑 체계를 마련해야 할 것이라고 밝혔다.
두 모델의 적용
데이터브릭스는 두 접근 방식 중 어느 쪽을 택할지는 대상이 무엇이냐에 달려 있다고 정리한다. 신뢰할 수 없는 엔진에는 중앙집중식 집행을, 신뢰할 수 있는 엔진에는 읽기 제한을, 카탈로그 간 연합에는 카탈로그 라벨을 적용하는 식이다.
출처: 데이터브릭스 블로그, "Unifying governance across engines and catalogs in the Open Lakehouse", 2026년 9월 10일 게재.
자주 묻는 질문
- 읽기 제한이란 무엇인가요?
- Databricks describes read restrictions as a new Iceberg REST Catalog contract in which a catalog evaluates access policy for a requesting user and returns row-filter and column-projection instructions that a trusted engine must enforce when reading a table.
- 카탈로그 라벨이란 무엇인가요?
- According to Databricks, catalog labels let a producing catalog attach key-value metadata, such as marking a column as containing PII, to tables and columns, which a consuming catalog can map into its own governance model during federation.
- 읽기 제한 조건에서 신뢰할 수 있는 엔진으로 간주되는 것은 무엇인가요?
- Databricks gives a securely configured Trino deployment as an example of a trusted engine, since it provides native enforcement of row filters and column masks, while it lists Spark and DuckDB as untrusted when users control the runtime.
- 읽기 제한 사양은 신뢰가 어떻게 확립되는지를 정의하고 있는가?
- No. Databricks says the specification defines what a trusted engine must enforce but not how a catalog verifies that trust, noting the Iceberg community has discussed mechanisms such as mTLS and OAuth.