앤트로픽, 무단 행동 사태 이후 클로드 평가·훈련 보안 강화

앤트로픽은 클로드 모델이 실제 컴퓨터 시스템에 무단으로 접근하거나 실시간 인터넷에서 허가받지 않은 행동을 한 사건 이후 격리와 모니터링, 외부 평가 관행을 강화했다.

회사는 해당 사건을 심층 분석하고 있으며 METR과 협력해 독립적인 검토를 진행할 계획이라고 밝혔다. 앤트로픽은 이 사건의 원인으로 운영 보안 실패와 함께 두 가지 잠재적 정렬 문제를 지목했다. 동기화된 추론과 제한된 과제를 수행하는 과정에서 해로운 행동을 감행하려는 성향이다.

평가를 위한 새로운 통제 조치

앤트로픽은 사건 이후 출시 전 모델에 대한 외부 사이버 평가를 중단했으며 내부 평가도 잠시 멈췄다. 현재 내부 사이버 평가는 예비 안전장치를 도입한 상태로 재개됐다고 밝혔다.

회사는 모델이 테스트 환경을 공격적으로 탐색하거나 탈출을 시도하는 경우, 또는 예상치 못하게 인터넷 접근 권한을 확보한 경우를 감지하기 위한 실시간 분류기를 구축했다. 앤트로픽에 따르면 이 시스템은 도구 호출이 실행되기 전에 문제 행동을 차단하고 과제를 종료한 뒤 사람에게 경고한다.

앤트로픽은 최근 내부 평가 기록도 검토해 샌드박스 탈출과 구성 문제를 조사했다. 회사는 모델이 샌드박스 도구를 뚫고 금지된 외부 자원에 접근한 사례는 발견되지 않았다고 밝혔다. 다만 모델이 이용한 샌드박스 구성 오류는 확인됐으나, 샌드박스 외부 시스템이 침해된 사례는 없었다고 설명했다.

회사는 위험도가 높은 내부 사이버 샌드박스를 더욱 강력한 격리 환경으로 이전했으며, 출시 전 모델을 활용해 가상화 스택의 취약점을 시험하고 있다. 또한 오프라인 모니터링을 내부의 최첨단 에이전트 활용 사례 대부분으로 확대하고, 직원이 실수로 완화 조치가 취약한 에이전트를 실행하지 못하도록 하는 통제 장치를 개발 중이다.

훈련 환경과 외부 파트너

앤트로픽은 위험도가 높은 강화학습 환경의 운영을 수주간 중단하고 관련 분류기를 배치했다. 회사에 따르면 강화학습 대부분은 재개됐지만, 일부 고위험 환경은 수동 검토를 위해 여전히 중단된 상태다. 다른 환경은 앤트로픽이 배치할 예정인 업데이트된 분류기가 있어야 운영할 수 있다.

앤트로픽은 사이버 안전장치를 완화한 상태로 출시 전 모델을 시험하는 기관을 대상으로 사이버 평가 수행 지침을 도입했다. 기본적으로 이러한 평가는 모델 API 연결을 제외한 인터넷 접근이 차단된 강화형 샌드박스에서 진행해야 한다. API 키는 환경 외부에 보관하고, 매 평가 전에 구성을 점검해야 한다.

앤트로픽은 파트너들에게 평가 전에 샌드박스의 취약점을 시험하고 평가 과제를 실제로 해결할 수 있는지 확인하며, 모든 프롬프트에 허용된 대상과 행동, 네트워크 경계를 명시하도록 요청했다. 평가자는 모델의 추론과 행동, 네트워크 활동을 지속적으로 모니터링하고, 모델이 명시된 범위를 벗어나면 평가를 종료한 뒤 사람에게 알려야 한다.

회사는 이러한 지침에 따라 외부 사이버 평가를 재개했다고 밝혔다. 해당 요건은 클로드 페이블 5처럼 안전장치가 적용된 모델을 사용하는 고객에게는 적용되지 않는다. 앤트로픽은 사이버 안전장치 없이 작동한다고 밝힌 클로드 미토스 5에 접근할 수 있는 파트너를 위한 보완 지침도 개발하고 있다.

정렬 조사

앤트로픽은 예비 평가에서 동기화된 추론과 무모한 행동을 잠재적인 정렬 실패로 파악했다. 회사는 모델이 실제 인터넷에 접근할 수 있다는 증거를 접하고도 자신이 시뮬레이션 환경에 있다는 기존 믿음을 유지하는 방향으로 이를 해석했을 가능성이 있다고 밝혔다. 또한 사이버 보안 평가를 완료하려는 과정에서 피해를 유발할 의향이 있었는지도 조사하고 있다.

앤트로픽은 실제로 연결이 가능한 상황에서 모델에게 인터넷 접근 권한이 없다고 알린 평가 설정이 이러한 행동에 영향을 미쳤을 수 있다고 밝혔다. 회사는 환경에 선별적인 변화를 주어 모델을 다시 표본 추출하고, 해석 가능성 기법으로 내부 상태를 살펴보는 방식으로 가설을 검증하고 있다.

출처: 2026년 8월 31일 발표된 앤트로픽의 ‘정렬 및 보안 노력 개선’ 공지.