앤트로픽, AI 피해 평가 프레임워크 공개

앤트로픽, 피해 평가 프레임워크 제시

앤트로픽은 생물학적 위협과 같은 재앙적 위험부터 아동 안전, 허위 정보, 사기 등의 우려에 이르기까지 자사의 AI 시스템에서 발생할 수 있는 다양한 잠재적 피해를 평가하고 완화하는 발전 중인 접근법을 공개한다고 밝혔다.

회사는 이 프레임워크가 재앙적 위험에 중점을 둔 책임 있는 확장 정책을 보완해 다른 유형의 영향까지 폭넓게 살펴본다고 설명했다. 앤트로픽은 이 접근법이 여전히 발전 중이라며 앞으로도 계속 다듬어 나갈 현재의 구상을 공개하는 것이라고 밝혔다.

피해의 다섯 가지 차원

앤트로픽은 잠재적 영향을 다음과 같은 다섯 가지 기본 차원에서 평가한다고 밝혔다.

• 신체적 영향: 신체 건강과 안녕에 미치는 영향
• 심리적 영향: 정신 건강과 인지 기능에 미치는 영향
• 경제적 영향: 재정적 결과와 재산 관련 문제
• 사회적 영향: 공동체, 제도 및 공동 시스템에 미치는 영향
• 개인의 자율성에 미치는 영향: 개인의 의사결정과 자유에 미치는 영향

회사는 각 차원에서 발생 가능성, 규모, 영향을 받는 집단, 지속 기간, 인과관계, 피해에 대한 기술의 기여도, 완화 가능성 등의 요인을 고려한다고 밝혔다.

앤트로픽은 이 프레임워크를 통해 파악된 위험을 이용 정책, 출시 전후에 시행하는 레드팀 활동 및 적대적 테스트 등의 평가, 오용을 식별하기 위한 탐지 기법, 프롬프트 수정부터 계정 차단에 이르는 집행 조치를 조합해 관리한다고 밝혔다.

적용 사례

앤트로픽은 이 프레임워크를 적용한 사례 두 가지를 제시했다.

모델이 컴퓨터 인터페이스와 상호작용할 수 있도록 하는 컴퓨터 사용 기능의 경우, 회사는 무단 자동화가 사기나 조작을 조장할 수 있는 금융 소프트웨어 및 은행 플랫폼 관련 위험과 표적 영향 공작이나 피싱에 악용될 수 있는 통신 도구 관련 위험을 검토했다고 밝혔다. 앤트로픽은 이러한 분석을 토대로 집행 기준을 한층 엄격하게 설정하고 계층적 요약 기법을 활용하게 됐다고 설명했다. 이 기법을 통해 개인정보 보호 기준을 유지하면서도 피해를 탐지할 수 있다는 것이다.

회사는 명백히 무해한 요청과 명백히 유해한 요청 사이에 놓인 요구를 모델이 처리하는 방식을 포괄하는 이른바 모델 응답 경계에 관한 작업도 설명했다. 앤트로픽은 더 유용하도록 훈련된 모델은 유해한 행동 쪽으로 기울 수 있는 반면, 무해성에 지나치게 치중한 모델은 요청이 무해한 경우에도 정보 제공을 거부할 수 있다고 밝혔다. 회사는 Claude 3.7 Sonnet을 대상으로 이 스펙트럼에 걸친 다양한 유형의 요청을 평가하고, 모호한 프롬프트를 처리하는 방식을 거부보다 안전하고 유용한 답변을 우선하도록 변경했다고 설명했다. 앤트로픽은 그 결과 유해 콘텐츠에 대한 강력한 안전장치를 유지하면서 불필요한 거부를 45% 줄였다고 밝혔다. 또한 이러한 분석은 아동, 소외된 공동체, 위기 상황에 놓인 개인 등 위험이 상대적으로 클 수 있다고 판단한 집단을 대상으로 안전성 평가의 중점을 어디에 둘지 정하는 데에도 활용된다고 설명했다.

여전히 발전 중

앤트로픽은 피해를 이해하고 대처하는 이러한 접근법이 회사의 광범위한 안전 전략을 구성하는 요소 중 하나라며, AI 시스템의 역량이 향상됨에 따라 새로운 과제가 등장할 것으로 예상한다고 밝혔다. 회사는 연구자, 정책 전문가, 업계 협력사에 이 작업에 동참해 달라고 요청하며 연락처로 usersafety@anthropic.com을 제시했다.

출처: 앤트로픽, "AI 피해를 이해하고 대처하는 우리의 접근법," 2025년 4월 21일 발행.