Shieldstral을 위한 맥락별 콘텐츠 검수 항목 작성법
콘텐츠 검수 요건을 초점이 분명한 질문으로 바꾸고 관련 콘텐츠를 제공한 뒤, Shieldstral의 신뢰도 점수를 활용해 결과의 순위를 매기거나 임계값을 적용하는 방법을 알아봅니다.
한 줄 답
개발자는 Mistral AI의 Shieldstral을 활용한 콘텐츠 검수를 어떻게 구성해야 하나요?
Shieldstral로 콘텐츠를 검수할 때마다 평가 맥락과 엄격성 수준을 명시하고, 정책과 관련된 예·아니요 질문 하나를 제시한 뒤 평가할 콘텐츠를 제공해야 합니다. 서로 다른 정책은 별도의 질문으로 나누십시오. 산출된 예·아니요 확률은 연속형 안전성 점수로 활용해 임계값을 적용하거나 신뢰도에 따라 사례의 순위를 매길 수 있습니다.
핵심 요약
- 고정된 분류 체계에 의존하는 대신 각 콘텐츠 검수 정책을 하나의 예·아니요 질문으로 표현하십시오.
- 배포 맥락, 원하는 엄격성 수준, 안전하지 않은 콘텐츠에 관한 정의가 있다면 지시문에 넣으십시오.
- 평가할 문서로 프롬프트, 응답, 프롬프트·응답 쌍 또는 선택적으로 텍스트가 첨부된 이미지를 제공하십시오.
- Shieldstral의 연속형 예·아니요 확률을 활용해 결정에 임계값을 적용하거나 신뢰도에 따라 사례의 순위를 매기십시오.
- Shieldstral은 새로운 정책마다 재학습하지 않고도 텍스트, 이미지, 텍스트·이미지 결합 입력에 적용할 수 있습니다.
AI 제품의 대상 사용자나 목적이 달라지면 고정된 유해성 범주 목록이 적합하지 않을 수 있습니다. 사이버 보안 연구 도구에서는 허용되는 콘텐츠가 정신건강 플랫폼에서는 유해할 수 있습니다. Shieldstral은 모델 실행 시 개발자가 정책을 자연어로 입력할 수 있도록 해 이 문제를 해결합니다.
이 지침은 일반적인 Le Chat이 아니라 Mistral AI의 Shieldstral에 한정해 적용됩니다. Shieldstral은 Apache 2.0 라이선스로 공개된 매개변수 30억 개 규모의 오픈 웨이트 안전성 분류기입니다. 하나의 질의응답 형식을 통해 텍스트와 이미지, 텍스트·이미지가 결합된 자료를 평가합니다.
모든 검수 항목을 세 부분으로 구성하기
Shieldstral 요청은 지시문, 질의, 문서로 구성됩니다. 각 부분은 서로 다른 역할을 합니다.
<Instruct>는 평가 맥락과 엄격성 수준을 정합니다. 무엇을 안전하지 않은 것으로 간주할지도 정의할 수 있습니다.<Query>는 검증할 정책에 관해 하나의 예·아니요 질문을 제시합니다.<Document>에는 판단할 자료를 담습니다.
문서에는 사용자 프롬프트, 어시스턴트 응답, 프롬프트와 응답의 쌍 또는 선택적으로 텍스트가 첨부된 이미지를 넣을 수 있습니다. 실제 콘텐츠 검수 작업에 맞춰 선택하십시오. 수신 요청을 선별할 때는 프롬프트를, 생성된 출력을 검사할 때는 응답을, 둘 사이의 관계가 중요할 때는 프롬프트와 응답의 쌍을 사용합니다.
정책을 범위가 좁은 질문으로 바꾸기
‘예’라는 답변의 의미가 하나로 명확해지도록 질의를 작성하십시오. 출처에서는 콘텐츠가 신체적 폭력을 조장하는지, 이미지가 미성년자에게 안전한지, 어시스턴트가 요청을 거부했는지 등을 묻는 예시를 제시합니다.
이 구조는 애플리케이션에 여러 종류의 검수가 필요할 때 유용합니다. 서로 관련 없는 우려 사항을 하나의 포괄적인 질의로 압축하지 말고, 정책의 각 경계를 독립된 질문으로 다루십시오. 질문의 초점이 분명하면 반환된 확률이 특정 조건에 대응하므로 더 쉽게 해석할 수 있습니다.
맥락에 관한 세부 사항은 지시문에 넣으십시오. 적대적 탈옥 시도에는 엄격하게 대응하되 응답 품질 검토에는 더 관대한 기준이 필요한 제품이라면, 실행 중인 검수에 적합한 엄격성 수준을 명시합니다. ‘안전하지 않음’ 같은 용어가 모호할 수 있다면 지시문에 해당 맥락에 맞는 정의도 제시하십시오.
정책이 요청에 포함되므로 Shieldstral을 재학습하지 않고도 새로운 배포 맥락에 맞게 변경할 수 있습니다. 따라서 하나의 체크포인트를 재사용하면서 애플리케이션이나 대상 사용자에 맞춰 질문과 지시문을 조정할 수 있습니다.
점수를 단순한 분류표 이상으로 활용하기
추론 시 Shieldstral은 ‘예’와 ‘아니요’의 로짓을 읽고 소프트맥스 정규화를 적용해 연속형 안전성 점수를 산출합니다. 판정에는 단일 토큰과 한 번의 순전파만 사용됩니다.
이 점수는 두 가지 실용적인 방식으로 활용할 수 있습니다. 명확한 결정 기준이 필요할 때는 시스템이 임계값을 적용할 수 있고, 결과의 우선순위를 정해야 할 때는 평가 항목을 신뢰도순으로 배열할 수 있습니다. 출처는 보편적인 임계값을 규정하지 않으므로, 제공된 자료만으로 특정 기준값이 모든 제품에 적합하다고 볼 수는 없습니다.
동일한 인터페이스로 프롬프트 분류, 응답 검수, 거부 탐지, 유해성 탐지를 처리할 수 있습니다. 질문은 작업에 맞게 설정하십시오. 거부 여부를 검사할 때는 어시스턴트가 요청을 거부했는지 물어야 하며, 콘텐츠 안전성을 검사할 때는 구체적으로 어떤 속성이 안전하지 않은지 물어야 합니다.
입력 형식과 맥락을 함께 유지하기
이미지를 검수할 때는 이미지를 문서로 제공하고, 평가에 도움이 된다면 텍스트도 함께 넣으십시오. Shieldstral은 텍스트, 이미지, 텍스트·이미지 결합 입력에 모두 동일한 자연어 정책 인터페이스를 사용하므로 정책을 별도의 고정 이미지 분류 체계로 변환할 필요가 없습니다.
대화를 검토할 때 한쪽만 평가하면 필요한 맥락이 사라지는 경우에는 프롬프트와 응답의 쌍을 사용하십시오. 단순한 입력 또는 출력 선별에는 해당 프롬프트나 응답만 제공하면 됩니다. 이렇게 하면 문서의 내용이 질의에서 모델에 요구하는 판단과 긴밀하게 일치합니다.
공급업체의 기능은 변경될 수 있으므로 구현 전에 게시일과 최신 Shieldstral 문서를 확인하십시오.
자주 묻는 질문
- 이 지침은 어떤 제품에 적용되나요?
- Mistral AI의 매개변수 30억 개 규모 오픈 웨이트 멀티모달 안전성 분류기인 Shieldstral에 적용됩니다. 출처에서는 이 작업 흐름을 Le Chat의 기능으로 설명하지 않습니다.
- 콘텐츠 검수 정책이 변경되면 Shieldstral을 재학습해야 하나요?
- 아닙니다. 추론 시 정책을 자연어로 제공하므로 동일한 체크포인트를 재학습하지 않고도 새로운 목적에 맞게 조정할 수 있습니다.
- Shieldstral은 어떤 콘텐츠를 평가할 수 있나요?
- 문서에는 프롬프트, 응답, 프롬프트·응답 쌍 또는 선택적으로 텍스트가 첨부된 이미지를 넣을 수 있습니다.
- Shieldstral은 안전 또는 위험이라는 분류 결과만 반환하나요?
- ‘예’와 ‘아니요’의 로짓을 읽어 연속형 확률로 정규화합니다. 이 점수를 임계값 적용이나 신뢰도 기반 순위 지정에 활용할 수 있습니다.
출처
- Introducing Shieldstral. | Mistral AI — Mistral AI