Cómo redactar comprobaciones de moderación específicas para el contexto con Shieldstral

Una lista fija de categorías de daño puede dejar de ser adecuada cuando un producto de IA cambia de público o de propósito. Un contenido aceptable en una herramienta de investigación de ciberseguridad puede resultar dañino en una plataforma de salud mental. Shieldstral resuelve este problema al permitir que los desarrolladores aporten la política como texto en lenguaje natural en el momento en que se ejecuta el modelo.

Esta guía se refiere específicamente a Shieldstral, de Mistral AI, y no a Le Chat en general. Shieldstral es un clasificador de seguridad de 3.000 millones de parámetros, de pesos abiertos, publicado bajo licencia Apache 2.0. Evalúa texto, imágenes y contenido combinado de texto e imagen mediante un único formato de preguntas y respuestas.

Construya cada comprobación con tres elementos

Una solicitud a Shieldstral consta de una instrucción, una consulta y un documento. Cada elemento cumple una función distinta.

• <Instruct> establece el contexto de evaluación y el grado de exigencia. También puede definir qué debe considerarse contenido no seguro.
• <Query> formula una única pregunta de sí o no sobre la política que se está comprobando.
• <Document> contiene el material que se va a evaluar.

El documento puede ser una instrucción del usuario, una respuesta del asistente, un par instrucción-respuesta o una imagen con texto opcional. Esa elección debe ajustarse a la tarea de moderación real. Utilice una instrucción de usuario al filtrar una solicitud entrante, una respuesta al comprobar el contenido generado, y un par instrucción-respuesta cuando importe la relación entre ambos elementos.

Convierta las políticas en preguntas acotadas

Redacte la consulta de manera que una respuesta afirmativa tenga un único significado claro. La fuente ofrece ejemplos como preguntar si un contenido promueve la violencia física, si una imagen es apta para un menor, o si un asistente se negó a atender una solicitud.

Esta estructura resulta útil cuando una aplicación necesita varios tipos de comprobaciones. Trate cada límite de política como una pregunta independiente, en lugar de condensar cuestiones distintas en una sola consulta amplia. Una pregunta acotada facilita la interpretación de la probabilidad devuelta, ya que esta corresponde a una condición específica.

Incluya los detalles de contexto en la instrucción. Si un producto necesita un tratamiento estricto frente a intentos de jailbreak adversarios, pero uno más flexible para la revisión de la calidad de las respuestas, indique el grado de exigencia adecuado para la comprobación que se está ejecutando. Si un término como “no seguro” puede resultar ambiguo, aporte también ahí su definición pertinente.

Como la política reside en la propia solicitud, puede modificarse para un nuevo contexto de implementación sin necesidad de reentrenar Shieldstral. Esto permite reutilizar un mismo checkpoint ajustando las preguntas y las instrucciones para distintas aplicaciones o públicos.

Utilice la puntuación como algo más que una etiqueta

En el momento de la inferencia, Shieldstral lee los logits correspondientes a sí y no, y aplica una normalización softmax para generar una puntuación de seguridad continua. El veredicto se obtiene a partir de un único token y una única pasada hacia adelante.

Esa puntuación admite dos usos prácticos. Un sistema puede aplicar un umbral cuando necesita un límite de decisión, o clasificar los elementos evaluados por nivel de confianza cuando necesita priorizar resultados. La fuente no prescribe un umbral universal, por lo que el material disponible no respalda considerar un único punto de corte válido para todos los productos.

La misma interfaz puede cubrir la clasificación de instrucciones, la moderación de respuestas, la detección de negativas y la detección de toxicidad. La pregunta debe mantenerse alineada con la tarea: una comprobación de negativa debe preguntar si el asistente se negó a responder; una comprobación de seguridad del contenido debe preguntar por la propiedad concreta considerada no segura.

Mantenga unidos la modalidad y el contexto

Para la moderación de imágenes, aporte la imagen como documento e incluya texto opcional cuando este contribuya a la evaluación. Shieldstral utiliza la misma interfaz de política en lenguaje natural para entradas de texto, de imagen y de texto combinado con imagen, por lo que no es necesario convertir la política en una taxonomía de imágenes fija y separada.

Para la revisión de conversaciones, utilice un par instrucción-respuesta cuando evaluar solo una de las partes elimine contexto necesario. Para el filtrado sencillo de entradas o de salidas, aporte únicamente la instrucción o la respuesta correspondiente. Esto mantiene el documento estrechamente ajustado a la decisión que la consulta le pide al modelo que tome.

Compruebe la fecha de publicación y la documentación actual de Shieldstral antes de implementarlo, ya que las funciones del proveedor cambian.