Durante los últimos dos años, hemos creado soluciones que se han ampliado de forma segura hasta llegar a millones de usuarios. Una parte fundamental de este trabajo ha sido diseñar sistemas de moderación rápidos y precisos. Una moderación eficaz permite a las empresas implementar con confianza soluciones de IA de vanguardia, proteger a los usuarios finales y preservar la seguridad de la marca al detectar contenido no deseado antes de que se convierta en un problema.
Recientemente, OpenAI lanzó sus modelos GPT-OSS-Safeguard: versiones con ajuste fino de los modelos OSS 20B y 120B presentados a principios de este año. Estos modelos pueden interpretar directamente la política de un usuario durante la inferencia, lo que ofrece un enfoque flexible y potente para moderar contenido. Estos modelos están en versión preliminar de investigación, por lo que sin duda seguirán mejorando.
Colaboramos con OpenAI antes de este lanzamiento y realizamos evaluaciones en condiciones reales para orientar el desarrollo del modelo. En este artículo compartimos lo aprendido durante esa colaboración y analizamos qué implican estos avances para el futuro de la moderación en sistemas de IA en producción.
Actualmente, las soluciones de moderación suelen adoptar la forma de capas de protección alrededor de la aplicación. Usamos mucho este patrón en implementaciones públicas con un gran volumen de actividad. Para profundizar en el tema, puedes consultar nuestro blog aquí.
Clasifica las entradas en paralelo (no permitas prompts dañinos): varios clasificadores pequeños y centrados en temas específicos se ejecutan en paralelo para etiquetar cada mensaje del usuario. Hemos comprobado que los clasificadores con un enfoque específico son considerablemente más confiables que uno solo que intente abarcarlo todo. Unos pocos ejemplos cuidadosamente elegidos en el prompt pueden ayudar a distinguir entre “este jefe no deja de matarme” —un contexto de juego completamente inofensivo— y una señal de daño en el mundo real.
Seguro → generar normalmente
Jailbreaks → ignorarlos o desviarlos con una negativa acorde con la marca
Riesgos para la seguridad o el bienestar → escalar el caso a una persona con contexto detallado
Clasifica las salidas (no envíes una respuesta inadecuada): cada posible respuesta se vuelve a examinar antes de entregarla. Esto protege contra la desviación del modelo, el envenenamiento de datos RAG y casos límite sutiles de las políticas, como contenido dañino, exposición de información de identificación personal o filtración de información confidencial. Si se marca una respuesta, sustituimos la generada por el LLM por un mensaje seguro y acorde con la marca, o la escalamos a una persona, en vez de enviar algo que luego lamentemos.
Haz que sea rápido y económico: crear prompts como componentes reutilizables permite almacenar en caché fragmentos de prompts, pocos ejemplos para clasificadores y prefijos de diálogo frecuentes. Este enfoque permite reducir tanto la latencia como el costo de las medidas de protección.
Trata la seguridad como parte del producto: las negativas y advertencias se redactan con la voz de la marca; por ejemplo, un tono divertido para juegos y formal para finanzas. Cuando la experiencia de usuario respeta la intención del usuario, aumenta la aceptación de las medidas de protección y disminuyen los intentos de jailbreak.
Supervisa, realiza pruebas adversariales y cierra el ciclo: el red teaming continuo y los paneles de seguridad en vivo ayudan a detectar regresiones antes de que afecten a los usuarios. Podemos enseñar al modelo nuevos patrones de ataque mediante pocos ejemplos adicionales o reglas de enrutamiento, para que el sistema sea cada vez más difícil de vulnerar sin perjudicar el rendimiento de la aplicación.
Crear y mantener medidas de protección eficaces es difícil.
En la práctica, esto requiere una estrecha colaboración entre las principales partes interesadas de la empresa y los desarrolladores para crear una política bien definida. Una vez definida la política, se deben crear y ajustar tanto el diseño como el comportamiento del sistema.
La llegada de modelos abiertos de razonamiento para la seguridad, como gpt-oss-safeguard, podría resolver algunos de los puntos débiles de este proceso y brindar una base más versátil y lista para usar en la moderación de contenido.
Gpt-oss-safeguard busca abordar algunos de los desafíos habituales al crear los sistemas de moderación actuales. Estos modelos pequeños y especializados reciben ajuste fino para razonar sobre una política objetivo durante la inferencia y detectar contenido dañino o confidencial, como jailbreaks, exposición de información de identificación personal y otras infracciones de políticas.
Al incorporar el razonamiento en su proceso de clasificación, ofrecen una moderación más precisa y robusta, además de más difícil de eludir. Como variantes de seguridad especializadas de GPT-OSS 20B y 120B, permiten alcanzar un rendimiento de seguridad de vanguardia con una configuración mínima gracias a las definiciones de políticas personalizadas.
Evaluamos gpt-oss-safeguard 20B y 120B en varias tareas similares a las de producción: un asistente de voz en tiempo real, un bot de soporte para jugadores dentro de un juego, un sistema proactivo de moderación de chat y un análisis multilingüe de toxicidad en español, francés, italiano, portugués, ruso y turco.
Moderación de voz sensible a la latencia: en nuestras pruebas de voz en tiempo real —es decir, clasificación en vivo dentro de una conversación donde se debe analizar y priorizar una respuesta, como en la moderación de chats de juegos—, gpt-oss-safeguard-20B cerró cerca del 80 % de la brecha de exactitud entre GPT-OSS-20B y GPT-5-Mini (0,71 frente a 0,78, desde 0,45), con una latencia mucho menor.
Escalamiento del soporte para jugadores: en la priorización de casos de soporte para jugadores, gpt-oss-safeguard-20B cerró cerca del 90 % de la brecha entre GPT-OSS-20b y GPT-5-Mini (0,66 frente a 0,67, desde 0,57). También obtuvo la mejor precisión macro del conjunto, un 88 % de exhaustividad en contenido benigno y un 87 % de precisión al detectar usuarios vulnerables. Esto resulta útil para escalamientos prudentes y muy confiables, sin saturar a los revisores humanos.
Moderación a gran escala de chats con políticas complejas: en nuestra evaluación más exigente, que requiere marcar proactivamente mensajes dentro de juegos según un documento de políticas complejo, gpt-oss-safeguard superó claramente al modelo de referencia OSS, con una mejora relativa aproximada del 35 %, y gestionó eficazmente políticas extensas. Este es un caso de uso particularmente sensible que exige alta exhaustividad y precisión. Una exhaustividad demasiado baja dejará pasar muchos mensajes dañinos. A su vez, una precisión baja haría que muchos mensajes irrelevantes se marcaran para revisión humana, desviando la atención de los casos realmente difíciles.
Rendimiento multilingüe: en un conjunto de datos equilibrado sobre toxicidad en seis idiomas, gpt-oss-safeguard se mantuvo cerca de GPT-5-Mini, normalmente a una distancia de entre 3 y 5 puntos porcentuales de exactitud, mientras que gpt-oss-safeguard-120B lo superó ligeramente en español. Observamos brechas algo mayores en idiomas con menos recursos, como el turco, pero el patrón general mostró un rendimiento multilingüe sólido y mejoras constantes de exhaustividad al pasar de 20B a 120B.
También observamos que los modelos gpt-oss-safeguard tienen un buen rendimiento en áreas donde los LLM suelen ser más débiles para la moderación, como los datos de identificación personal. Los modelos convencionales tienden a favorecer la identificación de datos con formatos estadounidenses y rinden peor en otras regiones. Por ello, creemos que gpt-oss-safeguard será útil para simplificar la configuración de la moderación, al reducir la dependencia de herramientas personalizadas para detectar pequeñas infracciones de políticas que los LLM más generales no pueden gestionar.
Nuestras evaluaciones han demostrado que los “modelos fundacionales de moderación”, como gpt-oss-safeguard-20B y gpt-oss-safeguard-120B, permiten avanzar mucho y rápido. Sin embargo, los modelos con ajuste fino para dominios específicos siguen marcando la pauta cuando los sistemas exigen los máximos niveles de seguridad y especificidad.
Para el caso de uso de moderación dentro de juegos, aplicamos ajuste fino supervisado a un clasificador Qwen3-0.6B con unas 10 000 acciones históricas de moderadores y sus resultados según las políticas. Este modelo supera por amplio margen a todos los modelos base que probamos en esta tarea: alcanza una exactitud del 57 % frente al 15 % de gpt-oss-safeguard-120B, estimado según la proporción del rendimiento de GPT-4.1-nano. Esto representa 42 puntos más y una mejora aproximada del 280 %. Estos resultados coinciden con la orientación de OpenAI: los clasificadores más pequeños y especializados, entrenados con ejemplos etiquetados, pueden superar a los modelos de protección en dominios especializados.
La conclusión es clara: cuando las políticas son complejas y tienen muchos casos límite, un modelo pequeño adaptado al dominio sigue siendo el referente. El ajuste fino incorpora la política y sus casos límite directamente en los parámetros, lo que brinda un comportamiento más uniforme en el complejo entorno de producción, con latencia y costos mínimos.
El ajuste fino supervisado es solo uno de varios enfoques posibles. También se pueden aprovechar otras técnicas potentes de entrenamiento, como el aprendizaje por refuerzo o la destilación en función de la política, para optimizar aún más el comportamiento del modelo.
El ajuste fino suele requerir una gran cantidad de datos. El conjunto de datos usado para el ajuste fino de este clasificador Qwen3-0.6B había sido etiquetado manualmente por moderadores humanos, por lo que constituía una fuente de referencia limpia y confiable.
En muchos proyectos, es posible que esta ventaja de contar con datos abundantes no exista desde el principio. Por eso, solemos considerar el ajuste fino como una optimización que puede incorporarse más adelante en el ciclo de desarrollo de una solución. Una vez que la solución se ha estabilizado y se han recopilado datos de usuarios reales, los desarrolladores pueden recurrir al ajuste fino dirigido para llevar sus soluciones de moderación al siguiente nivel.
Los modelos fundacionales de moderación como gpt-oss-safeguard son nuevos componentes sólidos. Tienen el potencial de simplificar considerablemente el diseño de sistemas de moderación y, al mismo tiempo, reducir la latencia de las aplicaciones en tiempo real. Al combinarlos con clasificadores pequeños y personalizados, puedes crear un sistema más seguro y rápido, con menos componentes que un enfoque basado en prompts con grandes modelos de propósito general.
Si hoy vas a implementar o actualizar un sistema de moderación, considera comenzar con modelos como gpt-oss-safeguard, medir su rendimiento e incorporar mejoras dirigidas con clasificadores personalizados —basados en prompts o con ajuste fino— donde los datos revelen deficiencias.
¿Te interesa saber más? Envíanos un mensaje.