Au cours des deux dernières années, nous avons créé des solutions qui ont évolué en toute sécurité jusqu’à servir des millions d’utilisateurs. La conception de systèmes de modération rapides et précis a joué un rôle clé dans ce travail. Une modération efficace permet aux entreprises de déployer en toute confiance des solutions d’IA de pointe, en protégeant les utilisateurs finaux et la réputation de la marque grâce à la détection des générations indésirables avant qu’elles ne deviennent problématiques.
Récemment, OpenAI a publié ses modèles GPT-OSS-Safeguard : des versions affinées des modèles OSS 20B et 120B présentés plus tôt cette année. Ces modèles peuvent interpréter directement les règles d’un utilisateur lors de l’inférence, offrant une approche souple et puissante de la modération des contenus. Ces modèles sont disponibles en préversion de recherche et continueront donc sans aucun doute à s’améliorer.
Nous avons collaboré avec OpenAI avant cette publication, en menant des évaluations en conditions réelles pour éclairer le développement des modèles. Dans cet article, nous partageons les enseignements de cette collaboration et examinons ce que ces avancées signifient pour l’avenir de la modération dans les systèmes d’IA en production.
Aujourd’hui, les solutions de modération prennent généralement la forme de couches de protection entourant l’application. Nous utilisons souvent cette approche pour les déploiements publics à fort volume. Pour approfondir le sujet, consultez notre article de blog ici.
Classer les entrées en parallèle (ne pas laisser entrer les prompts malveillants) : de petits classificateurs thématiques s’exécutent simultanément pour étiqueter chaque message utilisateur. Nous avons constaté que les classificateurs étroitement ciblés sont sensiblement plus fiables qu’un classificateur unique et généraliste. Des exemples few-shot soigneusement choisis dans le prompt peuvent aider à distinguer « Je n’arrête pas de me faire tuer par ce boss » (contexte de jeu, parfaitement inoffensif) d’un véritable signal de danger réel.
Sûr → Générer normalement
Jailbreaks → Ignorer ou détourner avec un refus conforme à l’image de marque
Risques pour la sécurité ou le bien-être → transmettre à un humain avec un contexte détaillé
Classer les sorties (ne pas livrer une mauvaise réponse) : chaque réponse candidate est à nouveau contrôlée avant sa livraison. Cela protège contre la dérive du modèle, l’empoisonnement des données RAG et les cas limites subtils liés aux règles, comme les contenus nuisibles, l’exposition de données personnelles ou la fuite d’informations sensibles. En cas de signalement, nous remplaçons la réponse générée par le LLM par un message sûr et conforme à la marque, ou la transmettons à un humain, plutôt que de livrer un contenu regrettable.
Assurer rapidité et maîtrise des coûts : concevoir les prompts sous forme de composants réutilisables permet de mettre en cache leurs fragments, les exemples few-shot des classificateurs et les préfixes de dialogue courants. Cette approche permet de réduire à la fois la latence et le coût de vos garde-fous.
Traiter la sécurité comme une dimension du produitLes refus et avertissements adoptent le ton approprié (par exemple, ludique pour les jeux et formel pour la finance). Lorsque l’expérience utilisateur respecte l’intention de l’utilisateur, l’acceptation des garde-fous augmente et les tentatives de jailbreak diminuent
Surveiller, pratiquer le red teaming et boucler la boucleUn red teaming continu et des tableaux de bord de sécurité en direct aident à détecter les régressions avant qu’elles n’atteignent les utilisateurs. Nous pouvons apprendre au modèle à reconnaître tout nouveau schéma d’attaque en ajoutant des exemples few-shot et/ou des règles de routage, afin de rendre le système progressivement plus difficile à contourner sans compromettre les performances de l’application.
Créer et maintenir des garde-fous efficaces est difficile.
En pratique, cela exige une collaboration étroite entre les principales parties prenantes de l’entreprise et les développeurs afin de définir des règles précises. Une fois les règles définies, il faut concevoir et ajuster l’architecture et le comportement du système.
L’arrivée de modèles ouverts de raisonnement sur la sécurité, tels que gpt-oss-safeguard, pourrait résoudre certaines difficultés de ce processus en fournissant une base de modération des contenus plus polyvalente et prête à l’emploi.
Gpt-oss-safeguard vise à résoudre certains des problèmes couramment rencontrés lors de la création des systèmes de modération actuels. Ces petits modèles spécialisés sont affinés pour raisonner, lors de l’inférence, sur des règles cibles et détecter des contenus nuisibles ou sensibles, tels que des jailbreaks, l’exposition de données personnelles et d’autres infractions aux règles.
En intégrant le raisonnement à leur processus de classification, ils assurent une modération plus précise, plus robuste et plus difficile à contourner. Variantes de sécurité spécialisées de GPT-OSS 20B et 120B, ils offrent des performances de sécurité de pointe tout en nécessitant une configuration minimale grâce à des définitions de règles personnalisées.
Nous avons évalué gpt-oss-safeguard 20B et 120B sur plusieurs tâches proches de la production : un assistant vocal en temps réel, un bot d’assistance aux joueurs en jeu, un système de modération proactive des chats et une analyse multilingue de la toxicité (espagnol, français, italien, portugais, russe et turc).
Modération vocale sensible à la latence : lors de nos tests vocaux en temps réel (par exemple, une classification en direct dans une conversation où une réponse doit être analysée et triée, comme pour la modération d’un chat de jeu), gpt-oss-safeguard-20B a comblé environ 80 % de l’écart d’exactitude entre GPT-OSS-20B et GPT-5-Mini (0,71 contre 0,78, contre 0,45 auparavant), avec une latence considérablement réduite.
Transmission de l’assistance aux joueurs : lors du triage des demandes d’assistance aux joueurs, gpt-oss-safeguard-20B a comblé environ 90 % de l’écart entre GPT-OSS-20b et GPT-5-Mini (0,66 contre 0,67, contre 0,57 auparavant). Il a également obtenu la meilleure précision macro du groupe, un rappel de 88 % sur les contenus bénins et une précision de 87 % pour la détection des utilisateurs vulnérables, ce qui est utile pour des transmissions prudentes et fiables sans submerger les examinateurs humains.
Modération à grande échelle de chats régis par des règles denses : dans notre évaluation la plus exigeante, qui impose au système de modération de signaler de manière proactive les messages en jeu selon un document de règles dense, gpt-oss-safeguard a nettement surpassé la référence OSS, avec un gain relatif d’environ 35 %, tout en gérant efficacement les longues règles. Il s’agit d’un cas d’usage particulièrement sensible, qui exige un rappel et une précision élevés. Un rappel trop faible laisserait passer de nombreux messages nuisibles. Une faible précision entraînerait par ailleurs le signalement aux modérateurs humains de nombreux messages non pertinents, détournant leur attention des cas véritablement difficiles.
Performances multilingues : sur un jeu de données équilibré couvrant la toxicité dans six langues, gpt-oss-safeguard a suivi de près GPT-5-Mini, généralement à 3 à 5 points de pourcentage d’écart en exactitude, tandis que gpt-oss-safeguard-120B l’a légèrement devancé en espagnol. Nous avons observé des écarts légèrement plus importants dans les langues disposant de moins de ressources, comme le turc, mais la tendance générale témoignait de solides performances multilingues, avec des gains de rappel constants lors du passage de 20B à 120B.
Nous avons également constaté que les modèles gpt-oss-safeguard sont très performants dans des domaines où les LLM sont traditionnellement moins efficaces en modération, comme les données personnelles : les modèles courants ont tendance à privilégier la détection des données personnelles de type américain et sont moins performants dans d’autres régions. Nous pensons donc que gpt-oss-safeguard contribuera à simplifier les configurations de modération en réduisant le recours à des outils sur mesure pour détecter de petites infractions aux règles que les LLM plus généralistes ne savent pas gérer.
Nos évaluations ont donc établi que les « modèles fondamentaux de modération », tels que gpt-oss-safeguard-20B et gpt-oss-safeguard-120B, permettent d’aller vite et loin. Cependant, les modèles affinés pour un domaine précis restent la référence lorsque les systèmes exigent les plus hauts niveaux de sécurité et de spécificité.
Pour le cas d’usage de la modération en jeu, nous avons affiné un classificateur Qwen3-0.6B par affinage supervisé à partir d’environ 10 000 décisions historiques de modérateurs et résultats d’application des règles. Ce modèle surpasse largement tous les modèles de base testés sur cette tâche, avec une exactitude de 57 % contre 15 % (gpt-oss-safeguard-120B, estimation fondée sur le ratio des performances de GPT-4.1-nano), soit un gain de 42 points ou d’environ 280 %. Ces résultats concordent avec les recommandations d’OpenAI selon lesquelles de petits classificateurs spécialisés, entraînés sur des exemples étiquetés, peuvent surpasser les modèles de protection dans des domaines spécialisés.
La conclusion est claire : lorsque les règles sont nuancées et comportent de nombreux cas limites, un petit modèle adapté au domaine reste la référence absolue. L’affinage intègre directement vos règles et cas limites dans les paramètres, assurant un comportement plus stable dans la réalité chaotique de la production, avec une latence et des coûts infimes.
L’affinage supervisé n’est qu’une des différentes approches possibles. D’autres techniques d’entraînement puissantes, comme l’apprentissage par renforcement ou la distillation « on-policy », peuvent aussi optimiser davantage le comportement du modèle.
L’affinage nécessite généralement beaucoup de données. Le jeu de données utilisé pour affiner ce classificateur Qwen3-0.6B avait été étiqueté manuellement par des modérateurs humains et constituait donc une source de vérité propre et de référence.
Dans de nombreux projets, cet avantage lié à la richesse des données peut ne pas exister au départ. Nous considérons donc généralement l’affinage comme une optimisation pouvant intervenir plus tard dans le cycle de développement d’une solution. Une fois la forme de la solution stabilisée et des données d’utilisateurs réels recueillies, les développeurs peuvent envisager un affinage ciblé pour faire passer leurs solutions de modération au niveau supérieur.
Les modèles fondamentaux de modération comme gpt-oss-safeguard constituent de nouveaux composants solides. Ils peuvent considérablement simplifier la conception des systèmes de modération tout en réduisant la latence des applications en temps réel. Associez-les à de petits classificateurs sur mesure pour créer un système plus sûr et plus rapide, comportant moins d’éléments qu’une approche par prompts utilisant de grands modèles généralistes.
Si vous déployez ou modernisez aujourd’hui un système de modération, envisagez de commencer par des modèles comme gpt-oss-safeguard, mesurez leurs performances, puis apportez des améliorations ciblées avec des classificateurs sur mesure (fondés sur des prompts ou affinés) là où les données révèlent des lacunes.
Vous souhaitez en savoir plus ? Envoyez-nous un message.