Negli ultimi due anni abbiamo realizzato soluzioni cresciute in sicurezza fino a servire milioni di utenti. Una parte fondamentale di questo lavoro è stata la progettazione di sistemi di moderazione rapidi e accurati. Una moderazione efficace consente alle aziende di implementare con fiducia soluzioni di IA all'avanguardia, proteggendo gli utenti finali e il brand grazie all'individuazione dei contenuti indesiderati prima che diventino un problema.
Di recente, OpenAI ha rilasciato i modelli GPT-OSS-Safeguard: versioni sottoposte a fine-tuning dei modelli OSS 20B e 120B presentati all'inizio dell'anno. Questi modelli possono interpretare direttamente la policy di un utente in fase di inferenza, offrendo un approccio flessibile e potente alla moderazione dei contenuti. Questi modelli sono disponibili in anteprima di ricerca e continueranno senza dubbio a migliorare nel tempo.
Prima del rilascio abbiamo collaborato con OpenAI, conducendo valutazioni in scenari reali per contribuire allo sviluppo del modello. In questo articolo condividiamo quanto appreso da questa collaborazione ed esaminiamo cosa comportano tali progressi per il futuro della moderazione nei sistemi di IA in produzione.
Oggi le soluzioni di moderazione sono generalmente costituite da livelli di protezione disposti intorno all'applicazione. Utilizziamo spesso questo schema nelle implementazioni pubbliche ad alto volume. Per approfondire, puoi leggere il nostro articolo sul tema qui.
Classificare gli input in parallelo (impedire l'ingresso di prompt dannosi): piccoli classificatori specifici per argomento operano simultaneamente per etichettare ogni messaggio dell'utente. Abbiamo riscontrato che i classificatori con un ambito ristretto sono sensibilmente più affidabili di un unico sistema generalista. Esempi few-shot scelti con cura nel prompt possono aiutare a distinguere tra “I keep getting killed by this boss” (contesto di gioco, del tutto innocuo) e un reale segnale di pericolo.
Sicuro → Generare normalmente
Jailbreak → Ignorare o deviare con un rifiuto coerente con il brand
Rischi per la sicurezza o il benessere → inoltrare a una persona fornendo un contesto dettagliato
Classificare gli output (non inviare risposte dannose): ogni possibile risposta viene nuovamente verificata prima dell'invio. Questo protegge dalla deriva del modello, dall'avvelenamento dei dati RAG e da sottili casi limite delle policy, come contenuti dannosi, esposizione di dati personali o fuga di informazioni sensibili. Se viene segnalata, sostituiamo la risposta generata dall'LLM con un messaggio sicuro e coerente con il brand oppure la inoltriamo a una persona, anziché inviare qualcosa di cui potremmo pentirci.
Garantire velocità e convenienza: strutturare i prompt come elementi riutilizzabili consente di memorizzare nella cache frammenti di prompt, esempi few-shot dei classificatori e prefissi di dialogo comuni. Questo approccio consente di ridurre sia la latenza sia il costo delle misure di protezione.
Trattare la sicurezza come parte del prodottoI rifiuti e gli avvisi adottano il tono del prodotto, per esempio giocoso nei videogiochi e formale nella finanza. Quando l'esperienza utente rispetta l'intento dell'utente, aumenta l'accettazione delle misure di protezione e diminuiscono i tentativi di jailbreak.
Monitorare, condurre red teaming e chiudere il cicloIl red teaming continuo e le dashboard di sicurezza in tempo reale aiutano a individuare le regressioni prima che raggiungano gli utenti. Possiamo insegnare al modello nuovi schemi di attacco fornendo ulteriori esempi few-shot e/o regole di instradamento, così il sistema diventa nel tempo più difficile da violare senza compromettere le prestazioni dell'applicazione.
Creare e mantenere misure di protezione efficaci è difficile.
In pratica, serve un'attenta collaborazione tra i principali stakeholder aziendali e gli sviluppatori per definire policy chiare. Una volta definita la policy, occorre progettare e ottimizzare l'architettura e il comportamento del sistema.
L'avvento di modelli aperti di ragionamento per la sicurezza, come gpt-oss-safeguard, può risolvere alcuni punti critici di questo processo, offrendo una base più versatile e pronta all'uso per la moderazione dei contenuti.
Gpt-oss-safeguard mira a risolvere alcune delle difficoltà comuni nella creazione degli attuali sistemi di moderazione. Questi piccoli modelli specializzati sono sottoposti a fine-tuning per ragionare in fase di inferenza su una policy specifica, individuando contenuti dannosi o sensibili come jailbreak, esposizione di dati personali e altre violazioni delle policy.
Integrando il ragionamento nel processo di classificazione, offrono una moderazione più accurata, resiliente e difficile da aggirare. In quanto varianti specializzate per la sicurezza di GPT-OSS 20B e 120B, offrono prestazioni di sicurezza all'avanguardia, richiedendo una configurazione minima grazie alle definizioni personalizzate delle policy.
Abbiamo valutato gpt-oss-safeguard 20B e 120B in diverse attività rappresentative di scenari di produzione: un assistente vocale in tempo reale, un bot di assistenza ai giocatori in-game, un sistema proattivo di moderazione delle chat e un'analisi multilingue della tossicità in spagnolo, francese, italiano, portoghese, russo e turco.
Moderazione vocale sensibile alla latenza: nei nostri test vocali in tempo reale, cioè nella classificazione dal vivo durante una conversazione in cui una risposta deve essere analizzata e smistata, come nella moderazione delle chat di gioco, gpt-oss-safeguard-20B ha colmato circa l'80% del divario di accuratezza tra GPT-OSS-20B e GPT-5-Mini (0,71 contro 0,78, partendo da 0,45), con una latenza notevolmente ridotta.
Inoltro dell'assistenza ai giocatori: nello smistamento delle richieste di assistenza, gpt-oss-safeguard-20B ha colmato circa il 90% del divario tra GPT-OSS-20b e GPT-5-Mini (0,66 contro 0,67, partendo da 0,57). Ha inoltre ottenuto la migliore macro-precisione del gruppo, un richiamo dell'88% sui contenuti innocui e una precisione dell'87% nel rilevamento degli utenti vulnerabili: risultati utili per inoltri prudenti e altamente affidabili, senza sovraccaricare i revisori umani.
Moderazione su larga scala di chat con policy complesse: nella nostra valutazione più impegnativa, che richiede al sistema di segnalare proattivamente i messaggi in-game in base a un documento dettagliato di policy, gpt-oss-safeguard ha superato nettamente il modello OSS di riferimento, ottenendo un incremento relativo di circa il 35% e gestendo efficacemente policy molto lunghe. È un caso d'uso particolarmente delicato, che richiede richiamo e precisione elevati. Con un richiamo troppo basso, molti messaggi dannosi non vengono rilevati. Una bassa precisione porterebbe invece a segnalare ai moderatori umani molti messaggi irrilevanti, distogliendone l'attenzione dai casi davvero difficili.
Prestazioni multilingue: su un dataset bilanciato di contenuti tossici in sei lingue, gpt-oss-safeguard ha ottenuto risultati vicini a GPT-5-Mini, generalmente entro 3-5 punti percentuali di accuratezza, mentre gpt-oss-safeguard-120B ha registrato un lieve vantaggio in spagnolo. Abbiamo osservato divari leggermente maggiori nelle lingue con meno risorse, come il turco, ma nel complesso le prestazioni interlinguistiche sono risultate solide, con incrementi costanti del richiamo passando da 20B a 120B.
Abbiamo inoltre osservato che i modelli gpt-oss-safeguard ottengono buoni risultati negli ambiti in cui gli LLM sono tradizionalmente più deboli nella moderazione, come i dati personali. I modelli più diffusi tendono infatti a privilegiare l'identificazione dei dati personali nel formato statunitense, con prestazioni inferiori in altre aree geografiche. Riteniamo quindi che gpt-oss-safeguard possa semplificare la configurazione della moderazione, riducendo la dipendenza da strumenti su misura per rilevare lievi violazioni delle policy che gli LLM più generici non riescono a gestire.
Le nostre valutazioni hanno quindi dimostrato che i «modelli di moderazione di base», come gpt-oss-safeguard-20B e gpt-oss-safeguard-120B, permettono di ottenere rapidamente ottimi risultati. Tuttavia, quando i sistemi richiedono i massimi livelli di sicurezza e specificità, i modelli sottoposti a fine-tuning per un dominio specifico restano il punto di riferimento.
Per il caso d'uso della moderazione in-game, abbiamo sottoposto a fine-tuning un classificatore Qwen3-0.6B tramite fine-tuning supervisionato, usando circa 10.000 azioni storiche dei moderatori e relativi esiti rispetto alle policy. Questo modello supera nettamente tutti i modelli di base che abbiamo testato per questa attività, raggiungendo un'accuratezza del 57% contro il 15% di gpt-oss-safeguard-120B, stimato in base al rapporto con le prestazioni di GPT-4.1-nano: +42 punti, pari a un incremento di circa il 280%. Questi risultati sono in linea con le indicazioni di OpenAI, secondo cui classificatori più piccoli e dedicati, addestrati su esempi etichettati, possono superare i modelli di protezione nei domini specializzati.
La conclusione è chiara: quando le policy sono articolate e presentano molti casi limite, un piccolo modello ottimizzato per il dominio resta la soluzione di riferimento. Il fine-tuning integra la policy e i casi limite direttamente nei parametri, garantendo un comportamento più stabile nel complesso ambiente di produzione, con latenza e costi minimi.
Il fine-tuning supervisionato è solo uno dei diversi approcci possibili. Per ottimizzare ulteriormente il comportamento del modello si possono utilizzare anche altre potenti tecniche di addestramento, come l'apprendimento per rinforzo o la distillazione on-policy.
Il fine-tuning richiede in genere una grande quantità di dati. Il dataset utilizzato per il fine-tuning di questo classificatore Qwen3-0.6B era stato etichettato manualmente da moderatori umani e costituiva quindi una fonte di verità pulita e affidabile.
In molti progetti, una simile disponibilità di dati di qualità potrebbe non esserci fin dall'inizio. Per questo tendiamo a considerare il fine-tuning un'ottimizzazione da introdurre in una fase successiva del ciclo di sviluppo della soluzione. Una volta stabilizzata la struttura della soluzione e raccolti dati reali dagli utenti, gli sviluppatori possono ricorrere al fine-tuning mirato per portare le soluzioni di moderazione a un livello superiore.
I modelli di moderazione di base come gpt-oss-safeguard sono nuovi e solidi elementi costitutivi. Possono semplificare notevolmente la progettazione dei sistemi di moderazione, riducendo al contempo la latenza nelle applicazioni in tempo reale. Abbinandoli a piccoli classificatori su misura, è possibile creare un sistema più sicuro e veloce, con meno componenti rispetto a un approccio basato su prompt e grandi modelli generalisti.
Se oggi state creando o aggiornando un sistema di moderazione, valutate di partire da modelli come gpt-oss-safeguard, misurarne le prestazioni e introdurre miglioramenti mirati con classificatori su misura, basati su prompt o sottoposti a fine-tuning, laddove i dati evidenzino lacune.
Vuoi saperne di più? Scrivici.