Le applicazioni pubbliche basate su modelli linguistici di grandi dimensioni (LLM) possono esporre i brand a rischi reputazionali e finanziari.
Utilizziamo filtri di classificazione a più livelli per ridurre i danni causati dai jailbreak degli LLM e da altri comportamenti imprevisti.
Abbiamo applicato questo approccio a un'applicazione in produzione ad alto volume, che gestisce 40.000 messaggi al giorno, un numero in continua crescita.
Nell'ultimo anno abbiamo collaborato con un importante sviluppatore di videogiochi per implementare un chatbot di IA generativa che gestisce circa 40.000 messaggi al giorno da parte di una comunità di giocatori che comprende anche bambini. È essenziale trovare il giusto equilibrio tra velocità, accuratezza, sicurezza e divertimento:
Quando crei un chatbot che rappresenta il tuo brand, non basta che sia sicuro: deve anche rispecchiare in modo autentico la tua identità.
Per un'azienda di videogiochi, ciò significa coniugare sicurezza, divertimento ed entusiasmo degli utenti, soprattutto quando il pubblico è più giovane.
Gli LLM alla base delle moderne applicazioni di IA generativa sono molto flessibili, ed è per questo che si adattano così bene a numerosi problemi, ma sono anche poco vincolati. Di conseguenza, possono spesso «uscire dai binari» e restituire testi molto diversi tra loro, alcuni dei quali potrebbero essere inappropriati.
Esporre direttamente un LLM al pubblico genera inevitabilmente comportamenti imprevisti e, senza adeguate misure di mitigazione, può comportare il rischio di:
«Jailbreak», con cui gli utenti manipolano intenzionalmente il chatbot per indurlo a produrre contenuti dannosi o non consentiti (una curiosità: chiunque può visitare questo sito e scoprire i jailbreak degli LLM attraverso un gioco divertente…); oppure
Fornire involontariamente contenuti sgradevoli, offensivi o pericolosi. In molti casi, ciò può mettere a rischio il benessere degli utenti o causare danni finanziari e reputazionali al fornitore dell'app.
Titoli di cronaca sui comportamenti imprevisti degli LLM:
Questi incidenti dimostrano perché integrare e mantenere la sicurezza nei sistemi di IA generativa non sia facoltativo. Ciò vale soprattutto quando sono coinvolti bambini piccoli: non ci si può limitare alle avvertenze. Servono solide misure di protezione per mantenere appropriati i contenuti.
Come nei sistemi RAG (Retrieval-Augmented Generation) che abbiamo realizzato per i clienti, sfruttiamo più componenti di IA per ridurre i rischi di jailbreak mantenendo prestazioni elevate.
Schema semplificato dell'architettura del nostro sistema
Per garantire la sicurezza del sistema, utilizziamo classificatori LLM sia sugli input sia sugli output:
Classificazione degli input (eseguita in parallelo)
Abbiamo utilizzato schemi Pydantic insieme ai risultati strutturati degli LLM per assegnare etichette alle richieste degli utenti, ad esempio SAFE, SUSPICIOUS, CHILD_HARM_RISK e VIOLENT. Il sistema includeva anche indicatori per identificare tentativi di jailbreak o comportamenti non consentiti.
L'uso di più classificatori dedicati a singoli argomenti ha prodotto prestazioni nettamente migliori rispetto a un unico classificatore universale.
Un ampio insieme di esempi few-shot è stato fondamentale affinché i classificatori distinguessero tra “I keep being killed by this character” (riferito al gioco) e “I am being hurt by my parent” (un possibile segnale di maltrattamento su minori).
La stretta collaborazione con il cliente e con i suoi team specializzati in affidabilità e sicurezza ha garantito che i nostri classificatori rispecchiassero il loro modo di valutare concretamente i messaggi ad alto rischio.
Generazione della risposta
L'LLM principale genera una risposta se l'input è considerato sicuro.
In caso contrario, il messaggio può essere ignorato, se si tratta di un jailbreak, oppure inoltrato a una persona, se la richiesta segnala un problema di sicurezza.
Classificazione degli output
Prima di inviarla dall'applicazione, classifichiamo la risposta del modello.
Poiché alcune risposte possono utilizzare tecniche RAG basate su dati estratti da Internet, questo passaggio ci protegge dall'avvelenamento dei dati.
Se rileva contenuti non consentiti, il sistema interviene e li sostituisce con un messaggio generico. Nella pratica è accaduto raramente, ma si tratta di un ulteriore livello precauzionale volto a garantire che il comportamento dell'agente rimanga appropriato.
Per garantire velocità e convenienza:
Memorizziamo i prompt usati più spesso e dialoghi parziali, insieme a una selezione curata di esempi few-shot.
Questo sistema di caching ci consente di applicare i classificatori LLM in modo rapido ed economico, senza dover ricostruire ogni volta il contesto.
Un recente studio di Anthropic ha descritto i Classificatori costituzionali, un sistema basato su classificatori aggiuntivi addestrati mediante regole «costituzionali» per rilevare richieste dannose o non sicure. Lo studio ha evidenziato:
Elevata robustezza a migliaia di ore di red teaming condotto da persone.
Tassi minimi di rifiuti immotivati e un moderato sovraccarico computazionale.
In futuro, questi approcci costituzionali potrebbero integrare o persino sostituire i tradizionali livelli di classificazione, offrendo una difesa più completa contro tecniche di jailbreak in continua evoluzione.
Filtri paralleli e leggeri
I livelli di classificazione impediscono alle richieste dannose di raggiungere il nucleo generativo e assicurano che gli output inadeguati non vengano mai inviati.
L'esperienza utente è importante
Avvisi divertenti e coerenti con la storia del gioco, insieme a rifiuti formulati in tono giocoso, rendono gli utenti più inclini ad accettare i vincoli del sistema.
Non risparmiare su test e monitoraggio
Attività periodiche di red teaming e il monitoraggio frequente del comportamento dei giocatori aiutano a individuare le vulnerabilità prima che diventino note all'intera comunità. Queste informazioni possono poi essere reinserite nei prompt few-shot dei classificatori per impedirne lo sfruttamento futuro. Attualmente è un processo manuale, ma potrebbe essere automatizzato.
Che si tratti di un'azienda di videogiochi, una banca o persino un ente pubblico, per implementare su larga scala un chatbot per il servizio clienti bisogna puntare SIA sull'esperienza utente SIA sull'affidabilità.
Realizziamo soluzioni rivolte ai clienti per organizzazioni e brand in cui:
La sicurezza è fondamentale: chatbot che offrono valore agli utenti proteggendoli rigorosamente dai contenuti dannosi
La reputazione è tutelata: progettiamo più livelli di protezione per preservare la reputazione del brand, anche quando gli utenti cercano di spingere il sistema oltre i suoi limiti
Le normative limitano le opzioni disponibili: restiamo aggiornati sulle più recenti linee guida di conformità, così puoi ampliare le soluzioni senza preoccuparti che la tua applicazione subisca un jailbreak