Les applications publiques reposant sur des LLM peuvent exposer les marques à des risques réputationnels et financiers.
Nous utilisons des filtres de classification multicouches pour réduire les dommages liés aux jailbreaks et autres comportements indésirables des LLM.
Nous avons appliqué cette méthode à une application en production à fort volume, qui traite 40 000 messages par jour, et ce chiffre continue d’augmenter.
Au cours de l’année écoulée, nous avons collaboré avec un développeur de jeux de premier plan pour déployer un chatbot d’IA générative qui traite environ 40 000 messages par jour provenant d’une communauté de joueurs comprenant des enfants. Il est essentiel de trouver le juste équilibre entre rapidité, précision, sécurité et divertissement :
Lorsque vous créez un chatbot pour représenter votre marque, il ne suffit pas qu’il soit sûr : il doit aussi refléter fidèlement votre identité.
Pour une entreprise de jeux, cela signifie allier sécurité, divertissement et enthousiasme des utilisateurs, surtout parmi les plus jeunes.
Les LLM qui sous-tendent les applications modernes d’IA générative sont très flexibles, ce qui explique leur capacité à se généraliser à de nombreux problèmes, mais ils sont aussi insuffisamment contraints. Cela signifie qu’ils peuvent souvent sortir des sentiers battus et renvoyer une grande variété de textes, dont certains peuvent être inappropriés.
Exposer directement un LLM au public entraînera inévitablement des comportements inattendus et, sans mesures d’atténuation appropriées, peut présenter les risques suivants :
Des « jailbreaks », par lesquels les utilisateurs manipulent intentionnellement le chatbot afin qu’il produise du contenu nuisible ou interdit (petite anecdote amusante : tout le monde peut consulter ce site pour découvrir le jailbreak de LLM grâce à un jeu ludique…) ; ou
La fourniture involontaire de contenu choquant, offensant ou dangereux. Dans de nombreux cas, cela peut menacer le bien-être d’un utilisateur ou causer un préjudice financier ou réputationnel au fournisseur de l’application.
Gros titres liés à des utilisations imprévues des LLM :
Ces incidents montrent pourquoi la mise en place et le maintien de la sécurité dans les systèmes d’IA générative ne sont pas facultatifs. C’est particulièrement vrai lorsque de jeunes enfants sont concernés : de simples avertissements ne suffisent pas. Des garde-fous robustes sont indispensables pour garantir un contenu approprié.
À l’instar des systèmes RAG (génération augmentée par récupération) conçus pour nos clients, nous exploitons plusieurs composants d’IA afin de réduire les risques de jailbreak tout en maintenant des performances élevées.
Schéma d’architecture simplifié de notre système
Pour garantir la sécurité du système, nous utilisons des classificateurs LLM sur les entrées comme sur les sorties :
Classification des entrées (exécutée en parallèle)
Nous avons utilisé des schémas Pydantic avec les sorties structurées des LLM pour étiqueter les requêtes des utilisateurs (par exemple, SAFE, SUSPICIOUS, CHILD_HARM_RISK, VIOLENT, etc.). Cela comprenait également des indicateurs permettant de détecter les tentatives de jailbreak ou les comportements interdits.
Plusieurs classificateurs spécialisés par thème ont produit des performances nettement supérieures à celles d’un unique classificateur généraliste « fourre-tout ».
De nombreux exemples few-shot étaient indispensables pour que les classificateurs distinguent « Je me fais sans arrêt tuer par ce personnage » (dans le jeu) de « Mon parent me fait du mal » (signe de maltraitance infantile).
Une étroite collaboration avec le client et ses équipes spécialisées en confiance et sécurité a permis à nos classificateurs de refléter leur manière d’évaluer les messages à haut risque dans des situations réelles.
Génération de la réponse
Le LLM principal génère une réponse si l’entrée est jugée sûre.
Dans le cas contraire, le message peut être ignoré s’il s’agit d’un jailbreak, ou transmis à un humain si la requête signale un problème de sécurité.
Classification des sorties
Avant que la réponse ne quitte notre application, nous classifions la réponse du modèle avant sa livraison finale.
Certaines réponses pouvant utiliser des techniques RAG à partir de données extraites d’Internet, cette étape nous protège contre l’empoisonnement des données.
Si la réponse contient du contenu interdit, le système intervient et la remplace par un message général. En pratique, cela s’est rarement produit, mais cette couche de précaution supplémentaire garantit que le comportement de l’agent reste approprié.
Pour préserver la rapidité et l’accessibilité financière :
Nous stockons les prompts couramment utilisés et des dialogues partiels, ainsi qu’un ensemble soigneusement sélectionné d’exemples few-shot.
Cette mise en cache nous permet d’appliquer les classificateurs LLM rapidement et à moindre coût, sans avoir à reconstruire le contexte à chaque fois.
Une étude récente d’Anthropic décrit les classificateurs constitutionnels, un système qui s’appuie sur des classificateurs supplémentaires, entraînés à partir de règles « constitutionnelles », pour détecter les requêtes malveillantes ou dangereuses. Les résultats rapportés sont les suivants :
Grande robustesse face à des milliers d’heures de red teaming humain.
Taux de refus excessif minimal et surcoût de calcul modéré.
Nous envisageons un avenir où ces approches constitutionnelles pourront compléter, voire remplacer, les couches de classification traditionnelles, offrant ainsi une défense plus complète contre l’évolution des tactiques de jailbreak.
Filtres légers et parallèles
Les couches de classification empêchent les requêtes malveillantes d’atteindre le cœur génératif et garantissent que les mauvaises réponses ne sont jamais transmises.
L’expérience utilisateur compte
En privilégiant le divertissement, les avertissements inspirés de l’univers du jeu et les refus ludiques, nous incitons davantage les utilisateurs à accepter les contraintes du système.
Ne négligez pas les tests ni la surveillance
Un red teaming régulier, associé à une surveillance fréquente du comportement des joueurs, permet de repérer les vulnérabilités avant qu’elles ne soient connues de l’ensemble de la communauté. Celles-ci peuvent ensuite être réintégrées aux prompts few-shot des classificateurs afin d’empêcher leur exploitation future. Ce processus est actuellement manuel, mais pourrait être automatisé.
Que vous soyez une entreprise de jeux, une banque ou même un service public, si vous souhaitez déployer à grande échelle un chatbot de service client, vous devez viser À LA FOIS une conception centrée sur l’utilisateur et la fiabilité.
Nous concevons des solutions destinées aux clients pour les organisations et les marques qui considèrent que :
La sécurité est primordiale : des chatbots utiles aux utilisateurs, tout en les protégeant strictement des contenus nuisibles
La réputation doit être protégée : nous concevons plusieurs couches de protection qui préservent la réputation de la marque, même si les utilisateurs tentent de pousser le système au-delà de ses limites
La réglementation limite vos options : nous suivons les dernières directives de conformité afin que vous puissiez déployer vos solutions à grande échelle sans craindre que votre application ne subisse un jailbreak