Les applications publiques fondées sur de grands modèles de langage (LLM) peuvent exposer les marques à des risques financiers et réputationnels.
Nous utilisons des filtres de classification multicouches pour réduire les préjudices causés par les jailbreaks de LLM et d’autres comportements imprévus des LLM.
Nous avons appliqué cette approche à une application de production à grand volume qui traite 40 000 messages par jour, et ce nombre continue d’augmenter.
Au cours de la dernière année, nous nous sommes associés à un important développeur de jeux pour déployer un robot conversationnel d’IA générative qui traite environ 40 000 messages par jour provenant d’une communauté de joueurs qui comprend des enfants. Il est essentiel de trouver le juste équilibre entre rapidité, exactitude, sécurité et plaisir :
Lorsque vous créez un robot conversationnel pour représenter votre marque, il ne suffit pas qu’il soit sécuritaire : il doit aussi vous ressembler authentiquement.
Pour une entreprise de jeux, cela signifie allier sécurité, plaisir et enthousiasme des utilisateurs, surtout auprès des plus jeunes.
Les LLM qui sous-tendent les applications modernes d’IA générative sont très flexibles, ce qui explique leur grande capacité de généralisation, mais ils sont aussi insuffisamment contraints. Ils peuvent donc souvent sortir des sentiers battus et produire une grande variété de textes, dont certains peuvent être inappropriés.
Exposer directement un LLM au public entraînera assurément des comportements inattendus et, sans mesures d’atténuation adéquates, risque de mener aux situations suivantes :
Des « jailbreaks », où les utilisateurs manipulent intentionnellement le robot conversationnel pour lui faire produire du contenu nuisible ou interdit (fait amusant : tout le monde peut visiter ce site pour explorer les jailbreaks de LLM grâce à un jeu divertissant…); ou
La diffusion involontaire de contenu de mauvais goût, offensant ou dangereux. Dans bien des cas, cela peut compromettre le bien-être des utilisateurs ou causer des dommages financiers ou réputationnels au fournisseur de l’application.
Des manchettes sur l’utilisation imprévue des LLM :
Ces incidents montrent pourquoi l’intégration et le maintien de la sécurité dans les systèmes d’IA générative ne sont pas facultatifs. C’est particulièrement vrai lorsque de jeunes enfants sont concernés : de simples avis de non-responsabilité ne suffisent pas. De solides garde-fous sont essentiels pour que le contenu demeure approprié.
Comme pour les systèmes RAG (génération augmentée par récupération) que nous avons conçus pour des clients, nous exploitons plusieurs composants d’IA afin de réduire les risques de jailbreak tout en maintenant un rendement élevé.
Schéma simplifié de l’architecture de notre système
Pour assurer la sécurité du système, nous utilisons des classificateurs LLM sur les entrées comme sur les sorties :
Classification des entrées (exécutée en parallèle)
Nous avons utilisé des schémas Pydantic avec les sorties structurées des LLM pour étiqueter les requêtes des utilisateurs (p. ex., SAFE, SUSPICIOUS, CHILD_HARM_RISK, VIOLENT, etc.). Cela comprenait aussi des indicateurs permettant de détecter les jailbreaks ou les comportements interdits.
L’utilisation de plusieurs classificateurs consacrés à des sujets précis a produit un rendement nettement supérieur à celui d’un seul mégaclassificateur « fourre-tout ».
De nombreux exemples few-shot étaient essentiels pour que les classificateurs distinguent « Ce personnage n’arrête pas de me tuer » (à propos du jeu) de « Mon parent me fait mal » (un signe de préjudice envers un enfant).
Une étroite collaboration avec le client et ses équipes spécialisées en confiance et sécurité a permis à nos classificateurs de refléter leur façon d’évaluer les messages à risque élevé en situation réelle.
Génération de la réponse
Le LLM principal génère une réponse si l’entrée est jugée sécuritaire.
Sinon, le message peut être ignoré dans le cas d’un jailbreak ou transmis à une personne si la requête signale un problème de sécurité.
Classification des sorties
Avant qu’elle quitte notre application, nous classifions la réponse du modèle avant sa livraison finale.
Puisque certaines réponses peuvent employer des techniques RAG avec des données extraites d’Internet, cette étape nous protège contre l’empoisonnement des données.
Si la réponse contient du contenu interdit, le système intervient et la remplace par un message général. En pratique, cela s’est rarement produit, mais cette couche de précaution supplémentaire garantit que le comportement de l’agent demeure approprié.
Pour maintenir la rapidité et l’abordabilité :
Nous stockons les invites couramment utilisées et les dialogues partiels, ainsi qu’un ensemble soigneusement sélectionné d’exemples few-shot.
Cette mise en cache nous permet d’appliquer les classificateurs LLM rapidement et à faible coût, sans devoir recréer le contexte chaque fois.
Une récente étude d’Anthropic décrit les classificateurs constitutionnels, un système qui s’appuie sur des classificateurs supplémentaires entraînés selon des règles « constitutionnelles » afin de détecter les requêtes malveillantes ou non sécuritaires. Les chercheurs ont indiqué :
Une grande robustesse face à des milliers d’heures de tests humains par équipe rouge.
Un taux minimal de refus excessifs et une surcharge de calcul modérée.
Nous entrevoyons un avenir où ces approches constitutionnelles pourront compléter, voire remplacer, les couches de classification traditionnelles et offrir une défense plus complète contre l’évolution des tactiques de jailbreak.
Filtres légers et parallèles
Les couches de classification empêchent les requêtes malveillantes d’atteindre le cœur génératif et garantissent que les sorties inadéquates ne sont jamais livrées.
L’expérience utilisateur compte
En privilégiant le plaisir, les avertissements inspirés de l’univers du jeu et les refus ludiques, on incite davantage les utilisateurs à accepter les contraintes du système.
Ne lésinez pas sur les tests et la surveillance
Des exercices réguliers d’équipe rouge et une surveillance fréquente du comportement des joueurs aideront à repérer les vulnérabilités avant qu’elles soient connues de l’ensemble de la communauté. Ces vulnérabilités peuvent ensuite être réintégrées dans les invites few-shot des classificateurs afin d’éviter qu’elles soient exploitées à l’avenir. Ce processus est actuellement manuel, mais pourrait être automatisé.
Que vous soyez une entreprise de jeux, une banque ou même un ministère, le déploiement à grande échelle d’un robot conversationnel de service à la clientèle exige de viser À LA FOIS une conception axée sur l’utilisateur et la fiabilité.
Nous concevons des solutions destinées à la clientèle pour des organisations et des marques où :
La sécurité est primordiale : les robots conversationnels offrent de la valeur aux utilisateurs tout en les protégeant rigoureusement du contenu nuisible
La réputation doit être protégée : nous concevons plusieurs couches de protection qui préservent la réputation de la marque, même si des utilisateurs tentent de pousser le système au-delà de ses limites
La réglementation limite vos options : nous suivons les plus récentes directives de conformité afin que vous puissiez déployer vos solutions à grande échelle sans craindre que votre application subisse un jailbreak