Avez-vous déjà constaté qu’un prompt fonctionnait bien, puis cessait soudainement de fonctionner ?
Vous êtes-vous déjà retrouvé à corriger sans cesse votre prompt système pour améliorer les résultats, sans que rien ne fonctionne ?
L’apprentissage du prompt système est peut-être exactement ce qu’il vous faut.
L’apprentissage du prompt système (SPL) est un domaine d’intérêt émergent au sein de la communauté de l’IA. Il a été largement popularisé par Andrej Karpathy sur X en mai.
L’apprentissage du prompt système répond aux limites des systèmes d’IA rigides et fragiles qui reposent sur des prompts système statiques ou des dispositifs de fine-tuning difficiles à gérer. Il offre un autre moyen de favoriser l’apprentissage continu dans les systèmes d’IA.
Avant d’entrer dans le vif du sujet, revenons brièvement sur quelques principes fondamentaux de la conception de prompts.
Lors du développement d’un agent ou d’un modèle personnalisé, nous devons d’abord concevoir deux composants clés :
Un prompt système
Un prompt utilisateur
Les prompts système établissent les règles fondamentales qui régissent le comportement d’un modèle. Lorsqu’ils sont rédigés pour des solutions d’IA personnalisées, ils commencent souvent ainsi :
« Vous êtes un assistant intelligent. Votre rôle consiste à effectuer <insérer la tâche ici>.
Vous ne devez pas faire (A), (B) ni (C). »
À l’inverse, les prompts utilisateur contiennent généralement la requête d’un utilisateur et d’autres informations pertinentes, comme son fuseau horaire et ses préférences. Un prompt utilisateur pourrait ressembler à ceci :
Je suis dans la capitale du Portugal. Pouvez-vous me suggérer des activités pour ce soir ?
Les fuites de prompts système sont devenues courantes après la sortie de nouveaux modèles de grands laboratoires d’IA, car des utilisateurs appliquent un jailbreak aux chatbots pour révéler leurs instructions sous-jacentes. Un dépôt GitHub populaire rassemble désormais bon nombre de ces prompts système au même endroit. Ils révèlent la « recette secrète » élaborée au fil du temps par les laboratoires d’IA pour favoriser un comportement approprié des modèles. Par exemple, le prompt système de GPT-5 récemment divulgué (exposé dans ChatGPT) contient environ 6 000 mots, ce qui illustre la quantité de connaissances et de consignes à encoder pour façonner le comportement du système.
Ces prompts système détaillés couvrent généralement plusieurs domaines clés, notamment :
Instructions de recherche
Définitions des outils
Préférences de l’utilisateur
Instructions de citation
Correctifs rapides pour les problèmes connus
En pratique, les développeurs de systèmes d’IA personnalisés corrigent manuellement et de façon itérative les prompts système à mesure qu’ils testent et affinent leurs applications, principalement à l’aide d’évaluations pour guider ce processus d’amélioration.
Il existe d’autres moyens d’orienter le comportement d’un modèle :
L’ingénierie de prompts, notamment la génération augmentée par récupération (RAG), qui contrôle le contenu fourni à un modèle
Le fine-tuning (modification directe des poids sous-jacents du modèle)
Et s’il existait un autre moyen d’influencer le comportement du modèle ? Imaginez un système qui apprend et affine dynamiquement son propre prompt système à partir de réflexions, de plans et de stratégies générés précédemment. Il pourrait s’appuyer à la fois sur les retours des utilisateurs et sur des évaluations de type LLM-as-a-judge pour évaluer ses résultats.
Prenons un défi métier persistant que vous souhaitez automatiser à l’aide d’un système agentique. Les solutions efficaces nécessitent des capacités de raisonnement qui dépassent l’automatisation basique des processus. Dans de tels cas, il devient essentiel d’intégrer un composant de génération de plans à votre système d’IA. Cela permet au système de travailler de différentes manières avec plusieurs agents, selon la tâche. Les différentes étapes peuvent inclure des instructions pour accéder à d’autres agents afin d’accomplir des sous-tâches ou pour utiliser des outils.
Remarque : un outil d’agent est toute fonction externe, API ou ressource qu’un agent d’IA peut appeler pour aller au-delà du texte et effectuer des actions réelles.
Vous pouvez choisir d’« amorcer » le prompt système du modèle avec un plan suivant les étapes logiques qu’un humain adopterait, même si les LLM ont généralement besoin de consignes plus précises sur l’utilisation des outils, le format des résultats et les exigences connexes. Il arrive que la stratégie optimale ne soit pas claire ou que vous traitiez un problème qui n’a pas été réévalué parce qu’il était auparavant considéré comme résolu. C’est là qu’intervient l’apprentissage du prompt système (SPL).
Le SPL améliore de manière itérative un prompt système en y intégrant des stratégies générées précédemment. À mesure que de nouveaux problèmes apparaissent, le système accumule progressivement des connaissances et gagne en robustesse. Voyez cela comme la création d’un manuel pour résoudre les problèmes de votre domaine.
Le SPL intègre progressivement au prompt système les enseignements tirés des retours des utilisateurs. À mesure que votre système gagne en maturité, vous pouvez découvrir des problèmes récurrents pouvant être synthétisés en principes plus généraux et de plus haut niveau.
Examinons plus précisément le fonctionnement du processus, étape par étape :
Commencez par la requête de l’utilisateur, en demandant au système d’effectuer une tâche précise.
Si votre système ne traite qu’un seul problème, vous pouvez adopter une approche « gloutonne » en sélectionnant les stratégies les mieux notées des exécutions précédentes. Vous pouvez aussi favoriser l’exploration en échantillonnant une distribution qui privilégie les stratégies bien notées tout en incluant occasionnellement des stratégies moins bien notées. Cette approche est particulièrement utile lorsque vous commencez tout juste à recueillir des stratégies.
Pour les systèmes conçus pour traiter des ensembles de problèmes variés, envisagez d’ajouter une couche de classification ou d’utiliser des embeddings et la similarité cosinus — les techniques généralement employées dans la RAG — afin d’identifier les approches pertinentes. Cela vous aide à sélectionner des stratégies adaptées au problème précis, par exemple des stratégies destinées aux tâches de programmation.
Remarque : les embeddings utilisés avec la similarité cosinus permettent de mesurer le degré de relation entre deux informations, ce qui facilite la mise en correspondance de documents, de requêtes ou d’idées, même lorsque leur formulation exacte diffère.
Exemple de point de départ d’un référentiel simplifié de stratégies pour résoudre des problèmes de programmation.
Remarque : les « stratégies d’amorçage » présentées ici sont données à titre d’exemple. Dans des scénarios de programmation réels, nous les affinerions davantage. Les problèmes métier spécialisés nécessiteraient de recueillir des enseignements supplémentaires au fil du temps.
Id_génération (ordre inverse) | Sujet | Score | Texte_stratégie | Explication |
|---|---|---|---|---|
4 | programmation | 1 | Comprendre le problème, les contraintes et les cas limites. Concevoir un algorithme avec les structures de données appropriées. Valider le plan à l’aide d’exemples et d’invariants. Implémenter un code propre et lisible. Affiner par la refactorisation, l’optimisation et la mise en forme finale. Utilisation des outils : lorsque vous utilisez un outil, expliquez brièvement pourquoi il était nécessaire. | Intègre et combine les meilleurs éléments des trois stratégies ci-dessous. |
3 | programmation | 1 | Comprendre le problème, les contraintes et les cas limites. Concevoir un algorithme avec les structures de données appropriées. Valider le plan à l’aide d’exemples et d’invariants. Implémenter un code propre et lisible. Affiner par la refactorisation, l’optimisation et la mise en forme finale. | Une stratégie plus complète, mais sans consignes sur l’utilisation des outils. |
2 | programmation | -1 | Comprendre le problème, les contraintes et les cas limites. Concevoir un algorithme avec les bonnes données. Implémenter un code propre et lisible. Utilisation des outils : lorsque vous accédez à des outils, résumez brièvement pourquoi vous avez utilisé cet outil. | Une meilleure stratégie qui mentionne l’utilisation des outils, mais qui pourrait encore être améliorée. |
1 | programmation | -1 | Parcourir rapidement le problème. Résoudre le problème. Créer des tests minimaux. Soumettre ce qui fonctionne. | Mentionne les tests, mais constitue globalement une stratégie faible. |
3. Après avoir échantillonné N stratégies, intégrez-les au prompt système. Cela ancre la génération de plans dans les retours d’experts antérieurs, plutôt que de laisser le modèle créer des plans avec un minimum de consignes. Encouragez le modèle à « sortir des sentiers battus » et à ajouter des étapes si nécessaire, plutôt que de recopier simplement les stratégies d’exemple mot pour mot.
4. À l’aide de votre prompt système créé dynamiquement, générez une nouvelle stratégie pour répondre à la demande de l’utilisateur. Ce processus doit produire des tâches supplémentaires qui améliorent le résultat final. L’objectif est la créativité : combinez les meilleurs éléments des stratégies précédentes, regroupez les étapes qui se chevauchent et ajoutez de nouvelles étapes utiles si nécessaire.
Remarque : rappelez-vous que la température est un paramètre réglable permettant de produire des résultats plus variés et moins déterministes, ce qui est utile lorsque la créativité est recherchée. Avec une température non nulle, chaque plan généré peut être différent.
5. Après avoir reçu le résultat du modèle, faites-le évaluer par un humain ou par un LLM juge, selon des critères précis définissant une bonne solution à votre problème. Pour l’exemple des activités au Portugal mentionné précédemment, les critères d’évaluation pourraient inclure :
Concision (réponse limitée à une phrase)
Pertinence de l’activité suggérée
Exactitude géographique
6. À partir de cette évaluation, utilisez un autre modèle pour affiner la stratégie. Une boucle de rétroaction facultative peut intégrer l’avis d’humains et favoriser des améliorations collaboratives. Enregistrez la stratégie affinée dans votre base de données avec les métadonnées appropriées pour suivre les versions et les modifications.
Alors, pourquoi se donner tout ce mal ? Vous pourriez examiner manuellement les résultats et adapter le prompt système en conséquence. Cependant, de puissants modèles de raisonnement peuvent affiner les stratégies à partir du contexte des résultats et des retours humains. Bien que les humains repèrent facilement les défauts des approches simples, leur détection devient difficile et fastidieuse dans les systèmes complexes traitant des ensembles de problèmes plus vastes.
Les LLM ont souvent besoin d’instructions détaillées et d’étapes supplémentaires pour recueillir les connaissances contextuelles que les humains apportent naturellement à un problème. Le nombre de tâches requises peut augmenter rapidement à mesure qu’un système s’étend pour traiter des ensembles de problèmes plus vastes. Par exemple, les humains qui résolvent des problèmes de programmation peuvent comprendre intuitivement la base de code environnante, tandis qu’un LLM devra peut-être d’abord « lire » plusieurs fichiers.
Quand cela aide : imaginez que vous dirigez une équipe d’assistance client et qu’un agent d’IA assure le tri des tickets. Au fil du temps, le SPL pourrait découvrir une méthode de catégorisation que votre équipe n’avait pas envisagée, réduisant ainsi le taux d’escalade.
Quand cela n’aide pas : si des exigences de conformité ou des réglementations définissent déjà vos processus, par exemple pour l’information financière, le SPL peut apporter peu de valeur, car la créativité devient un risque plutôt qu’un atout.
Quand cela aide : dans les fonctions à forte composante de recherche, comme la veille commerciale ou la stratégie produit, vous pouvez collaborer avec l’IA en affinant ses plans, en enrichissant ses résultats et en intégrant ces améliorations pour une utilisation future. Chaque interaction améliore l’efficacité du système.
Quand cela n’aide pas : si votre équipe utilise surtout l’IA pour des processus simples nécessitant peu d’intervention humaine, comme le traitement des factures, le coût de la collaboration peut dépasser ses avantages.
Quand cela aide : supposons que vous vous développiez dans une nouvelle région et que l’IA doive soudainement traiter des demandes relatives à la fiscalité locale. Le SPL vous permet d’encoder rapidement de nouvelles règles et heuristiques à mesure qu’elles apparaissent, évitant ainsi la répétition des erreurs.
Quand cela n’aide pas : si votre environnement est statique, par exemple pour convertir des transcriptions de réunions en résumés standardisés, une adaptation constante offre peu d’avantages.
En théorie, tout cela semble prometteur, mais la mise en œuvre du SPL présente de réelles difficultés. Nous présentons ci-dessous quelques-unes des principales :
Au début de la génération de stratégies, les progrès stagnent souvent : les nouveaux résultats ne s’appuient pas sur les précédents et la dynamique ralentit. Deux problèmes principaux en sont généralement la cause :
Solution : encodez dès le départ toutes les connaissances métier disponibles afin que le système dispose d’une base approfondie sur laquelle s’appuyer.
Solution : concevez une grille nuancée qui évalue plusieurs aspects d’une réponse, tels que l’exactitude, la clarté et la pertinence, puis adaptez votre échantillonnage à ces signaux.
Si votre système génère des centaines de stratégies, mais reçoit peu de retours pour distinguer les bonnes des mauvaises, l’échantillonnage devient rapidement ingérable. La solution consiste à les élaguer.
Lorsque vous affinez votre référentiel de stratégies, tenez compte des éléments suivants :
Durée de vie : retirez les stratégies une fois qu’elles dépassent une période ou un nombre de générations défini.
Score : utilisez votre grille d’évaluation pour éliminer les stratégies systématiquement peu performantes. Associée à la durée de vie, cette méthode garantit que vous ne conservez que les approches qui prouvent leur valeur au fil du temps.
Évaluation par un LLM : évaluez périodiquement les stratégies pour repérer celles qui n’apportent plus d’idées uniques, car leurs éléments utiles ont probablement déjà été intégrés aux versions plus récentes.
Solution : traitez votre base de données de stratégies comme un système vivant : élaguez-la régulièrement afin de ne conserver que les connaissances pertinentes et à forte valeur ajoutée.
L’apprentissage du prompt système n’en est qu’à ses débuts, mais son potentiel est immense. Les entreprises qui s’appuient uniquement sur des prompts statiques ou un fine-tuning sans fin rencontreront des limites bien connues : systèmes fragiles, hausse des coûts et efforts gaspillés. Le SPL permet de sortir de ce cycle en créant des systèmes qui s’améliorent au fil du temps et encodent des principes généraux plutôt que des correctifs isolés.
Le SPL est encore émergent, mais sa trajectoire est claire : les systèmes capables d’apprendre par eux-mêmes devanceront ceux qui ne le peuvent pas. Il est temps d’expérimenter, de commencer modestement, de consigner les enseignements et de poser les bases de systèmes d’IA qui s’améliorent à chaque interaction.