Wat honderden prompts ons leerden over conversationele AI

Honderden klantgerichte prompts laten zien hoe AI-agents consistent communiceren, nuttig blijven en een gedeelde merkstem uitdragen.

Samenvatting

  • Klantgerichte AI vertegenwoordigt je merk en vereist een wezenlijk ander vakmanschap dan interne tools.

  • Het verschil tussen een functionele en een overtuigende agent is eerder conceptueel dan technisch, omdat de meeste prompts als instructiesets worden geschreven en niet als ontwerpen voor een dialoog.

  • De taalkunde en cognitieve psychologie bieden een beter kader: gesprekken hebben een structuur en prompts creëren een aandachtsomgeving. Wat je vooraan zet, wat je herhaalt en hoe je afsluit, bepaalt in hoge mate het gedrag van de agent.

  • Beperkingen helpen, maar alleen als ze nauwkeurig zijn. Te veel uitzonderingsgevallen leiden tot houterige interacties en onhandelbare prompts. Als we minder beslissingen hoeven te nemen, kunnen we ons juist op de belangrijkste richten.

Het bouwen van conversationele, klantgerichte AI is een grote uitdaging voor bedrijven.

Zelfs voor de meest enthousiaste gebruikers van deze technologie, die AI-samenwerking voor individuele medewerkers hebben omarmd en misschien zelfs eigen AI-tools voor intern gebruik hebben ontwikkeld, is het iets heel anders om AI de interface tussen je bedrijf en de buitenwereld te maken.

En dat is een echte promotie. Zodra AI klantgericht wordt ingezet, promoveert ze van ijverige stagiair tot volwaardig medewerker: ze trekt het uniform aan en vertegenwoordigt het merk in de ogen van klanten.

Er staat veel op het spel. Elke misstap is nu openbaar en kan worden vastgelegd.

De producten die we bouwen, zijn vaak systemen met meerdere agents en complexe interacties op bedrijfsniveau. Die logica kan echter juist het eenvoudigste onderdeel zijn. De grotere uitdaging is gebruikers ervan te overtuigen dat ze steeds met dezelfde agent praten en dat wat die agent zegt de moeite waard is.

Daarom schrijven en herschrijven we prompts, steeds opnieuw.

Aan sommige agents gaan honderden promptiteraties vooraf. Ze hebben allemaal hetzelfde doel: bij de taak blijven en spreken met een stem die menselijke gebruikers aanspreekt.

Onze ervaringen met het verfijnen van prompts hebben ons ertoe aangezet creatief naar inspiratie te zoeken. We zijn inzichten uit andere vakgebieden gaan gebruiken. Natuurlijk werkte niet alles, en wat wel werkte, was zelden bij de eerste poging raak. Deze verkenningen hebben binnen ons team geleid tot een ander paradigma voor prompting.

Inzichten voor prompting uit de taalkunde en cognitieve psychologie

De kloof tussen een systematisch functionerende agent en een briljante gesprekspartner is niet puur technisch, maar conceptueel. Het is de afstand tussen de wereld waarin je de agent met je prompt hebt geplaatst en de echte wereld van menselijke communicatie waarin de agent opereert.

Die laatste wereld wordt gekenmerkt door ambiguïteit. Mensen zijn daar goed op afgestemd en welwillende gesprekspartners navigeren er samen doorheen aan de hand van subtiele, onuitgesproken gespreksregels. Een slecht toegeruste agent valt meteen door de mand.

Om de vierde wand, of de turingillusie, in stand te houden, kunnen we onze agents verankeren in de kunst van de dialoog met inzichten uit de taalkunde en cognitieve psychologie.

De taalkunde biedt een complete gereedschapskist om taalgebruik in de praktijk te bestuderen. Een van de instrumenten is conversatieanalyse, die onderzoekt hoe mensen gesprekken van moment tot moment structureren en sturen. Toegepast op prompting geeft dit kader ons de woordenschat om een gesprek niet als een uitwisseling van woorden te beschouwen, maar als een uitwisseling van handelingen.

Sommige handelingen zijn praktisch, zoals informatie opvragen of geven. Andere zijn sociaal, zoals een goede verstandhouding bewaren of wrijving vermijden. Zulke stappen vinden plaats binnen de bredere structuur en fasen van een dialoog, die elk hun eigen verwachte handelingen kennen. Dialogen hebben een opening en afsluiting, maar ook onderwerpsovergangen en zelfs voorovergangen: die soms ongemakkelijke momenten waarop tussen de regels door subtiel een nieuwe richting wordt voorgesteld, besproken en bepaald.

Miscommunicatie komt voortdurend voor, zelfs als alle betrokkenen de beste bedoelingen hebben. Hoewel mensen de kunst van de dialoog in uiteenlopende mate beheersen, is het punt dat de LLM achter je agent niet standaard beschikt over de intuïtie die zelfs een doorsnee menselijke gesprekspartner bezit.

Aandacht benutten en helderheid binnen grenzen bereiken

Naast de taalkundige analyse biedt de cognitieve psychologie een aanvullend perspectief. Ze laat zien hoe aandacht, geheugen en besluitvorming werkelijk werken: hoe mensen wat eerst komt anders wegen dan wat laatst komt, hoe specifieke prikkels betrouwbaar gedrag uitlokken en hoe beperkingen ruimte kunnen scheppen door de cognitieve belasting te verminderen.

Een prompt is geen neutrale verpakking voor instructies. Het is een aandachtsomgeving. Wat bovenaan staat, doet er dus toe. Wat onderaan staat, doet er ook toe. Wat wordt herhaald, doet ertoe. Bij een lijst onthouden mensen het begin en het einde doorgaans beter dan het midden. Psychologen noemen dit het seriële positie-effect: het primacy- en recency-effect.

In de praktijk zien we iets vergelijkbaars bij LLM's. De eerste aanwijzingen bepalen het kader: wie de agent is, welke rol die speelt en wat voor wereld die verwacht aan te treffen. Afsluitende aanwijzingen werken vaak als "het laatste wat de agent hoort". Als we onze belangrijkste instructies daar plaatsen, is de kans groter dat ze worden opgevolgd.

We moeten niet alleen zorgvuldig bepalen waar we de verschillende instructies in onze prompt plaatsen, maar ook letten op de algehele vorm van de grens die deze instructies voor onze agent creëren.

Instructies begrenzen onze agent: ze verminderen het aantal concurrerende mogelijkheden waartussen die moet kiezen en verkleinen de totale probleemruimte. Onze prompts moeten voldoende beperkingen bevatten om de taak van de agent behapbaar te maken.

De psychologie leert ons dat we bij het instrueren van medewerkers, vooral minder ervaren medewerkers, de taak zo eenduidig mogelijk moeten maken om de cognitieve belasting zo veel mogelijk te beperken. Beperkingen lijken misschien onze vrijheid in te perken, maar als we minder beslissingen hoeven te nemen, kunnen we ons richten op de paar belangrijke keuzes die overblijven en onze creativiteit inzetten om binnen de grenzen te handelen.

Omgekeerd is proberen onze agent geen enkele beslissing te laten nemen door elk denkbaar uitzonderingsgeval af te dekken met lijsten van voorbeeldgedrag een goede manier om een houterige gesprekspartner te creëren. Om nog maar te zwijgen van een onhandelbare Frankensteinprompt vol ifs en elses die een nachtmerrie is om te beheren.

(Few-shots, we hebben het tegen jullie.)

Een goed afgebakende prompt geeft voldoende richting zonder de opdracht te overladen en de agent te verlammen. Vaak betekent dit dat we minder uitzonderingsgevallen of doelen voor de agent opnemen, zowel voor wat die wel of niet moet zeggen als voor de manier waarop.

Few-shot-prompting versus grensgebaseerde prompting

Diagram dat few-shot-prompting en grensgebaseerde prompting vergelijkt.

Onze ervaring leert dat als je een few-shot nodig hebt om je grens bij te stellen, die grens niet nauwkeurig genoeg is. Ga terug naar de kerninstructies en verfijn ze.

De voorwaarden voor een betere dialoog ontwerpen

Vanuit de cognitieve psychologie hebben we nagedacht over waar we verschillende instructies in een prompt moeten plaatsen en hoeveel en welke instructies nodig zijn om de probleemruimte van onze agent optimaal af te bakenen.

Met onze eerdere taalkundige observaties over de kunst van de dialoog in gedachten, kunnen we ons promptingparadigma completeren door dialooggerichte instructies op te nemen in de bredere taakgrenzen van onze agent.

Voor klantgerichte AI is de dialoog altijd de metataak, of we dat nu erkennen of niet. Als we de dialoog bewust in onze prompt behandelen, zetten we een deel van de capaciteit of "cognitieve belasting" van onze agent in voor dialoogbewustzijn en responsiviteit, zodat die een betere gesprekspartner wordt.

De keerzijde is dat we de hoofdtaak dan waarschijnlijk moeten verkleinen om de totale probleemruimte behapbaar en goed afgebakend te houden.

Voor klantgerichte AI ontwerpen we de voorwaarden voor betere dialogen en beslissingen dus als één geheel. We streven naar kleinere, goed afgebakende agents, waarvan de hoofdtaak is ingebed in de metataak van de dialoog of deze omvat. We schrijven geen stapels instructies die we aan de hand van voorbeelden verfijnen. We schrijven een kleinere set verfijnde instructies die zo nauwkeurig zijn dat voorbeelden overbodig worden.

Dit is het promptingparadigma waarmee we agents creëren die niet alleen bij hun taak blijven, maar dat ook met conversationele elegantie doen.

Nu het conceptuele landschap in kaart is gebracht, pakken we het in onze volgende blog praktischer aan. We bekijken enkele belangrijke patronen die naar voren zijn gekomen toen we deze principes met vallen en opstaan toepasten op prompts voor praktijksituaties. Opvallend genoeg beginnen aanbieders van grensverleggende modellen vergelijkbare patronen op te nemen in hun eigen richtlijnen voor prompting. Volgende keer meer.

Auteurs

Douglas Smith, Sam Netherwood