Kunderettet KI representerer merkevaren din og krever et håndverk som er grunnleggende annerledes enn for interne verktøy.
Forskjellen mellom en funksjonell og en overbevisende agent er mer konseptuell enn teknisk, fordi de fleste prompter skrives som instrukser, ikke som utgangspunkt for dialog.
Et bedre perspektiv finner vi i lingvistikk og kognitiv psykologi: Samtaler har struktur, og prompter skaper et oppmerksomhetsmiljø. Det du plasserer først, det du gjentar, og måten du avslutter på, vil på en forutsigbar måte forme agentens atferd.
Begrensninger hjelper, men bare når de er presise. For mange spesialtilfeller gir stive samhandlinger og uhåndterlige prompter. Færre beslutninger gir rom for å konsentrere seg om de viktigste.
Det er krevende for en virksomhet å utvikle samtalebasert, kunderettet KI.
Selv for de aller ivrigste brukerne av teknologien – som har tatt i bruk KI-samarbeid blant de enkelte ansatte og kanskje til og med utviklet egne KI-verktøy til intern bruk – er det noe helt annet å gjøre KI til bindeleddet mellom virksomheten og omverdenen.
Og det er en forfremmelse. Når KI møter kundene, går den fra å være en flittig praktikant til å bli en betrodd medarbeider som tar på seg uniformen og representerer merkevaren overfor kundene.
Mye står på spill. Hvert feiltrinn er nå offentlig og kan bli dokumentert.
Produktene vi utvikler, er ofte systemer med flere agenter og komplekse samhandlinger på virksomhetsnivå. Men denne logikken kan være den enkleste delen. Den største utfordringen er å overbevise brukerne om at de snakker med den samme agenten hele tiden, og at det agenten sier, er verdt å lytte til.
Derfor skriver og omskriver vi prompter, om og om igjen.
Enkelte agenter er resultatet av hundrevis av promptrevisjoner. Alle har samme mål: å holde seg til oppgaven og bruke en stemme som treffer menneskelige brukere.
Erfaringen vår med å finjustere prompter har fått oss til å lete kreativt etter inspirasjon. Vi har begynt å hente ideer fra andre fagområder. Ikke alt har fungert, naturligvis, og det som har fungert, har sjelden sittet på første forsøk. Denne utforskningen har ført til at det har vokst frem et nytt paradigme for prompting i teamet vårt.
Avstanden mellom en systematisk funksjonell agent og en som briljerer i samtaler, er ikke rent teknisk, men konseptuell. Det er avstanden mellom verdenen du har plassert agenten i gjennom prompten, og den virkelige verdenen av menneskelig kommunikasjon der agenten opererer.
Sistnevnte kjennetegnes av tvetydighet. Mennesker er godt tilpasset denne og navigerer i den sammen ved hjelp av et sett finstemte, uskrevne regler for samtaler – så lenge alle har gode hensikter. En dårlig rustet agent avslører seg raskt.
For å bevare den fjerde veggen, eller Turing-illusjonen, kan vi forankre agentene våre i samtalekunsten ved hjelp av innsikt fra lingvistikk og kognitiv psykologi.
Lingvistikken har en hel verktøykasse for å studere språk i bruk, blant annet samtaleanalyse, som undersøker hvordan mennesker strukturerer og håndterer samtaler fra øyeblikk til øyeblikk. Når dette rammeverket brukes på prompting, får vi et språk for å forstå samtaler, ikke som utveksling av ord, men som utveksling av handlinger.
Noen handlinger er praktiske, som å innhente eller gi informasjon, mens andre er sosiale, som å opprettholde en god tone eller unngå friksjon. Slike trekk finner sted innenfor dialogens overordnede struktur og faser, som hver har sine forventede handlinger. Dialoger har åpninger og avslutninger, men også emneoverganger og til og med forberedende overganger – de tidvis kleine øyeblikkene der en ny retning antydes, forhandles og avgjøres mellom linjene.
Misforståelser oppstår hele tiden, selv når alle parter har de beste hensikter. Mennesker behersker samtalekunsten i ulik grad, men poenget er at LLM-en bak agenten din ikke leveres med den intuitive forståelsen som selv en helt gjennomsnittlig menneskelig samtalepartner har.
Ved siden av den lingvistiske analysen tilfører kognitiv psykologi et utfyllende perspektiv. Den forteller oss hvordan oppmerksomhet, hukommelse og beslutningstaking faktisk fungerer – hvordan mennesker vektlegger det som kommer først kontra sist, hvordan bestemte utløsere gir forutsigbar atferd, og hvordan begrensninger kan virke frigjørende ved å redusere den kognitive belastningen.
En prompt er ikke en nøytral beholder for instrukser. Den er et oppmerksomhetsmiljø. Derfor har det betydning hva som står øverst. Det har betydning hva som står nederst. Det har betydning hva som gjentas. Når mennesker får en liste, husker de gjerne begynnelsen og slutten bedre enn midten. Psykologer kaller dette serieposisjonseffekten: primær- og resenseffekten.
I praksis ser vi noe lignende hos LLM-er. De første føringene etablerer rammen: hvem agenten er, hvilken rolle den spiller, og hva slags verden den forventer å møte. Avsluttende føringer fungerer ofte som «det siste den hører». Plasserer vi de viktigste instruksene der, er sjansen større for at de blir fulgt.
Samtidig som vi nøye vurderer hvor de ulike instruksene skal plasseres i prompten, bør vi også følge med på den overordnede formen til grensene som instruksene skaper for agenten.
Instrukser begrenser agenten, reduserer antallet konkurrerende muligheter den må ta stilling til, og snevrer inn det samlede problemrommet. Promptene våre må ha nok begrensninger til at agentens oppgave blir håndterbar.
Når vi instruerer ansatte, særlig de mindre erfarne, forteller psykologien oss at det er lurt å fjerne tvetydighet fra oppgaven og dermed redusere den kognitive belastningen mest mulig. Begrensninger kan oppleves som hemmende, men færre beslutninger frigjør kapasitet til å konsentrere oss om de få viktige valgene som gjenstår, og bruke kreativitet når vi handler innenfor rammene.
Hvis vi derimot prøver å gi agenten null beslutninger ved å dekke alle tenkelige spesialtilfeller med lister over eksempelatferd, ender vi fort med en stiv samtalepartner. For ikke å snakke om en uhåndterlig Frankenstein-prompt full av hvis-er og ellers-er som er et mareritt å vedlikeholde.
(Prompter med få eksempler – vi ser på dere.)
En prompt med tydelige grenser gir nok retning uten å overlesse oppgaven og lamme agenten. Ofte betyr dette at vi introduserer færre spesialtilfeller eller mål for agenten, både for hva den skal og ikke skal si, og hvordan den skal og ikke skal si det.
Vår erfaring er at hvis du tyr til eksempler for å justere grensene, er ikke grensene presise nok. Gå tilbake til kjerneinstruksene og finjuster dem.
Fra et kognitivpsykologisk perspektiv har vi vurdert hvor ulike instrukser bør plasseres i en prompt, og både mengden og kvaliteten på instruksene som trengs for å avgrense agentens problemrom best mulig.
Med de tidligere lingvistiske observasjonene våre om samtalekunst i minne kan vi fullføre promptingparadigmet ved å gjøre dialogorienterte instrukser til en del av agentens overordnede oppgavegrenser.
For kunderettet KI er dialog alltid metaoppgaven, enten vi erkjenner det eller ikke. Når vi velger å behandle dialog bevisst i prompten, bruker vi en del av agentens kapasitet, eller «kognitive belastning», på å være oppmerksom og responsiv i dialogen på en måte som forbedrer samtaleevnen.
Avveiningen er imidlertid at vi trolig må redusere omfanget av hovedoppgaven for å bevare et håndterbart og tydelig avgrenset problemrom som helhet.
For kunderettet KI utformer vi derfor vilkårene for bedre dialog og bedre beslutninger som en helhet. Vi sikter mot mindre agenter med tydelige grenser, der hovedoppgaven er satt inn i en sammenheng som omfatter dialogens metaoppgave. Vi skriver ikke hauger av instrukser som finjusteres gjennom eksempler. Vi skriver et mindre sett med finjusterte og så presise instrukser at eksempler blir overflødige.
Dette er promptingparadigmet vi bruker for å skape agenter som ikke bare holder seg til oppgaven, men gjør det med språklig eleganse.
Nå som det konseptuelle landskapet er kartlagt, blir vi mer praktiske i neste blogginnlegg. Vi skal se på noen sentrale mønstre som har vokst frem gjennom praktisk prøving og feiling når vi har anvendt disse prinsippene på prompter. Interessant nok begynner leverandører av banebrytende modeller å gjenspeile lignende mønstre i sine egne råd om prompting. Mer om dette neste gang.