Det meste av promptutforming fokuserer på nøyaktighet og hvor godt instruksjonene dekker behovet. De største gevinstene i produksjon kommer når selve dialogen behandles som det sentrale designproblemet.
Ved å angi intensjoner som utløser- og handlingspar veileder vi modellen i hvordan den skal ta beslutninger, i stedet for å gi den et manus den ikke kan frigjøre seg fra. Plasseringen i en prompt er i seg selv en instruksjon. Identiteten kommer først, nyansene i atferden i midten og de absolutte begrensningene til slutt. Alt som virkelig er avgjørende, står begge steder.
Å skrive prompten med ønsket tonefall i stedet for å beskrive det, er en av endringene som har størst effekt.
De mest helhetlige agentene har prompter som behandler ulike øyeblikk i samtalen som særskilte interaksjoner, hver med sin egen passende form, samtidig som tonefallet er gjenkjennelig hele veien.
I noen tilfeller gir det mer helhetlige og forankrede svar å skille agentene som tenker, fra dem som snakker. Det hindrer også at intern resonnering lekker ut i svarene.
Vi har tidligere presentert et nytt paradigme for prompting basert på innsikt fra lingvistikk og kognitiv psykologi. Vi skrev om hvor viktig det er å skape et tydelig og avgrenset problemområde som agenten kan operere innenfor, og hvordan dette problemområdet må romme dialogens metaoppgave, som er uløselig knyttet til kundevendt KI.
Nå skal vi se på noen praktiske måter promptene våre har begynt å endre seg på etter hvert som vi har tatt disse prinsippene i bruk i produksjon.
Etter hundrevis av iterasjoner med prompter i aktive kundevendte systemer har de største gevinstene ikke kommet fra flere instruksjoner, en mengde eksempler eller vanlige normer for promptutforming. De har i stedet kommet av å gjøre dialogen til kjernen i problemet.
Kontinuerlig utforsking og testing har avdekket en rekke effektive teknikker. Vi endret en prompt og undersøkte hvor samtalen lyktes eller mislyktes. Deretter sporet vi feilene tilbake til hvor effektiv veiledningen var, hvordan prompten var strukturert, og hvordan vi brukte språket. Resultatet er noen få mønstre som kan gjentas, og som endrer hvordan agenten tolker rollen sin i samtalen, velger neste handling og bevarer et konsekvent tonefall når konteksten skifter.
Det som følger, er ikke et universelt rammeverk eller en påstand om at prompting nå er «løst». Det er fem mønstre som sammenfatter det som fungerte i produksjon når målet ikke bare var funksjonell nøyaktighet, men bedre dialog: svar som oppleves helhetlige, naturlige og konsekvente nok til å bære en merkevare.
Agentbaserte systemer kan struktureres på mange måter, men orkestrerte arbeidsflyter med flere agenter er fortsatt populære. Særlig i slike systemer var det å skille agentene som tenker, fra agentene som snakker, den forbedringen som ga mest konsekvente resultater.
Orkestrering av intensjoner, klassifisering, kunnskapsuthenting og bruk av verktøy er alle interne operasjoner. Svar til kunder er kundevendte operasjoner. Når samme agent gjør begge deler i samme omgang, kan intern resonnering og logikk lekke ut i svarene. Svarene blir fulle av forbehold og unødvendige presiseringer, eller struktureres rundt prosessens logikk fremfor personens behov.
Denne ene begrensningen gjør overraskende mye. Den forankrer svarene i den faktiske samtalen, hindrer at konteksten nullstilles, og gir noe som ligner mer på det vi kaller «å levere differansen». Agenten legger altså bare til det minste nye bidraget som faktisk hjelper brukeren videre.
Valget av hvilken type svar som skal gis, er også viktig. Vi oppdaget at det å be den snakkende agenten velge en responstype før den skrev noe – svare, avklare, omdirigere eller vente – reduserte den vanligste samtalefeilen pålitelig: ikke dårlig språk, men et helt feil svar.
Det er verdt å merke seg at de nyeste banebrytende modellene under de rette forholdene begynner å utfordre forutsetningen for dette mønsteret. Mange utviklere bruker likevel fortsatt mindre eller eldre modeller av ulike grunner. I slike sammenhenger anbefaler vi absolutt å skille interne og kundevendte hensyn.
For modeller uten resonnering fungerer få eksempler fordi de er konkrete, raske å bruke og noe modellene responderer godt på. Problemet er overtilpasning. Gir du en modell et eksempel, henger den seg opp i ordvalget, rytmen og formen og fortsetter å lage nære varianter av det samme svaret selv når situasjonen har endret seg.
Du har utilsiktet skrevet et manus modellen ikke klarer å frigjøre seg fra.
Implementeringsintensjoner eller heuristikker er et mer robust alternativ. I stedet for å vise modellen hva den skal si i bestemte situasjoner*,* gir vi den et bredere utløser- og handlingspar: Hvis X skjer, gjør Y.
Hovedforskjellen er at vi ikke snevrer inn X og Y med ett eksempel om gangen, slik at de blir stadig mer rigide. I stedet trekker vi en tydelig grense rundt hver av dem med en så presis instruksjon at eksempler blir overflødige. Slik forblir agenten mottakelig for reell variasjon i samtalen i stedet for å mønstertilpasse seg en mal.
I praksis ligner dette mindre på eksempler og mer på kjørbare tommelfingerregler:
Hvis en viktig detalj mangler, still ett oppklarende spørsmål.
Hvis et spørsmål ikke støttes, si dette direkte og tilby det beste tilgjengelige neste trinnet.
Hvis forespørselen treffer en sikkerhetsgrense, avvis kort og omdiriger uten videre.
Det er ikke spesielt glamorøst, men betydelig mer robust enn et bibliotek med eksempelsvar, fordi modellen lærer hvordan den skal ta en beslutning, ikke hva den skal gjenta.
Plasseringen av noe i en prompt påvirker hvor mye vekt det får. Dette er et gjennomgående mønster vi har observert på tvers av modeller og produksjonsmiljøer. Begynnelsen og slutten av en prompt skiller seg ut uforholdsmessig mye. Det som står i midten, er nyansene, og det er nettopp der nyansene hører hjemme.
Vi strukturerer promptene våre med dette i tankene. Agentens rolle og selvforståelse står øverst, slik at vi etablerer identiteten før alt annet. I midten står detaljene om atferden: hvordan samtalen sannsynligvis vil utvikle seg, heuristikkene som styrer svarene, og de ulike situasjonene agenten må håndtere. Absolutte begrensninger og ufravikelige krav står nederst, der de ligger fremst i minnet.
Alt som virkelig er avgjørende, plasserer vi begge steder. En bestemt regel for utdata – for eksempel en tydelig instruksjon om tegnsetting eller formatering – kan fort bli oversett hvis den bare forekommer én gang midt i en tettpakket prompt. Gjentas den til slutt, blir den fulgt.
Når det gjelder den siste informasjonens forrang, er det verdt å merke seg at strukturerte utdata i praksis er den aller siste instruksjonen i prompten når de brukes. Beskrivelsesfeltene i de strukturerte utdataene påvirker kvaliteten på svarene og utgjør en sterkere utdataavtale enn resten av prompten.
Vi har lært at vi heller ikke bør bruke få eksempler for å styre tonefall, og dette er en av endringene som har hatt størst effekt på de kundevendte agentene våre.
I stedet skriver vi hele prompten med ønsket tonefall. Ikke en beskrivelse av tonefallet eller en rekke adjektiver som skal gjengi det, men det faktiske tonefallet i sammenhengende prosa, fra første til siste linje. Prompten blir demonstrasjonen. Vi kaller dette «anti-manus»: Modellen veiledes til å etterligne inndataene, men får samtidig bruke et bredere spekter av språk og formuleringer som ligger innenfor samme stil som selve prompten.
Slik prompter vi for variasjon innenfor et helhetlig tonefall. Dette er en del av strategien vår for å sette dialogen i sentrum for enhver agents oppgave, uten å måtte bruke eksplisitte instruksjoner, som vi prøver å holde til et minimum.
Hvis vi bruker eksplisitte eksempler på tonefall, viser de «hva man ikke skal gjøre». For eksempel: «Ingen tankestreker. Noensinne. Ingen klisjér. Ikke dump retningslinjer i svarene. Ingen lange forklaringer når én setning er nok til å avslutte.» Negative begrensninger er både mer presise og mindre innskrenkende enn positive ambisjoner, fordi de navngir fallgruvene modellen mest sannsynlig vil bevege seg mot.
Formateringen er også viktig og slår an tonen i svaret. En prompt full av punktlister, overskrifter og instruksjoner i parentes leder modellen mot mer organiserte og kliniske utdata. Hvis utdataene skal oppleves som en samtale, bør ikke inndataene se ut som et kortfattet kravdokument.
De fleste prompter om tonefall ender opp med å handle om personlighet. De oppgir en rekke adjektiver som skal beskrive hvordan agenten bør høres ut. Varm. Profesjonell. Vennlig, men kortfattet. Dette er ikke feil, men det som faktisk avgjør hvordan et tonefall oppleves i en samtale, er stilnivået: hvordan den samme underliggende karakteren opptrer i ulike sosiale situasjoner.
En ventemelding mens en forespørsel behandles, bør ikke høres ut som et endelig svar. Et svar utløst av et sikkerhetsvern bør ikke ha samme energi som småprat. En frustrert kunde bør ikke møtes med like mye sjarm eller humor som en som bare kikker rundt.
Dette er forskjellen mellom merkestemme og samtaledesign. Merkestemmen beskriver ofte karakteren, mens samtaledesign avgjør hvordan karakteren opptrer når situasjonen endrer seg. Når vi får dette riktig, er vi ikke bare tekstforfattere som arbeider med utdata fra KI. Vi utformer hvordan et tonefall beveger seg gjennom en samtale.
Du vil se at ingen av disse mønstrene er teknisk kompliserte. Det er delvis hele poenget. Arkitekturen i et agentbasert system er viktig, men for å oppnå høy samtalekvalitet må du bruke mye tid på å utforme og finjustere promptene.
Avstanden mellom rent funksjonell og genuint samtalebasert KI tettes ikke av teknisk design. Den tettes av en klarere forståelse av hvordan språk og oppmerksomhet fungerer i menneskelig dialog, og ved å gjøre dialogen til kjernen i agentenes problemområde.
For KI-produktteam, ingeniører og opplevelsesdesignere fortjener samtaledesign samme grundighet som teknisk kvalitet i kundevendt KI. For menneskene på den andre siden av samtalen finnes det ingen modell, ikke noe samarbeid mellom flere agenter og ingen verktøykall – bare en interaksjon som enten føles riktig eller ikke. En interaksjon som enten bygger eller svekker tillit.
Til syvende og sist er det ingen som opplever arkitekturen. De opplever samtalen.
Samtalen er produktet.