Glavna navigacija

Šta smo iz stotina upita naučili o konverzacijskoj umjetnoj inteligenciji

Stotine upita namijenjenih klijentima otkrivaju kako AI agenti mogu govoriti dosljedno, ostati korisni i odražavati zajednički glas brenda.

Sažetak za rukovodstvo

  • Umjetna inteligencija namijenjena klijentima predstavlja vaš brend, a vještine potrebne za njenu izradu bitno se razlikuju od onih potrebnih za interne alate.

  • Razlika između funkcionalnog i uvjerljivog agenta više je konceptualna nego tehnička jer je većina upita napisana kao skup uputa, a ne kao osmišljeni dijalog.

  • Bolji okvir nude lingvistika i kognitivna psihologija: razgovori imaju strukturu, a upiti stvaraju okruženje koje usmjerava pažnju. Ono što stavite na početak, što ponavljate i kako završite pouzdano će oblikovati ponašanje agenta.

  • Ograničenja pomažu, ali samo kada su precizna. Previše rubnih slučajeva dovodi do ukočenih interakcija i nezgrapnih upita, pa manje odluka omogućava usredotočenost na one važnije.

Izrada konverzacijske umjetne inteligencije namijenjene klijentima zastrašujući je poduhvat za svaku kompaniju.

Čak i za kompanije koje tehnologiju usvajaju izuzetno brzo, čiji zaposlenici već sarađuju s umjetnom inteligencijom i koje su možda razvile prilagođene interne AI alate, postaviti AI kao sponu između kompanije i svijeta sasvim je druga stvar.

A to zaista jeste unapređenje. Kada počne komunicirati s klijentima, AI od marljivog pripravnika postaje ovlašteni zaposlenik: oblači uniformu i predstavlja brend u očima klijenata.

Ulog je velik. Svaki pogrešan korak sada je javan i potencijalno zabilježen.

Proizvodi koje izrađujemo često su sistemi s više agenata i složenim interakcijama na poslovnom nivou. Međutim, ta logika može biti lakši dio posla. Veći je izazov uvjeriti korisnike da cijelo vrijeme razgovaraju s jednim agentom i da ono što agent govori ima vrijednost.

Zato pišemo i iznova prepravljamo upite.

Neki agenti nastaju kroz stotine iteracija upita. Svi imaju isti cilj: ostati usredotočeni na zadatak i govoriti glasom koji odjekuje među ljudskim korisnicima.

Iskustvo usavršavanja upita potaknulo nas je da kreativnije tražimo inspiraciju. Počeli smo preuzimati ideje iz drugih disciplina. Naravno, nije sve uspjelo, a ono što jeste rijetko je uspjelo iz prvog pokušaja. Kao rezultat tih istraživačkih nastojanja, u našem timu pojavio se drugačiji pristup oblikovanju upita.

Uvidi iz lingvistike i kognitivne psihologije za oblikovanje upita

Jaz između sistemski funkcionalnog i konverzacijski izvrsnog agenta nije isključivo tehnički, nego konceptualan. To je udaljenost između svijeta u koji ste svojim upitom smjestili agenta i stvarnog svijeta ljudske komunikacije u kojem agent djeluje.

Stvarni svijet obilježava dvosmislenost na koju su ljudi dobro naviknuti i kroz koju dobronamjerni sagovornici zajednički prolaze oslanjajući se na skup suptilnih, neizgovorenih pravila razgovora. Nedovoljno pripremljen agent lako se prepoznaje.

Da bismo očuvali četvrti zid, odnosno Turingovu iluziju, svoje agente možemo utemeljiti u umijeću dijaloga koristeći uvide iz lingvistike i kognitivne psihologije.

Lingvistika raspolaže čitavim skupom alata za proučavanje jezika na djelu, uključujući analizu razgovora, koja ispituje kako ljudi iz trenutka u trenutak strukturiraju razgovore i upravljaju njima. Primijenjen na oblikovanje upita, ovaj okvir daje nam pojmovnik za razmišljanje o razgovoru ne kao razmjeni riječi, nego kao razmjeni radnji.

Neke su radnje praktične, poput pribavljanja ili davanja informacija, dok su druge društvene, poput održavanja dobrog odnosa ili izbjegavanja nesuglasica. Takvi se potezi odvijaju unutar šire strukture dijaloga i njegovih faza, a svaka od njih podrazumijeva očekivane radnje. Dijalozi imaju početke i završetke, ali i prijelaze između tema, pa čak i najave prijelaza — one ponekad neugodne trenutke kada se novi smjer suptilno predlaže, usaglašava i određuje između redova.

Nesporazumi se stalno događaju, čak i kada svi imaju najbolje namjere. Iako ljudi u različitoj mjeri vladaju umijećem dijaloga, važno je da LLM na kojem se vaš agent zasniva nema unaprijed ugrađenu intuiciju kakvu posjeduje čak i sasvim prosječan ljudski sagovornik.

Kako usmjeriti pažnju i postići jasnoću unutar ograničenja

Uz lingvističku analizu, kognitivna psihologija nudi komplementaran pristup. Ona nam objašnjava kako pažnja, pamćenje i donošenje odluka zaista funkcioniraju — kako ljudi različito vrednuju ono što dolazi prvo i posljednje, kako određeni okidači pouzdano izazivaju određeno ponašanje te kako ograničenja mogu osloboditi smanjenjem kognitivnog opterećenja.

Upit nije neutralan spremnik za upute. On je okruženje koje usmjerava pažnju. Zato je važno šta se nalazi na početku. Važno je i šta se nalazi na kraju. Važno je šta se ponavlja. Kada dobiju listu, ljudi obično lakše pamte početak i kraj nego sredinu. Psiholozi to nazivaju efektom serijskog položaja: prvenstvom i nedavnošću.

U praksi nešto slično zapažamo kod LLM-ova. Najranije smjernice postavljaju okvir: ko je agent, koju ulogu ima i kakav svijet očekuje da će susresti. Završne smjernice često djeluju kao „posljednje što čuje“. Ako tamo stavimo najvažnije upute, veća je vjerovatnoća da će ih agent provesti.

Dok pažljivo razmatramo gdje u upitu smjestiti različite upute, trebamo pratiti i cjelokupan oblik granice koju te upute stvaraju za našeg agenta.

Upute ograničavaju našeg agenta, smanjuju broj konkurentskih mogućnosti koje mora razriješiti i sužavaju cjelokupan prostor problema. Naši upiti moraju sadržavati dovoljno ograničenja da zadatak agenta bude izvediv.

Kada dajemo upute zaposlenicima, naročito onima s manje iskustva, psihologija nam govori da je pametno ukloniti nejasnoće iz zadatka i tako što više smanjiti kognitivno opterećenje. Iako nam se može činiti da ograničenja sputavaju slobodu, manji broj odluka oslobađa nas da se usredotočimo na nekoliko preostalih važnih odluka i kreativno djelujemo unutar zadanih granica.

Suprotno tome, pokušaj da agentu ne ostavimo nijednu odluku tako što ćemo popisima primjera ponašanja obuhvatiti svaki zamislivi rubni slučaj dobar je način da dobijemo ukočenog sagovornika, a uz to i nezgrapan Frankensteinov upit sastavljen od bezbrojnih naredbi „ako“ i „inače“, kojim je prava noćna mora upravljati.

(Učenje s malim brojem primjera, na tebe mislimo.)

Dobro ograničen upit daje dovoljno jasne smjernice, a da pritom ne preoptereti zadatak i ne paralizira agenta. To često znači uvođenje manjeg broja rubnih slučajeva ili ciljeva za agenta, kako u pogledu onoga što treba ili ne treba reći tako i načina na koji to treba ili ne treba reći.

Učenje s malim brojem primjera nasuprot oblikovanju upita zasnovanom na granicama

Dijagram koji prikazuje učenje s malim brojem primjera nasuprot oblikovanju upita zasnovanom na granicama.

Prema našem iskustvu, ako posežete za učenjem s malim brojem primjera kako biste prilagodili granicu, ona nije dovoljno precizna. Vratite se osnovnim uputama i usavršite ih.

Stvaranje uslova za bolji dijalog

Iz perspektive kognitivne psihologije razmatrali smo gdje u upitu treba smjestiti različite upute te koliko ih je i kakve trebaju biti da bismo najbolje ograničili prostor problema našeg agenta.

Vratimo li se ranijim lingvističkim zapažanjima o umijeću dijaloga, svoju paradigmu oblikovanja upita možemo upotpuniti tako što ćemo upute usmjerene na dijalog postaviti kao dio šire granice zadatka našeg agenta.

Za umjetnu inteligenciju namijenjenu klijentima dijalog je uvijek metazadatak, priznali mi to ili ne. Kada odlučimo svjesno obuhvatiti dijalog u upitu, dio kapaciteta ili „kognitivnog opterećenja“ našeg agenta usmjeravamo na svijest o dijalogu i primjereno reagiranje, čime poboljšavamo njegovu sposobnost razgovora.

Međutim, kompromis je u tome što ćemo vjerovatno morati smanjiti obim glavnog zadatka kako bi cjelokupan prostor problema ostao izvediv i dobro ograničen.

Zato za umjetnu inteligenciju namijenjenu klijentima cjelovito oblikujemo uslove za bolji dijalog i donošenje odluka. Težimo manjim, dobro ograničenim agentima čiji je glavni zadatak kontekstualiziran unutar metazadatka dijaloga ili ga uključuje. Ne pišemo gomile uputa koje se zatim usavršavaju primjerima. Pišemo manji skup usavršenih uputa, dovoljno preciznih da primjeri postanu suvišni.

Ovu paradigmu oblikovanja upita koristimo za stvaranje agenata koji ne samo da ostaju usredotočeni na zadatak nego ga obavljaju i uz konverzacijsku eleganciju.

Nakon što smo ocrtali konceptualni okvir, u sljedećem tekstu posvetit ćemo se praktičnijim pitanjima. Razmotrit ćemo neke ključne obrasce koji su se pojavili dok smo ove principe metodom pokušaja i pogrešaka primjenjivali na upite u stvarnim situacijama. Zanimljivo je da pružatelji graničnih modela počinju primjenjivati slične obrasce u vlastitim smjernicama za oblikovanje upita. Više o tome sljedeći put.

Autori

Douglas Smith i Sam Netherwood