Glavna navigacija

Što smo iz stotina upita naučili o konverzacijskoj umjetnoj inteligenciji

Stotine upita za izravan kontakt s korisnicima otkrivaju kako AI agenti mogu komunicirati dosljedno, ostati korisni i odražavati zajednički glas brenda.

Sažetak za rukovodstvo

  • Umjetna inteligencija u izravnom kontaktu s korisnicima predstavlja vaš brend i zahtijeva posve drukčiji pristup od internih alata.

  • Razlika između funkcionalnog i uvjerljivog agenta više je konceptualna nego tehnička jer se većina upita piše kao skup uputa, a ne kao nacrt dijaloga.

  • Bolji okvir nude lingvistika i kognitivna psihologija: razgovori imaju strukturu, a upiti stvaraju okruženje koje usmjerava pozornost. Na ponašanje agenta pouzdano utječu ono što stavite na početak, ono što ponavljate i način na koji završite.

  • Ograničenja pomažu, ali samo kada su precizna. Previše rubnih slučajeva stvara usiljene interakcije i nezgrapne upite, dok manji broj odluka omogućuje usredotočenost na one važnije.

Izrada konverzacijske umjetne inteligencije za izravan kontakt s korisnicima velik je izazov za tvrtku.

Čak i za organizacije koje su među najbržima u prihvaćanju te tehnologije, koje su usvojile suradnju s umjetnom inteligencijom na razini pojedinačnih zaposlenika i možda čak razvile prilagođene interne AI alate, postaviti AI kao sučelje između tvrtke i svijeta nešto je sasvim drugo.

I doista jest riječ o promaknuću. Kada AI počne komunicirati s korisnicima, napreduje od marljivog pripravnika do ovlaštenog zaposlenika koji odijeva uniformu i u očima korisnika predstavlja brend.

Mnogo je toga na kocki. Svaki je propust sada javan i potencijalno zabilježen.

Proizvodi koje izrađujemo često su sustavi s više agenata i složenim interakcijama na poslovnoj razini. Međutim, ta logika može biti lakši dio posla. Veći je izazov uvjeriti korisnike da cijelo vrijeme razgovaraju s jednim agentom i da ono što agent govori ima vrijednost.

Zato upite pišemo i prepravljamo uvijek iznova.

Neki agenti nastaju tijekom stotina iteracija upita. Svi imaju isti cilj: držati se zadatka i obraćati se glasom koji dopire do ljudskih korisnika.

Iskustvo usavršavanja upita potaknulo nas je na kreativnost u traženju nadahnuća. Počeli smo preuzimati ideje iz drugih disciplina. Naravno, nije sve uspjelo, a ono što jest rijetko je bilo uspješno iz prvog pokušaja. Rezultat tih istraživačkih nastojanja pojava je drukčije paradigme zadavanja upita unutar našeg tima.

Spoznaje iz lingvistike i kognitivne psihologije za zadavanje upita

Jaz između sustavno funkcionalnog agenta i onoga koji briljira u razgovoru nije samo tehnički, nego i konceptualni. To je udaljenost između svijeta u koji ste upitom smjestili agenta i stvarnog svijeta ljudske komunikacije u kojem agent djeluje.

Potonji je obilježen dvosmislenošću, na koju su ljudi dobro naviknuti i kroz koju dobronamjerni sugovornici suradnički prolaze služeći se nizom suptilnih, neizgovorenih pravila diskursa. Loše pripremljen agent lako se prepoznaje.

Kako bismo očuvali četvrti zid, odnosno Turingovu iluziju, agente možemo utemeljiti u umijeću dijaloga primjenom spoznaja iz lingvistike i kognitivne psihologije.

Lingvistika raspolaže čitavim skupom alata za proučavanje jezika u uporabi, uključujući konverzacijsku analizu, koja istražuje kako ljudi iz trenutka u trenutak strukturiraju razgovore i njima upravljaju. Primijenjen na zadavanje upita, taj nam okvir daje rječnik za promišljanje razgovora ne kao razmjene riječi, nego kao razmjene radnji.

Neke su radnje praktične, poput dobivanja ili pružanja informacija, a druge društvene, poput održavanja dobrog odnosa ili izbjegavanja nesuglasica. Takvi se potezi odvijaju unutar šire strukture dijaloga i njegovih faza, od kojih svaka podrazumijeva očekivane radnje. Dijalozi imaju uvode i završetke, ali i prijelaze između tema, pa čak i uvode u prijelaz — one ponekad neugodne trenutke kada se novi smjer suptilno predlaže, usuglašava i određuje između redaka.

Nesporazumi se stalno događaju, čak i kada svi sudionici imaju najbolje namjere. Iako ljudi u različitoj mjeri vladaju umijećem dijaloga, bit je u tome da LLM na kojem se temelji vaš agent ne dolazi s intuicijom koju posjeduje čak i sasvim prosječan ljudski sugovornik.

Kako usmjeriti pozornost i postići jasnoću unutar ograničenja

Uz lingvističku analizu, kognitivna psihologija nudi komplementaran pogled. Objašnjava nam kako pozornost, pamćenje i donošenje odluka doista funkcioniraju — kako ljudi različito vrednuju ono što dolazi prvo i posljednje, kako određeni okidači pouzdano izazivaju određeno ponašanje te kako ograničenja mogu osloboditi smanjenjem kognitivnog opterećenja.

Upit nije neutralan spremnik za upute. On je okruženje koje usmjerava pozornost. Zato je važno što se nalazi na početku. Važno je što se nalazi na kraju. Važno je što se ponavlja. Kada im se predstavi popis, ljudi obično lakše pamte početak i kraj nego sredinu. Psiholozi to nazivaju učinkom serijskog položaja: prvenstvom i nedavnošću.

U praksi nešto slično primjećujemo kod LLM-ova. Početne smjernice postavljaju okvir: tko je agent, koju ulogu ima i kakav svijet očekuje susresti. Završne smjernice često djeluju poput „posljednjeg što čuje”. Ako najvažnije upute stavimo ondje, veća je vjerojatnost da će ih provesti.

Dok pomno razmatramo kamo smjestiti pojedine upute unutar upita, trebali bismo pratiti i cjelokupan oblik granice koju te upute stvaraju za našeg agenta.

Upute služe kao ograničenja za agenta: smanjuju broj konkurentskih mogućnosti koje mora razriješiti i sužavaju cjelokupan prostor problema. U upitima trebamo dovoljno ograničenja da bi agentov zadatak bio izvediv.

Pri davanju uputa zaposlenicima, osobito manje iskusnima, psihologija nam govori da je mudro razjasniti zadatak i time što više smanjiti kognitivno opterećenje. Iako nam se ograničenja mogu činiti kao sputavanje slobode, manji broj odluka oslobađa nas da se usredotočimo na nekoliko važnih odluka koje preostaju i kreativno djelujemo unutar zadanih granica.

Suprotno tome, pokušaj da agentu ne ostavimo nijednu odluku tako što ćemo popisima primjera ponašanja obuhvatiti svaki zamislivi rubni slučaj dobar je način da stvorimo usiljenog sugovornika, a da i ne spominjemo nezgrapan, Frankensteinov upit sastavljen od uvjeta koji je noćna mora za održavanje.

(Učenje s malim brojem primjera, na tebe mislimo.)

Dobro omeđen upit pruža dovoljno jasne smjernice, a da pritom ne preopterećuje zadatak i ne paralizira agenta. To često znači uvođenje manjeg broja rubnih slučajeva ili ciljeva za agenta, kako u pogledu onoga što treba ili ne treba reći tako i načina na koji to treba ili ne treba reći.

Zadavanje upita učenjem s malim brojem primjera nasuprot zadavanju upita na temelju granica

Dijagram koji uspoređuje zadavanje upita učenjem s malim brojem primjera i zadavanje upita na temelju granica.

Prema našem iskustvu, ako posežete za učenjem s malim brojem primjera kako biste prilagodili granicu, ona nije dovoljno precizna. Vratite se temeljnim uputama i doradite ih.

Oblikovanje uvjeta za bolji dijalog

Iz perspektive kognitivne psihologije razmatrali smo kamo smjestiti različite upute unutar upita te koliko je uputa i kakve kvalitete potrebno da bismo najbolje omeđili agentov prostor problema.

Prisjetimo li se ranijih lingvističkih zapažanja o umijeću dijaloga, paradigmu zadavanja upita možemo zaokružiti tako da upute usmjerene na dijalog postavimo kao dio šire granice agentova zadatka.

Za umjetnu inteligenciju u izravnom kontaktu s korisnicima dijalog je uvijek metazadatak, priznali mi to ili ne. Kada odlučimo svjesno obuhvatiti dijalog u upitu, dio agentova kapaciteta ili „kognitivnog opterećenja” usmjeravamo na svjesnost o dijalogu i prikladno reagiranje, čime poboljšavamo njegovu sposobnost vođenja razgovora.

Međutim, zauzvrat ćemo vjerojatno morati smanjiti opseg glavnog zadatka kako bi cjelokupan prostor problema ostao izvediv i dobro omeđen.

Stoga za umjetnu inteligenciju u izravnom kontaktu s korisnicima cjelovito oblikujemo uvjete za bolji dijalog i donošenje odluka. Težimo manjim, dobro omeđenim agentima čiji je glavni zadatak kontekstualiziran unutar metazadatka dijaloga ili ga uključuje. Ne pišemo gomile uputa koje zatim dorađujemo primjerima. Pišemo manji skup dorađenih uputa koje su dovoljno precizne da primjere učine suvišnima.

Tom se paradigmom zadavanja upita služimo kako bismo stvorili agente koji se ne samo drže zadatka nego to čine i s konverzacijskom elegancijom.

Nakon što smo ocrtali konceptualni okvir, u sljedećem ćemo blogu prijeći na praktičnije teme. Razmotrit ćemo neke ključne obrasce koji su se pojavili dok smo te principe pokušavali primijeniti na upite metodom pokušaja i pogrešaka u stvarnim uvjetima. Zanimljivo je da pružatelji najnaprednijih modela počinju primjenjivati slične obrasce u vlastitim smjernicama za zadavanje upita. Više o tome sljedeći put.

Autori

Douglas Smith i Sam Netherwood