Cosa ci hanno insegnato centinaia di prompt sull’IA conversazionale

Centinaia di prompt rivolti ai clienti mostrano come gli agenti IA possano comunicare in modo coerente, restare utili e riflettere la voce condivisa di un brand.

Sintesi

  • L’IA rivolta ai clienti rappresenta il brand e richiede competenze di natura completamente diversa rispetto agli strumenti interni.

  • La differenza tra un agente funzionale e uno convincente è più concettuale che tecnica, perché la maggior parte dei prompt è scritta come un insieme di istruzioni, non come un progetto di dialogo.

  • Una prospettiva migliore viene dalla linguistica e dalla psicologia cognitiva: le conversazioni hanno una struttura e i prompt creano un ambiente attentivo. Ciò che metti all’inizio, ciò che ripeti e il modo in cui concludi influenzano in modo prevedibile il comportamento dell’agente.

  • I vincoli aiutano, ma solo quando sono precisi. Troppi casi limite producono interazioni innaturali e prompt ingestibili; ridurre il numero di decisioni da prendere permette invece di concentrarsi su quelle più importanti.

Creare un’IA conversazionale rivolta ai clienti è un’impresa impegnativa per un’azienda.

Anche per chi ha adottato con grande entusiasmo questa tecnologia, integrando la collaborazione con l’IA nel lavoro dei singoli dipendenti e magari sviluppando strumenti di IA personalizzati per uso interno, promuovere l’IA a interfaccia tra l’azienda e il mondo è tutt’altra cosa.

E di una promozione si tratta. Quando si rivolge ai clienti, l’IA passa da stagista laboriosa a dipendente ufficialmente riconosciuta: indossa l’uniforme e rappresenta il brand agli occhi della clientela.

La posta in gioco è alta. Ora ogni passo falso è pubblico e potenzialmente registrato.

I prodotti che realizziamo sono spesso sistemi multi-agente con interazioni complesse a livello aziendale. Eppure, quella logica può essere la parte più semplice. La sfida maggiore è convincere gli utenti di parlare sempre con un unico agente e che ciò che dice valga la pena di essere ascoltato.

Perciò scriviamo e riscriviamo i prompt, ancora e ancora.

Alcuni agenti sono il risultato di centinaia di iterazioni dei prompt. Tutti hanno lo stesso obiettivo: restare concentrati sul compito e parlare con una voce capace di entrare in sintonia con gli utenti umani.

L’esperienza maturata nel perfezionamento dei prompt ci ha portato a cercare ispirazione in modo creativo. Abbiamo iniziato ad attingere ad altre discipline. Naturalmente, non tutto ha funzionato e ciò che ha funzionato raramente ha dato risultati al primo tentativo. Da questi tentativi esplorativi è emerso, all’interno del nostro team, un paradigma di prompting diverso.

Spunti sul prompting dalla linguistica e dalla psicologia cognitiva

Il divario tra un agente sistematicamente funzionale e uno brillante nella conversazione non è puramente tecnico: è concettuale. È la distanza tra il mondo in cui hai collocato l’agente tramite il prompt e il mondo reale della comunicazione umana in cui l’agente opera.

Quest’ultimo è caratterizzato dall’ambiguità, alla quale gli esseri umani sono ben abituati e che gli interlocutori in buona fede affrontano cooperando attraverso una serie di sottili regole del discorso non esplicitate. Un agente impreparato si riconosce subito.

Per non rompere la quarta parete, o l’illusione di Turing, possiamo radicare i nostri agenti nell’arte del dialogo attingendo alla linguistica e alla psicologia cognitiva.

La linguistica offre un intero arsenale di strumenti per studiare la lingua in azione, tra cui l’analisi della conversazione, che esamina come le persone strutturano e gestiscono le conversazioni momento per momento. Applicato al prompting, questo quadro ci offre un vocabolario per concepire la conversazione non come uno scambio di parole, ma come uno scambio di azioni.

Alcune azioni sono pratiche, come ottenere o fornire informazioni; altre sono sociali, come mantenere una buona sintonia o evitare attriti. Queste mosse avvengono all’interno della struttura più ampia del dialogo e delle sue fasi, ciascuna delle quali prevede determinate azioni. I dialoghi hanno aperture e chiusure, ma anche cambi di argomento e persino pre-transizioni: quei momenti talvolta imbarazzanti in cui una nuova direzione viene proposta con discrezione, negoziata e decisa tra le righe.

Le incomprensioni sono frequenti, anche quando tutte le parti hanno le migliori intenzioni. Sebbene le persone padroneggino l’arte del dialogo in misura diversa, il punto è che l’LLM alla base dell’agente non possiede già l’intuito di cui dispone persino un interlocutore umano nella media.

Come sfruttare l’attenzione e ottenere chiarezza attraverso i vincoli

Accanto all’analisi linguistica, la psicologia cognitiva offre una prospettiva complementare. Ci spiega come funzionano davvero attenzione, memoria e processi decisionali: quale peso si attribuisce a ciò che viene prima rispetto a ciò che viene dopo, come specifici stimoli producono comportamenti prevedibili e come i vincoli possano liberare riducendo il carico cognitivo.

Un prompt non è un contenitore neutro di istruzioni. È un ambiente attentivo. Perciò, ciò che compare all’inizio conta. Ciò che compare alla fine conta. Ciò che viene ripetuto conta. Di fronte a un elenco, le persone tendono a ricordare più facilmente l’inizio e la fine rispetto alla parte centrale. Gli psicologi chiamano questo fenomeno effetto della posizione seriale: effetto di priorità e di recenza.

Nella pratica, osserviamo qualcosa di simile negli LLM. Le indicazioni iniziali definiscono il contesto: chi è l’agente, quale ruolo ricopre e che tipo di mondo si aspetta di incontrare. Le indicazioni finali spesso funzionano come “l’ultima cosa che sente”. Se inseriamo lì le istruzioni più importanti, aumentano le probabilità che vengano applicate.

Oltre a valutare attentamente dove collocare le varie istruzioni nel prompt, dobbiamo considerare anche la forma complessiva del confine che tali istruzioni delineano per l’agente.

Le istruzioni impongono vincoli all’agente, riducendo il numero di possibilità concorrenti che deve risolvere e restringendo lo spazio complessivo del problema. Nei nostri prompt servono vincoli sufficienti a rendere gestibile il compito dell’agente.

Quando diamo istruzioni a dipendenti, soprattutto se poco esperti, la psicologia suggerisce di eliminare il più possibile le ambiguità del compito, riducendo così il carico cognitivo. Anche se i vincoli possono sembrare limitare la libertà, dover prendere meno decisioni ci consente di concentrarci sulle poche davvero importanti e di usare la creatività per agire entro i limiti stabiliti.

Al contrario, cercare di non lasciare all’agente alcuna decisione, coprendo ogni possibile caso limite con elenchi di comportamenti di esempio, è un ottimo modo per creare un interlocutore artificioso, per non parlare di un ingestibile prompt Frankenstein fatto di if ed else, da incubo da gestire.

(Esempi few-shot, stiamo parlando di voi.)

Un prompt con confini ben definiti offre una direzione sufficientemente chiara senza sovraccaricare le istruzioni e paralizzare l’agente. Spesso significa introdurre meno casi limite o obiettivi per l’agente, sia riguardo a cosa dire o non dire, sia a come dirlo o non dirlo.

Prompting few-shot e prompting basato sui confini

Diagramma che illustra il prompting few-shot rispetto a quello basato sui confini.

Secondo la nostra esperienza, se ricorri a un esempio few-shot per modificare il confine, significa che quel confine non è abbastanza preciso. Torna alle istruzioni fondamentali e perfezionale.

Progettare le condizioni per un dialogo migliore

Dal punto di vista della psicologia cognitiva, abbiamo riflettuto su dove collocare le diverse istruzioni all’interno di un prompt, considerando sia la quantità sia la qualità delle indicazioni necessarie per delimitare al meglio lo spazio del problema dell’agente.

Riprendendo le precedenti osservazioni linguistiche sull’arte del dialogo, possiamo completare il nostro paradigma di prompting inquadrando le istruzioni orientate al dialogo nel più ampio perimetro del compito dell’agente.

Per l’IA rivolta ai clienti, il dialogo è sempre il meta-compito, che lo riconosciamo o meno. Quando scegliamo di trattare intenzionalmente il dialogo nel prompt, destiniamo parte delle capacità, o del “carico cognitivo”, dell’agente alla consapevolezza del dialogo e alla capacità di rispondervi, migliorandone così le doti conversazionali.

Il compromesso, tuttavia, è che probabilmente dovremo ridurre la portata del compito principale per mantenere nel complesso uno spazio del problema gestibile e ben delimitato.

Per l’IA rivolta ai clienti, quindi, progettiamo in modo olistico le condizioni per migliorare dialogo e decisioni. Puntiamo ad agenti più piccoli e ben delimitati, il cui compito principale sia contestualizzato nel meta-compito del dialogo o lo includa. Non scriviamo cumuli di istruzioni da perfezionare attraverso gli esempi. Scriviamo un insieme più ristretto di istruzioni perfezionate, abbastanza precise da rendere superflui gli esempi.

È questo il paradigma di prompting che usiamo per creare agenti capaci non solo di restare concentrati sul compito, ma di farlo con eleganza conversazionale.

Ora che abbiamo tracciato il quadro concettuale, nel prossimo articolo passeremo a un approccio più pratico. Esamineremo alcuni schemi fondamentali emersi dai nostri tentativi di applicare questi principi ai prompt attraverso prove ed errori nel mondo reale. È interessante notare che i fornitori di modelli di frontiera stanno iniziando a proporre schemi simili nelle proprie linee guida sul prompting. Ne parleremo ancora la prossima volta.

Autori

Douglas Smith e Sam Netherwood