AI wykorzystywana w obsłudze klienta reprezentuje Twoją markę, a jej tworzenie wymaga zupełnie innego podejścia niż budowa narzędzi wewnętrznych.
Różnica między agentem funkcjonalnym a przekonującym ma charakter bardziej koncepcyjny niż techniczny, ponieważ większość poleceń pisze się jako zestawy instrukcji, a nie projekty dialogu.
Lepszą perspektywę dają językoznawstwo i psychologia poznawcza: rozmowy mają określoną strukturę, a polecenia tworzą środowisko kierujące uwagą. To, co umieścisz na początku, co powtórzysz i jak zakończysz polecenie, będzie w przewidywalny sposób kształtować zachowanie agenta.
Ograniczenia pomagają, ale tylko wtedy, gdy są precyzyjne. Zbyt wiele przypadków brzegowych prowadzi do nienaturalnych interakcji i nieporęcznych poleceń, dlatego im mniej decyzji agent musi podejmować, tym łatwiej może skupić się na tych najważniejszych.
Tworzenie konwersacyjnej AI wykorzystywanej w obsłudze klienta to dla firmy ogromne wyzwanie.
Nawet dla najbardziej entuzjastycznych użytkowników tej technologii, którzy wdrożyli współpracę z AI na poziomie poszczególnych pracowników, a być może stworzyli też własne narzędzia AI do użytku wewnętrznego, uczynienie z AI interfejsu między firmą a światem jest czymś zupełnie innym.
I rzeczywiście jest to awans. Gdy AI zaczyna obsługiwać klientów, awansuje z pracowitego stażysty na oficjalnego pracownika: zakłada służbowy uniform i w oczach klientów reprezentuje markę.
Stawka jest wysoka. Każde potknięcie staje się publiczne i może zostać utrwalone.
Tworzone przez nas produkty to często systemy wieloagentowe, w których na poziomie biznesowym zachodzą złożone interakcje. Ta logika może jednak być łatwiejszą częścią zadania. Większym wyzwaniem jest przekonanie użytkowników, że przez cały czas rozmawiają z jednym agentem i że warto słuchać tego, co ma im do powiedzenia.
Dlatego raz za razem piszemy i przerabiamy polecenia.
Stworzenie niektórych agentów wymaga setek kolejnych wersji poleceń. Każdy ma ten sam cel: trzymać się zadania i mówić głosem, który trafia do użytkowników.
Doświadczenia zdobyte podczas doskonalenia poleceń skłoniły nas do kreatywnego poszukiwania inspiracji. Zaczęliśmy czerpać z innych dziedzin. Oczywiście nie wszystko się sprawdziło, a to, co zadziałało, rzadko udawało się za pierwszym razem. W wyniku tych eksperymentów nasz zespół wypracował odmienne podejście do tworzenia poleceń.
Różnica między agentem, który systematycznie spełnia swoją funkcję, a agentem prowadzącym znakomite rozmowy nie jest wyłącznie techniczna, lecz ma charakter koncepcyjny. To dystans między światem, w którym za pomocą polecenia umieszczasz agenta, a rzeczywistym światem ludzkiej komunikacji, w którym ten agent działa.
Ten drugi jest z natury niejednoznaczny. Ludzie dobrze wyczuwają tę niejednoznaczność, a rozmówcy działający w dobrej wierze wspólnie sobie z nią radzą dzięki subtelnym, niewypowiedzianym zasadom dyskursu. Nieprzygotowanego agenta łatwo rozpoznać.
Aby nie burzyć czwartej ściany, czyli iluzji Turinga, możemy osadzić naszych agentów w sztuce dialogu, korzystając z wiedzy językoznawczej i psychologii poznawczej.
Językoznawstwo dysponuje całym zestawem narzędzi do badania języka w działaniu. Należy do nich analiza konwersacyjna, która pokazuje, jak ludzie z chwili na chwilę nadają rozmowom strukturę i nimi kierują. Zastosowanie tych ram do tworzenia poleceń daje nam pojęcia pozwalające ujmować rozmowę nie jako wymianę słów, lecz jako wymianę działań.
Niektóre działania są praktyczne, jak uzyskiwanie lub przekazywanie informacji, a inne społeczne, jak podtrzymywanie dobrych relacji czy unikanie napięć. Takie posunięcia zachodzą w szerszej strukturze dialogu i jego kolejnych fazach, z których każda wiąże się z oczekiwanymi działaniami. Dialogi mają początek i zakończenie, ale obejmują też zmiany tematu, a nawet ich zapowiedzi — te niekiedy niezręczne chwile, gdy nowy kierunek zostaje subtelnie zasugerowany, wynegocjowany i uzgodniony między wierszami.
Nieporozumienia zdarzają się cały czas, nawet gdy wszyscy mają najlepsze intencje. Choć ludzie w różnym stopniu opanowali sztukę dialogu, najważniejsze jest to, że LLM stojący za Twoim agentem nie ma od razu intuicji, którą dysponuje nawet przeciętny człowiek.
Uzupełnieniem analizy językoznawczej jest perspektywa psychologii poznawczej. Wyjaśnia ona, jak naprawdę działają uwaga, pamięć i podejmowanie decyzji — jak ludzie oceniają to, co pojawia się na początku, w porównaniu z tym, co widzą na końcu, jak określone bodźce wywołują przewidywalne zachowania i jak ograniczenia mogą dawać swobodę dzięki zmniejszeniu obciążenia poznawczego.
Polecenie nie jest neutralnym nośnikiem instrukcji. To środowisko kierujące uwagą. Dlatego ważne jest to, co znajduje się na początku. Ważne jest też to, co znajduje się na końcu. Znaczenie ma również to, co się powtarza. Ludzie zwykle łatwiej zapamiętują początek i koniec listy niż jej środek. Psychologowie nazywają to efektem pozycji szeregowej, na który składają się efekt pierwszeństwa i efekt świeżości.
W praktyce obserwujemy podobne zjawisko w przypadku LLM-ów. Pierwsze wskazówki wyznaczają ramy: określają, kim jest agent, jaką odgrywa rolę i jakiego świata może się spodziewać. Końcowe wskazówki często działają jak „ostatnia rzecz, którą agent słyszy”. Umieszczenie tam najważniejszych instrukcji zwiększa szansę, że zostaną zrealizowane.
Starannie rozważając położenie poszczególnych instrukcji w poleceniu, powinniśmy również śledzić ogólny kształt ram działania, które te instrukcje wyznaczają agentowi.
Instrukcje ograniczają agenta, zmniejszając liczbę konkurencyjnych możliwości, między którymi musi wybierać, i zawężając całą przestrzeń problemu. Nasze polecenia muszą zawierać wystarczająco dużo ograniczeń, aby agent mógł skutecznie poradzić sobie z zadaniem.
Psychologia podpowiada, że instruując pracowników, zwłaszcza tych mniej doświadczonych, warto doprecyzować wykonywane zadanie i w ten sposób maksymalnie zmniejszyć obciążenie poznawcze. Ograniczenia mogą wydawać się przeszkodą dla swobody, jednak mniejsza liczba decyzji pozwala nam skupić się na kilku pozostałych, ważnych wyborach i wykazać się kreatywnością w działaniu w wyznaczonych ramach.
Z kolei uwzględnianie każdego możliwego przypadku brzegowego na listach przykładowych zachowań po to, by agent nie musiał podejmować żadnych decyzji, to dobry sposób na stworzenie nienaturalnego rozmówcy. Powstaje przy tym nieporęczne polecenie, poskładane niczym potwór Frankensteina z warunków „jeśli” i „w przeciwnym razie”, którym koszmarnie trudno zarządzać.
(Polecenia z kilkoma przykładami — tak, mówimy o Was).
Polecenie o dobrze wyznaczonych ramach dostatecznie jasno wskazuje kierunek, ale nie przeciąża zadania ani nie paraliżuje agenta. Często oznacza to uwzględnienie mniejszej liczby przypadków brzegowych lub celów agenta zarówno w kwestii tego, co mówić lub czego nie mówić, jak i tego, jak mówić lub jak tego nie robić.
Z naszego doświadczenia wynika, że jeśli próbujesz doprecyzować ramy za pomocą kilku przykładów, oznacza to, że nie są one dostatecznie precyzyjne. Wróć do podstawowych instrukcji i je dopracuj.
Z perspektywy psychologii poznawczej zastanawialiśmy się, gdzie umieszczać poszczególne instrukcje w poleceniu, a także jaka ich liczba i jakość pozwolą najlepiej wyznaczyć ramy przestrzeni problemu agenta.
Wracając do wcześniejszych językoznawczych obserwacji dotyczących sztuki dialogu, możemy uzupełnić nasze podejście do tworzenia poleceń, ujmując instrukcje dotyczące dialogu jako część szerszych ram zadania agenta.
W przypadku AI wykorzystywanej w obsłudze klienta dialog zawsze jest metazadaniem, niezależnie od tego, czy sobie to uświadamiamy. Gdy świadomie uwzględniamy dialog w poleceniu, przeznaczamy część możliwości agenta, czyli jego „zasobów poznawczych”, na dostrzeganie przebiegu dialogu i odpowiednie reagowanie, co poprawia jego zdolność prowadzenia rozmowy.
Kompromis polega jednak na tym, że prawdopodobnie trzeba będzie ograniczyć główne zadanie, aby cała przestrzeń problemu miała jasno określone ramy i dało się nią skutecznie zarządzać.
Dlatego w przypadku AI wykorzystywanej w obsłudze klienta całościowo projektujemy warunki sprzyjające lepszemu dialogowi i trafniejszym decyzjom. Dążymy do tworzenia agentów o węższym zakresie działania i jasno określonych ramach, których główne zadanie jest osadzone w metazadaniu dialogu lub je obejmuje. Nie piszemy stosów instrukcji, które trzeba dopracowywać za pomocą przykładów. Tworzymy mniejszy zestaw dopracowanych instrukcji, na tyle precyzyjnych, by przykłady stały się zbędne.
To podejście do opracowywania poleceń pozwala nam tworzyć agentów, którzy nie tylko konsekwentnie realizują zadanie, ale robią to z konwersacyjną elegancją.
Po omówieniu koncepcyjnych podstaw w kolejnym wpisie przejdziemy do praktyki. Przyjrzymy się kilku kluczowym wzorcom, które wyłoniły się w toku stosowania tych zasad przy tworzeniu poleceń metodą prób i błędów w rzeczywistych warunkach. Co ciekawe, dostawcy pionierskich modeli zaczynają uwzględniać podobne wzorce we własnych wytycznych dotyczących tworzenia poleceń. Więcej w następnym wpisie.