Učenje sistemskih upita: nova paradigma za AI sisteme

Jeste li ikada primijetili da određeni upit dobro funkcionira, a zatim iznenada prestane?

Jeste li ikada upali u začarani krug stalnog dorađivanja sistemskog upita radi boljih rezultata, a da ništa nije pomoglo?

Učenje sistemskih upita možda je upravo ono što vam treba.

Učenje sistemskih upita (SPL) novo je područje interesa AI zajednice, koje je u maju na platformi X široko popularizirao Andrej Karpathy.

Učenje sistemskih upita rješava ograničenja nefleksibilnih i nepouzdanih AI sistema koji se oslanjaju na statične sistemske upite ili nepraktične postupke finog podešavanja. Ono pruža još jedan način podrške kontinuiranom učenju AI sistema.

Prije nego što nastavimo, ukratko ćemo ponoviti osnove zadavanja upita.

Pri razvoju agenta ili prilagođenog modela prvo moramo osmisliti dvije ključne komponente:

1. Sistemski upit

2. Korisnički upit

Sistemski upiti postavljaju osnovna pravila ponašanja modela. Kada se pišu za prilagođena AI rješenja, često počinju otprilike ovako:

“You are an intelligent assistant. Your role is to perform <insert task here>.

You must not do (A), (B), or (C).”

Nasuprot tome, korisnički upiti obično sadrže korisnikovo pitanje i druge relevantne podatke, poput vremenske zone i preferencija. Korisnički upit mogao bi izgledati ovako:

I’m in the capital city of Portugal. Can you suggest some things I can do tonight?

Curenja sistemskih upita postala su česta nakon objavljivanja novih modela velikih AI laboratorija jer korisnici jailbreakom chatbotova otkrivaju njihove osnovne upute. Popularni GitHub repozitorij sada objedinjuje mnoge od tih sistemskih upita. Oni otkrivaju „tajni sastojak“ koji su AI laboratorije s vremenom razvile kako bi potaknule primjereno ponašanje modela. Naprimjer, nedavno procurjeli sistemski upit za GPT-5 (otkriven unutar ChatGPT-a) sadrži približno 6.000 riječi, što pokazuje koliko znanja i smjernica treba kodirati da bi se oblikovalo ponašanje sistema.

Takvi sveobuhvatni sistemski upiti obično pokrivaju nekoliko ključnih područja, kao što su:

• Upute za pretraživanje

• Definicije alata

• Korisničke preferencije

• Upute za citiranje

• Brze zakrpe za poznate probleme

U praksi programeri prilagođenih AI sistema tokom testiranja i usavršavanja aplikacija ručno i iterativno dorađuju sistemske upite, prvenstveno koristeći evaluacije kao smjernice za taj proces.

Drugi načini usmjeravanja ponašanja modela uključuju:

• Izradu upita, uključujući generiranje potpomognuto dohvaćanjem (RAG), kojim se kontrolira sadržaj dostavljen modelu

• Fino podešavanje (direktno mijenjanje osnovnih težina modela)

Šta ako postoji još jedan način utjecanja na ponašanje modela? Zamislite sistem koji dinamički uči i usavršava vlastiti sistemski upit koristeći ranije generirane misli, planove i strategije. Za procjenu svojih rezultata mogao bi koristiti i povratne informacije korisnika i evaluacije LLM-a u ulozi sudije.

Razmotrite trajan poslovni izazov koji želite automatizirati pomoću sistema zasnovanog na agentima. Djelotvorna rješenja zahtijevaju sposobnosti rezonovanja koje nadilaze osnovnu automatizaciju radnih procesa. U takvim slučajevima u AI sistem morate ugraditi komponentu za generiranje planova. To sistemu omogućava da, zavisno od zadatka, na različite načine radi s više agenata. Pojedinačni koraci mogu sadržavati upute za pristup drugim agentima radi izvršavanja podzadataka ili za korištenje alata.

Napomena: Agentski alat je svaka vanjska funkcija, API ili resurs koji AI agent može pozvati kako bi prevazišao rad s tekstom i izvršio stvarne radnje.

Sistemski upit modela možete „inicijalizirati“ planom koji prati logične korake čovjeka, iako LLM-ovima obično trebaju konkretnije smjernice za upotrebu alata, formatiranje rezultata i srodne zahtjeve. Ponekad optimalna strategija nije jasna ili možda rješavate problem koji nije ponovo razmotren jer se ranije smatrao riješenim. Tu na scenu stupa učenje sistemskih upita (SPL).

SPL iterativno poboljšava sistemski upit ugrađivanjem ranije generiranih strategija. Kako se pojavljuju novi problemi, sistem postepeno prikuplja znanje i postaje robusniji. Zamislite to kao izradu priručnika za rješavanje problema u svojoj oblasti.

SPL postepeno ugrađuje uvide iz povratnih informacija korisnika u sistemski upit. Kako sistem sazrijeva, možete otkriti probleme koji se ponavljaju i sažeti ih u općenitija načela višeg nivoa.

Pogledajmo detaljnije kako ovaj proces funkcionira, korak po korak:

1. Počnite od korisničkog upita kojim se od sistema traži da izvrši određeni zadatak.

2. 1. Ako sistem rješava samo jedan problem, možete primijeniti „pohlepni“ pristup i iz prethodnih izvršavanja odabrati strategije s najvišim ocjenama. Istraživanje možete potaknuti i uzorkovanjem iz distribucije koja daje prednost visoko ocijenjenim strategijama, ali povremeno uključuje i slabije ocijenjene. To je posebno korisno kada tek počinjete prikupljati strategije.

   2. Za sisteme namijenjene raznovrsnim skupovima problema razmotrite dodavanje klasifikacijskog sloja ili korištenje vektorskih reprezentacija i kosinusne sličnosti — tehnika koje se obično koriste i u RAG-u — radi prepoznavanja relevantnih pristupa. To vam pomaže odabrati strategije prikladne konkretnom problemu, naprimjer strategije prilagođene programskim zadacima.

Napomena: Vektorske reprezentacije korištene uz kosinusnu sličnost omogućavaju mjerenje povezanosti dviju informacija, što olakšava uparivanje dokumenata, upita ili ideja čak i kada su drugačije formulirani.

Primjer početne, pojednostavljene zbirke strategija za rješavanje programskih problema.

Napomena: Ovdje prikazane „početne strategije“ služe samo kao ilustracija. U stvarnim programskim scenarijima dodatno bismo ih usavršili. Za specifične poslovne probleme trebalo bi s vremenom prikupljati dodatne uvide.

3. Nakon uzorkovanja N strategija, ugradite ih u sistemski upit. Time se generiranje planova zasniva na ranijim povratnim informacijama stručnjaka, umjesto da model stvara planove uz minimalne smjernice. Potaknite model da „razmišlja izvan ustaljenih okvira“ i po potrebi dodaje korake, umjesto da samo doslovno kopira ogledne strategije.

4. Pomoću dinamički izrađenog sistemskog upita generirajte novu strategiju za rješavanje korisničkog zahtjeva. Ovaj proces treba proizvesti dodatne zadatke koji poboljšavaju konačni rezultat. Cilj je kreativnost: spojite najbolje elemente ranijih strategija, objedinite korake koji se preklapaju i po potrebi dodajte nove korisne korake.

Napomena: Imajte na umu da je temperatura parametar koji se može prilagoditi kako bi rezultati bili raznovrsniji i manje deterministički, što je korisno kada je poželjna kreativnost. Kada temperatura nije nula, svaki generirani plan može se razlikovati.

5. Nakon što primite rezultat modela, neka ga čovjek ili LLM sudija procijeni prema konkretnim kriterijima koji određuju dobro rješenje vašeg problema. Za ranije navedeni primjer aktivnosti u Portugalu kriteriji evaluacije mogli bi uključivati:

• Sažetost (odgovor ograničen na jednu rečenicu)

• Relevantnost predložene aktivnosti

• Tačnost lokacije

6. Na osnovu ove evaluacije upotrijebite drugi model za usavršavanje strategije. Opcionalna petlja povratnih informacija može uključiti doprinos ljudi i omogućiti zajednička poboljšanja. Pohranite usavršenu strategiju u bazu podataka s odgovarajućim metapodacima radi praćenja verzija i promjena.

Zašto onda prolaziti kroz sve ovo? Rezultate biste mogli pregledati ručno i u skladu s njima prilagoditi sistemski upit. Međutim, moćni modeli za rezonovanje mogu usavršavati strategije koristeći kontekst rezultata i povratne informacije ljudi. Iako ljudi lako uočavaju nedostatke jednostavnih pristupa, njihovo prepoznavanje postaje teško i zamorno u složenim sistemima koji rješavaju šire skupove problema.

LLM-ovima su često potrebne detaljne upute i dodatni koraci za prikupljanje kontekstualnog znanja koje ljudi prirodno unose u rješavanje problema. Broj potrebnih zadataka može brzo rasti kako se sistem širi na veći skup problema. Naprimjer, ljudi koji rješavaju programske probleme mogu intuitivno razumjeti okolnu bazu koda, dok LLM možda prvo mora „pročitati“ više datoteka.

• Kada pomaže: Zamislite da vodite tim korisničke podrške, a AI agent razvrstava prijave. S vremenom bi SPL mogao otkriti način kategorizacije koji vaš tim nije razmatrao i tako smanjiti stopu eskalacija.

• Kada ne pomaže: Ako su vaši radni procesi već određeni zahtjevima usklađenosti ili propisima, kao kod finansijskog izvještavanja, SPL može imati malu vrijednost jer kreativnost postaje rizik, a ne prednost.

• Kada pomaže: Na poslovima koji zahtijevaju mnogo istraživanja, poput tržišnog obavještavanja ili strategije proizvoda, možete sarađivati s AI-jem tako što ćete usavršavati njegove planove, obogaćivati rezultate i ugrađivati ta poboljšanja za buduću upotrebu. Svaka interakcija povećava djelotvornost sistema.

• Kada ne pomaže: Ako vaš tim AI uglavnom koristi za jednostavne procese s minimalnim ljudskim doprinosom, poput obrade faktura, dodatni trošak saradnje može nadmašiti korist.

• Kada pomaže: Pretpostavimo da se širite u novu regiju i AI odjednom mora odgovarati na pitanja o lokalnim porezima. SPL vam omogućava da brzo kodirate nova pravila i heuristike kako se pojavljuju te spriječite ponavljanje grešaka.

• Kada ne pomaže: Ako je vaše okruženje statično, kao pri pretvaranju transkripata sastanaka u standardizirane sažetke, stalno prilagođavanje donosi vrlo malo koristi.

Sve ovo u teoriji zvuči obećavajuće, ali primjena SPL-a donosi stvarne izazove. U nastavku razmatramo neke od najvažnijih:

U ranim fazama generiranja strategije napredak često zastane: novi rezultati ne nadograđuju prethodne i proces gubi zamah. To obično uzrokuju dva glavna problema:

• • Rješenje: Unaprijed kodirajte sva dostupna poslovna znanja kako bi sistem imao bogatu osnovu na koju se može osloniti.

• • Rješenje: Osmislite detaljnu skalu koja ocjenjuje više aspekata odgovora, poput tačnosti, jasnoće i relevantnosti, te prilagodite uzorkovanje tim signalima.

Ako sistem generira stotine strategija, ali dobija premalo povratnih informacija za razlikovanje dobrih od loših, uzorkovanje brzo postaje nepraktično. Rješenje je uklanjanje suvišnih strategija.

Pri uređivanju zbirke strategija uzmite u obzir:

• Životni vijek: Povucite strategije kada premaše određeno vremensko razdoblje ili broj generacija.

• Ocjena: Koristite svoju skalu za evaluaciju kako biste uklonili strategije koje stalno postižu loše rezultate. Kombiniranjem toga sa životnim vijekom zadržavate samo pristupe koji s vremenom dokažu svoju vrijednost.

• LLM ocjenjivanje: Povremeno procijenite strategije kako biste otkrili one koje više ne pružaju jedinstvene uvide jer su njihovi korisni elementi vjerovatno već ugrađeni u novije verzije.

Rješenje: Posmatrajte bazu strategija kao živ sistem: redovno je pročišćavajte kako bi ostala samo relevantna i vrijedna znanja.

Učenje sistemskih upita još je u začetku, ali ima ogroman potencijal. Kompanije koje se oslanjaju isključivo na statične upite ili beskrajno fino podešavanje suočit će se s poznatim ograničenjima: nepouzdanim sistemima, rastućim troškovima i uzaludnim radom. SPL nudi izlaz iz tog ciklusa stvaranjem sistema koji se s vremenom poboljšavaju i kodiraju načela višeg nivoa umjesto pojedinačnih zakrpa.

SPL se još razvija, ali smjer je jasan: sistemi koji mogu učiti iz vlastitog rada nadmašit će one koji to ne mogu. Sada je vrijeme da eksperimentirate, počnete s malim projektima, bilježite naučene lekcije i postavite temelje za AI sisteme koji se poboljšavaju svakom interakcijom.