Učenie systémových príkazov: nová paradigma systémov AI

Stalo sa vám už, že konkrétny príkaz fungoval dobre, no zrazu fungovať prestal?

Ocitli ste sa niekedy v nekonečnom kolobehu úprav systémového príkazu v snahe zlepšiť výsledky, no nič nefungovalo?

Učenie systémových príkazov môže byť presne to, čo potrebujete.

Učenie systémových príkazov (SPL) je novou oblasťou záujmu komunity AI a v máji ho na platforme X výrazne spopularizoval Andrej Karpathy.

Učenie systémových príkazov rieši obmedzenia nepružných a krehkých systémov AI, ktoré sa spoliehajú na nemenné systémové príkazy alebo ťažkopádne procesy dolaďovania. Ponúka ďalší spôsob podpory nepretržitého učenia v systémoch AI.

Skôr než sa do toho pustíme, stručne si zopakujme základy tvorby príkazov.

Pri vývoji agenta alebo vlastného modelu musíme najprv navrhnúť dva kľúčové prvky:

1. Systémový príkaz

2. Používateľský príkaz

Systémové príkazy určujú základné pravidlá správania modelu. Pri vlastných riešeniach AI sa často začínajú napríklad takto:

“You are an intelligent assistant. Your role is to perform <insert task here>.

You must not do (A), (B), or (C).”

Naproti tomu používateľské príkazy zvyčajne obsahujú otázku používateľa a ďalšie relevantné informácie, napríklad jeho časové pásmo a preferencie. Používateľský príkaz môže vyzerať takto:

I’m in the capital city of Portugal. Can you suggest some things I can do tonight?

Po vydaní nových modelov veľkými laboratóriami AI sú úniky systémových príkazov bežné, pretože používatelia pomocou jailbreakov prinútia chatboty odhaliť ich základné pokyny. Populárny repozitár na GitHube teraz zhromažďuje mnohé z týchto systémových príkazov na jednom mieste. Odhaľujú „tajnú prísadu“, ktorú laboratóriá AI postupne vyvinuli na podporu vhodného správania modelov. Napríklad nedávno uniknutý systémový príkaz modelu GPT-5 (odhálený v službe ChatGPT) obsahuje približne 6 000 slov. Ukazuje tak, koľko znalostí a usmernení treba zakódovať na formovanie správania systému.

Tieto rozsiahle systémové príkazy zvyčajne pokrývajú niekoľko kľúčových oblastí, napríklad:

• Pokyny na vyhľadávanie

• Definície nástrojov

• Preferencie používateľa

• Pokyny na citovanie

• Rýchle opravy známych problémov

V praxi vývojári vlastných systémov AI počas testovania a zdokonaľovania aplikácií ručne a opakovane upravujú systémové príkazy, pričom sa v tomto procese riadia najmä hodnoteniami.

Medzi ďalšie spôsoby usmerňovania správania modelu patria:

• Návrh príkazov vrátane generovania rozšíreného o vyhľadávanie (RAG), ktorý riadi obsah poskytovaný modelu

• Dolaďovanie (priama zmena základných váh modelu)

Čo ak existuje aj iný spôsob, ako ovplyvniť správanie modelu? Predstavte si systém, ktorý sa dynamicky učí a zdokonaľuje vlastný systémový príkaz pomocou skôr vytvorených myšlienok, plánov a stratégií. Pri posudzovaní svojich výstupov by mohol vychádzať zo spätnej väzby používateľov aj z hodnotení typu LLM ako hodnotiteľ.

Predstavte si pretrvávajúci obchodný problém, ktorý chcete automatizovať pomocou agentného systému. Účinné riešenia si vyžadujú schopnosti uvažovania nad rámec základnej automatizácie pracovných postupov. V takých prípadoch je nevyhnutné začleniť do systému AI komponent na tvorbu plánov. Systém tak môže pracovať s viacerými agentmi rôznymi spôsobmi podľa konkrétnej úlohy. Jednotlivé kroky môžu obsahovať pokyny na prístup k iným agentom pri plnení čiastkových úloh alebo na používanie nástrojov.

Poznámka: Nástroj agenta je akákoľvek externá funkcia, rozhranie API alebo zdroj, ktoré môže agent AI volať, aby prekročil rámec textu a vykonal skutočné kroky.

Systémový príkaz modelu môžete „naštartovať“ plánom, ktorý kopíruje logické kroky človeka. Modely LLM však zvyčajne potrebujú konkrétnejšie pokyny na používanie nástrojov, formátovanie výstupov a súvisiace požiadavky. Optimálna stratégia niekedy nemusí byť jasná alebo môžete riešiť problém, ktorý sa opätovne neposúdil, pretože sa predtým považoval za vyriešený. Práve tu prichádza na rad učenie systémových príkazov (SPL).

SPL opakovane zlepšuje systémový príkaz začleňovaním skôr vytvorených stratégií. S pribúdajúcimi novými problémami systém postupne zhromažďuje znalosti a stáva sa odolnejším. Predstavte si to ako tvorbu príručky na riešenie problémov vo vašej oblasti.

SPL postupne začleňuje poznatky zo spätnej väzby používateľov do systémového príkazu. Ako systém dozrieva, môžete objaviť opakujúce sa problémy, ktoré možno zhrnúť do všeobecnejších princípov vyššej úrovne.

Pozrime sa podrobnejšie na jednotlivé kroky procesu:

1. Začnite požiadavkou používateľa, ktorá systém žiada o vykonanie konkrétnej úlohy.

2. 1. Ak systém rieši iba jeden problém, môžete zvoliť „chamtivý“ prístup a vybrať stratégie s najvyšším skóre z predchádzajúcich behov. Prípadne môžete podporiť skúmanie vzorkovaním z rozdelenia, ktoré uprednostňuje vysoko hodnotené stratégie, no občas zahŕňa aj tie s nižším hodnotením. Je to užitočné najmä vtedy, keď stratégie ešte len začínate zhromažďovať.

   2. Pri systémoch určených na riešenie rôznorodých okruhov problémov zvážte pridanie klasifikačnej vrstvy alebo použitie vektorových reprezentácií a kosínusovej podobnosti (rovnakých techník, aké sa zvyčajne používajú pri RAG) na identifikáciu relevantných prístupov. Pomôže vám to vybrať stratégie vhodné pre konkrétny problém, napríklad stratégie prispôsobené programátorským úlohám.

Poznámka: Vektorové reprezentácie použité s kosínusovou podobnosťou umožňujú merať mieru súvislosti dvoch informácií. Vďaka tomu možno jednoduchšie párovať dokumenty, otázky či myšlienky, aj keď používajú odlišné znenie.

Príklad východiskového bodu zjednodušeného úložiska stratégií na riešenie programátorských problémov.

Poznámka: Uvedené „počiatočné stratégie“ slúžia iba na ilustráciu. V skutočných programátorských scenároch by sme ich ďalej zdokonaľovali. Špecifické obchodné problémy by si časom vyžadovali zhromažďovanie ďalších poznatkov.

3. Po navzorkovaní N stratégií ich začleňte do systémového príkazu. Tvorba plánov tak vychádza z predchádzajúcej spätnej väzby odborníkov namiesto toho, aby model vytváral plány len s minimálnym usmernením. Povzbuďte model, aby „myslel nekonvenčne“ a podľa potreby pridával kroky namiesto doslovného kopírovania vzorových stratégií.

4. Pomocou dynamicky vytvoreného systémového príkazu vygenerujte novú stratégiu na riešenie požiadavky používateľa. Tento proces by mal vytvoriť ďalšie úlohy, ktoré zlepšia konečný výstup. Cieľom je tvorivosť: skombinujte najsilnejšie prvky predchádzajúcich stratégií, zlúčte prekrývajúce sa kroky a podľa potreby pridajte užitočné nové kroky.

Poznámka: Nezabúdajte, že teplota je parameter, ktorý možno upraviť tak, aby boli výstupy rozmanitejšie a menej deterministické, čo je užitočné, keď sa vyžaduje tvorivosť. Pri nenulovej teplote sa môžu jednotlivé vygenerované plány líšiť.

5. Po prijatí výstupu modelu ho nechajte posúdiť človekom alebo modelom LLM podľa konkrétnych kritérií, ktoré definujú dobré riešenie vášho problému. V uvedenom príklade aktivít v Portugalsku by medzi hodnotiace kritériá mohli patriť:

• Stručnosť (odpoveď obmedzená na jednu vetu)

• Relevantnosť navrhnutej aktivity

• Správnosť lokality

6. Na základe tohto hodnotenia použite ďalší model na zdokonalenie stratégie. Voliteľná spätnoväzbová slučka môže zahŕňať vstupy od ľudí a podporovať spoločné zlepšovanie. Zdokonalenú stratégiu uložte do databázy s príslušnými metadátami, aby ste mohli sledovať verzie a zmeny.

Prečo teda podstupovať všetku tú námahu? Výstupy by ste mohli kontrolovať ručne a podľa toho upravovať systémový príkaz. Výkonné modely uvažovania však dokážu zdokonaľovať stratégie pomocou kontextu výstupu aj spätnej väzby od ľudí. Hoci ľudia ľahko odhalia nedostatky jednoduchých prístupov, v zložitých systémoch riešiacich širšie okruhy problémov je ich identifikácia náročná a zdĺhavá.

Modely LLM často potrebujú podrobné pokyny a ďalšie kroky, aby získali kontextové znalosti, ktoré ľudia prirodzene uplatňujú pri riešení problému. S rozširovaním systému na riešenie širších okruhov problémov môže počet potrebných úloh rýchlo narastať. Napríklad ľudia riešiaci programátorské problémy môžu intuitívne chápať okolitú kódovú základňu, zatiaľ čo LLM musí najprv „prečítať“ viacero súborov.

• Kedy to pomáha: Predstavte si, že vediete tím zákazníckej podpory a agent AI triedi požiadavky. SPL môže časom odhaliť spôsob kategorizácie, o ktorom váš tím neuvažoval, a znížiť tak mieru eskalácií.

• Kedy to nepomáha: Ak vaše pracovné postupy už určujú regulačné požiadavky alebo predpisy, napríklad pri finančnom výkazníctve, SPL môže mať malú hodnotu, pretože tvorivosť sa stáva skôr rizikom než výhodou.

• Kedy to pomáha: V pozíciách náročných na výskum, napríklad pri analýze trhu alebo produktovej stratégii, môžete spolupracovať s AI zdokonaľovaním jej plánov, obohacovaním výstupov a začleňovaním týchto zlepšení na budúce použitie. Každá interakcia zvyšuje efektívnosť systému.

• Kedy to nepomáha: Ak váš tím používa AI najmä na jednoduché pracovné postupy s minimálnym zapojením ľudí, napríklad spracovanie faktúr, náklady na spoluprácu môžu prevážiť nad prínosom.

• Kedy to pomáha: Predstavte si, že expandujete do nového regiónu a AI musí zrazu riešiť otázky o miestnych daniach. SPL vám umožňuje rýchlo zakódovať nové pravidlá a heuristiky hneď, ako sa objavia, čím zabraňuje opakovaným chybám.

• Kedy to nepomáha: Ak je vaše prostredie nemenné, napríklad pri prevode prepisov stretnutí na štandardizované súhrny, neustále prispôsobovanie prináša len minimálne výhody.

Teoreticky to všetko znie sľubne, zavedenie SPL však prináša skutočné výzvy. Nižšie rozoberáme niektoré z najdôležitejších:

V počiatočných fázach tvorby stratégií sa pokrok často zastaví: nové výstupy nenadväzujú na predchádzajúce a tempo sa spomaľuje. Zvyčajne to spôsobujú dva hlavné problémy:

• • Riešenie: Vopred zakódujte všetky dostupné obchodné znalosti, aby mal systém dostatočne bohatý základ.

• • Riešenie: Navrhnite podrobnú hodnotiacu schému, ktorá boduje viacero aspektov odpovede, napríklad správnosť, zrozumiteľnosť a relevantnosť, a prispôsobte vzorkovanie týmto signálom.

Ak systém vytvára stovky stratégií, no dostáva málo spätnej väzby na rozlíšenie dobrých od zlých, vzorkovanie sa rýchlo stane nezvládnuteľným. Riešením je prerezávanie.

Pri zdokonaľovaní úložiska stratégií zvážte:

• Životnosť: Stratégie vyraďte po prekročení stanoveného obdobia alebo počtu generácií.

• Skóre: Pomocou hodnotiacej schémy odfiltrujte stratégie, ktoré dlhodobo dosahujú slabé výsledky. Kombinácia so životnosťou zaručuje, že si ponecháte iba prístupy, ktoré časom preukážu svoju hodnotu.

• Hodnotenie modelom LLM: Pravidelne posudzujte stratégie a identifikujte tie, ktoré už neprinášajú jedinečné poznatky, pretože ich užitočné prvky už pravdepodobne prevzali novšie verzie.

Riešenie: Považujte databázu stratégií za živý systém: pravidelne ju prerezávajte, aby v nej zostali len relevantné a hodnotné znalosti.

Učenie systémových príkazov je stále v začiatkoch, no jeho potenciál je obrovský. Firmy, ktoré sa spoliehajú výlučne na nemenné príkazy alebo nekonečné dolaďovanie, narazia na známe obmedzenia: krehké systémy, rastúce náklady a premárnené úsilie. SPL ponúka cestu z tohto kolobehu budovaním systémov, ktoré sa časom zlepšujú a namiesto izolovaných opráv zakódujú všeobecnejšie princípy.

SPL sa stále rozvíja, no jeho smerovanie je jasné: systémy, ktoré sa dokážu učiť samy zo seba, predbehnú tie, ktoré to nedokážu. Teraz je čas experimentovať, začať v malom, zaznamenávať si poznatky a položiť základy systémov AI, ktoré sa zlepšujú s každou interakciou.