Stalo se vám někdy, že určitý prompt fungoval dobře, ale najednou fungovat přestal?
Uvízli jste někdy v nekonečném cyklu úprav systémového promptu ve snaze zlepšit výsledky, ale nic nezabíralo?
Učení systémových promptů může být přesně to, co potřebujete.
Učení systémových promptů (SPL) je nově vznikající oblastí zájmu komunity AI. V květnu je na síti X výrazně zpopularizoval Andrej Karpathy.
Učení systémových promptů řeší omezení nepružných a křehkých systémů AI, které spoléhají na statické systémové prompty nebo těžkopádné postupy dolaďování. Nabízí další způsob, jak v systémech AI podporovat průběžné učení.
Než se do tématu ponoříme, stručně si zopakujme základy práce s prompty.
Při vývoji agenta nebo vlastního modelu musíme nejprve navrhnout dvě klíčové součásti:
Systémový prompt
Uživatelský prompt
Systémové prompty stanovují základní pravidla chování modelu. U vlastních řešení AI často začínají například takto:
“You are an intelligent assistant. Your role is to perform <insert task here>.
You must not do (A), (B), or (C).”
Naproti tomu uživatelské prompty obvykle obsahují dotaz uživatele a další relevantní údaje, například časové pásmo a preference. Uživatelský prompt může vypadat například takto:
I’m in the capital city of Portugal. Can you suggest some things I can do tonight?
Po vydání nových modelů předními laboratořemi AI se běžně objevují úniky systémových promptů, protože uživatelé pomocí jailbreaků přimějí chatboty odhalit jejich základní instrukce. Oblíbené úložiště na GitHubu nyní shromažďuje mnoho těchto systémových promptů na jednom místě. Odhalují „tajnou přísadu“, kterou laboratoře AI postupně vyvinuly, aby podpořily žádoucí chování modelů. Například nedávno uniklý systémový prompt GPT-5 (odhalený v ChatGPT) obsahuje přibližně 6 000 slov. Ukazuje tak, kolik znalostí a pokynů je nutné zakódovat, aby bylo možné formovat chování systému.
Tyto obsáhlé systémové prompty obvykle pokrývají několik klíčových oblastí, například:
Pokyny pro vyhledávání
Definice nástrojů
Uživatelské preference
Pokyny pro citace
Rychlé opravy známých problémů
Vývojáři vlastních systémů AI v praxi systémové prompty ručně a opakovaně upravují při testování a zdokonalování aplikací. Tento proces zlepšování řídí především pomocí evaluací.
Mezi další způsoby řízení chování modelu patří:
Konstrukce promptů včetně generování rozšířeného o vyhledávání (RAG), které řídí obsah poskytovaný modelu
Dolaďování (přímá změna základních vah modelu)
Co kdyby existoval ještě jiný způsob, jak ovlivnit chování modelu? Představte si systém, který se dynamicky učí a zdokonaluje vlastní systémový prompt pomocí dříve vytvořených myšlenek, plánů a strategií. K hodnocení svých výstupů by mohl využívat jak zpětnou vazbu uživatelů, tak hodnocení typu LLM-as-a-judge.
Představte si dlouhodobý obchodní problém, který chcete automatizovat pomocí agentního systému. Účinná řešení vyžadují schopnosti uvažování nad rámec základní automatizace pracovních postupů. V takových případech je nezbytné začlenit do systému AI komponentu pro generování plánů. Systém tak může v závislosti na úkolu různými způsoby spolupracovat s více agenty. Jednotlivé kroky mohou obsahovat pokyny k využití dalších agentů pro splnění dílčích úkolů nebo k použití nástrojů.
Poznámka: Nástroj agenta je jakákoli externí funkce, API nebo prostředek, které může agent AI volat, aby překročil rámec textu a prováděl skutečné akce.
Systémový prompt modelu můžete „naočkovat“ plánem, který sleduje logické kroky člověka. LLM však obvykle potřebují konkrétnější pokyny k používání nástrojů, formátování výstupu a souvisejícím požadavkům. Optimální strategie někdy nemusí být jasná. Případně můžete řešit problém, který se znovu neposuzoval, protože byl dříve považován za vyřešený. Právě zde přichází ke slovu učení systémových promptů (SPL).
SPL opakovaně zdokonaluje systémový prompt začleňováním dříve vytvořených strategií. S příchodem nových problémů systém postupně shromažďuje znalosti a stává se odolnějším. Představte si to jako vytváření příručky pro řešení problémů ve vašem oboru.
SPL postupně začleňuje poznatky ze zpětné vazby uživatelů do systémového promptu. Jak systém vyzrává, můžete odhalit opakující se problémy, které lze převést na obecnější principy vyšší úrovně.
Podívejme se podrobněji, jak celý proces krok za krokem funguje:
Začněte dotazem uživatele, který systém žádá o provedení konkrétního úkolu.
Pokud systém řeší pouze jeden problém, můžete zvolit „hladový“ přístup a vybírat strategie s nejvyšším skóre z předchozích běhů. Případně můžete podpořit průzkum vzorkováním z rozdělení, které upřednostňuje vysoce hodnocené strategie, ale občas zahrne i ty hůře hodnocené. To je obzvlášť užitečné, když se shromažďováním strategií teprve začínáte.
U systémů určených k řešení různorodých souborů problémů zvažte přidání klasifikační vrstvy nebo použití embeddingů a kosinové podobnosti (stejných metod, které se obvykle používají v RAG) k nalezení relevantních postupů. To vám pomůže vybrat strategie vhodné pro konkrétní problém, například strategie přizpůsobené programátorským úkolům.
Poznámka: Embeddingy používané s kosinovou podobností umožňují měřit, jak úzce spolu dvě informace souvisejí. Usnadňují tak párování dokumentů, dotazů či myšlenek, i když se jejich přesné znění liší.
Příklad výchozího bodu zjednodušeného úložiště strategií pro řešení programátorských problémů.
Poznámka: Uvedené „výchozí strategie“ slouží pouze jako ilustrace. Ve skutečných programátorských scénářích bychom je dále zdokonalili. Specifické obchodní problémy by vyžadovaly postupné shromažďování dalších poznatků.
Generation_id (obrácené pořadí) | Předmět | Skóre | Strategy_text | Vysvětlení |
|---|---|---|---|---|
4 | programování | 1 | Understand the problem, constraints, and edge cases. Design an algorithm with the right data structures. Validate the plan on examples and invariants. Implement clean, readable code. Refine with refactoring, optimization, and final formatting. Tool use: When using a tool, briefly explain why it was needed. | Spojuje nejsilnější prvky tří níže uvedených strategií. |
3 | programování | 1 | Understand the problem, constraints, and edge cases. Design an algorithm with the right data structures. Validate the plan on examples and invariants. Implement clean, readable code. Refine with refactoring, optimization, and final formatting. | Vyváženější strategie, která však neobsahuje pokyny k používání nástrojů. |
2 | programování | -1 | Understand the problem, constraints, and edge cases. Design an algorithm with the right data. Implement clean, readable code. Tool use: when accessing tools produce a short summary as to why you used that tool. | Lepší strategie, která zmiňuje používání nástrojů, ale stále ji lze vylepšit. |
1 | programování | -1 | Skim the problem. Solve the problem. Create minimal tests. Submit whatever runs. | Zmiňuje testy, ale celkově jde o slabou strategii. |
3. Po navzorkování N strategií je začleňte do systémového promptu. Generování plánů se tak opírá o předchozí zpětnou vazbu odborníků, místo aby model vytvářel plány pouze s minimem pokynů. Povzbuďte model, aby „myslel nekonvenčně“ a podle potřeby přidával kroky, místo aby ukázkové strategie pouze doslovně kopíroval.
4. Pomocí dynamicky vytvořeného systémového promptu vygenerujte novou strategii pro vyřízení požadavku uživatele. Tento proces by měl vytvořit další úkoly, které zlepší konečný výstup. Cílem je kreativita: spojte nejsilnější prvky předchozích strategií, slučte překrývající se kroky a podle potřeby přidejte nové užitečné kroky.
Poznámka: Nezapomeňte, že teplota je parametr, jehož úpravou lze získat rozmanitější a méně deterministické výstupy, což je užitečné, když je žádoucí kreativita. Při nenulové teplotě se mohou jednotlivé vygenerované plány lišit.
5. Po obdržení výstupu modelu jej nechte vyhodnotit člověkem nebo hodnotícím LLM podle konkrétních kritérií, která definují dobré řešení vašeho problému. U dříve uvedeného příkladu aktivit v Portugalsku mohou hodnoticí kritéria zahrnovat:
Stručnost (odpověď omezená na jednu větu)
Relevance navrhované aktivity
Přesnost místa
6. Na základě tohoto hodnocení použijte jiný model ke zdokonalení strategie. Volitelná zpětnovazební smyčka může zahrnovat podněty od lidí a podporovat společné zlepšování. Uložte zdokonalenou strategii do databáze spolu s příslušnými metadaty, abyste mohli sledovat verze a změny.
Proč si tedy s tím vším dávat práci? Výstupy byste mohli kontrolovat ručně a podle nich upravovat systémový prompt. Výkonné modely uvažování však mohou strategie zdokonalovat pomocí kontextu výstupu i zpětné vazby od lidí. Lidé sice snadno odhalí nedostatky jednoduchých postupů, ale ve složitých systémech řešících širší soubory problémů je jejich hledání náročné a únavné.
LLM často potřebují podrobné pokyny a další kroky, aby získaly kontextové znalosti, které lidé do řešení problému přirozeně vnášejí. Jak se systém rozšiřuje na širší soubory problémů, může počet potřebných úkolů rychle růst. Například lidé řešící programátorské problémy mohou intuitivně chápat okolní kódovou základnu, zatímco LLM si nejprve musí „přečíst“ několik souborů.
Kdy pomáhá: Představte si, že vedete tým zákaznické podpory a agent AI třídí požadavky. SPL může časem odhalit způsob kategorizace, který váš tým dosud nezvažoval, a snížit tak míru eskalací.
Kdy nepomáhá: Pokud vaše pracovní postupy již určují předpisy či požadavky na dodržování pravidel, například u finančního výkaznictví, může mít SPL jen malý přínos, protože kreativita se stává spíše rizikem než výhodou.
Kdy pomáhá: V profesích náročných na výzkum, jako je průzkum trhu nebo produktová strategie, můžete s AI spolupracovat tím, že budete zdokonalovat její plány, obohacovat její výstupy a začleňovat tato zlepšení pro budoucí využití. Každá interakce zvyšuje efektivitu systému.
Kdy nepomáhá: Pokud váš tým používá AI hlavně pro jednoduché pracovní postupy s minimálním zapojením lidí, například zpracování faktur, mohou náklady na spolupráci převážit nad přínosy.
Kdy pomáhá: Představte si, že expandujete do nového regionu a AI musí náhle vyřizovat dotazy týkající se místních daní. SPL umožňuje rychle zakódovat nově vznikající pravidla a heuristiky, a předcházet tak opakovaným chybám.
Kdy nepomáhá: Pokud je vaše prostředí neměnné, například při převodu přepisů schůzek na standardizovaná shrnutí, přináší neustálé přizpůsobování jen minimální užitek.
Teoreticky to vše zní slibně, zavedení SPL však přináší skutečné výzvy. Některé z hlavních výzev rozebíráme níže:
V počátečních fázích vytváření strategií se pokrok často zastaví: nové výstupy nerozvíjejí ty předchozí a tempo zpomaluje. Obvykle to způsobují dva hlavní problémy:
Řešení: Zakódujte všechny dostupné obchodní znalosti hned na začátku, aby měl systém dostatek podkladů, ze kterých může čerpat.
Řešení: Navrhněte propracovanou hodnoticí škálu, která posuzuje více aspektů odpovědi, například přesnost, srozumitelnost a relevanci, a upravte vzorkování tak, aby tyto signály zohledňovalo.
Pokud systém vytváří stovky strategií, ale dostává málo zpětné vazby, podle níž by rozlišil dobré od špatných, vzorkování se rychle stane nezvladatelným. Řešením je prořezávání.
Při zdokonalování úložiště strategií zvažte:
Životnost: Vyřaďte strategie, jakmile překročí stanovenou dobu nebo počet generací.
Skóre: Pomocí hodnoticí škály odfiltrujte strategie, které dlouhodobě dosahují slabých výsledků. Spojení tohoto přístupu s životností zajistí, že si ponecháte pouze postupy, které svou hodnotu prokážou v čase.
Hodnocení pomocí LLM: Pravidelně posuzujte strategie a hledejte ty, které již nepřinášejí jedinečné poznatky, protože jejich užitečné prvky byly pravděpodobně začleněny do novějších verzí.
Řešení: Zacházejte s databází strategií jako s živým systémem: pravidelně ji prořezávejte, aby v ní zůstaly jen relevantní a hodnotné znalosti.
Učení systémových promptů je stále v plenkách, ale jeho potenciál je obrovský. Firmy, které spoléhají výhradně na statické prompty nebo nekonečné dolaďování, narazí na známá omezení: křehké systémy, rostoucí náklady a promarněné úsilí. SPL nabízí cestu z tohoto kruhu: umožňuje budovat systémy, které se postupně zlepšují a místo jednotlivých záplat si osvojují principy vyšší úrovně.
SPL se stále vyvíjí, ale směr je jasný: systémy schopné učit se samy ze sebe předčí ty, které to nedokážou. Nyní je čas experimentovat, začít v malém, zaznamenávat získané poznatky a položit základy systémů AI, které se zlepšují s každou interakcí.