Czy zdarzyło Ci się, że konkretne polecenie działało dobrze, a potem nagle przestało?
Czy zdarzyło Ci się bez końca poprawiać polecenie systemowe, próbując uzyskać lepsze wyniki, ale bez powodzenia?
Uczenie się polecenia systemowego może być właśnie tym, czego potrzebujesz.
Uczenie się polecenia systemowego (SPL) to nowy obszar zainteresowania społeczności AI, który w maju szeroko spopularyzował na platformie X Andrej Karpathy.
Uczenie się polecenia systemowego pozwala przezwyciężyć ograniczenia mało elastycznych i zawodnych systemów AI, które opierają się na statycznych poleceniach systemowych lub nieporęcznych procesach dostrajania. To kolejny sposób na wspieranie ciągłego uczenia się systemów AI.
Zanim przejdziemy do szczegółów, omówmy krótko podstawy tworzenia poleceń.
Podczas tworzenia agenta lub niestandardowego modelu musimy najpierw zaprojektować dwa kluczowe elementy:
Polecenie systemowe
Polecenie użytkownika
Polecenia systemowe określają podstawowe zasady działania modelu. W niestandardowych rozwiązaniach AI często zaczynają się mniej więcej tak:
“You are an intelligent assistant. Your role is to perform <insert task here>.
You must not do (A), (B), or (C).”
Natomiast polecenia użytkownika zazwyczaj zawierają pytanie użytkownika oraz inne istotne informacje, takie jak jego strefa czasowa i preferencje. Polecenie użytkownika może wyglądać tak:
I’m in the capital city of Portugal. Can you suggest some things I can do tonight?
Po premierach nowych modeli z dużych laboratoriów AI często dochodzi do wycieków poleceń systemowych, ponieważ użytkownicy obchodzą zabezpieczenia chatbotów, aby ujawnić ich wewnętrzne instrukcje. Popularne repozytorium w serwisie GitHub gromadzi obecnie wiele takich poleceń systemowych w jednym miejscu. Ujawniają one „sekretny składnik” opracowany z czasem przez laboratoria AI, aby skłaniać modele do właściwego działania. Na przykład niedawno ujawnione polecenie systemowe GPT-5 (pozyskane z ChatGPT) zawiera około 6000 słów. Pokazuje to, jak wiele wiedzy i wskazówek trzeba zakodować, aby kształtować działanie systemu.
Tak rozbudowane polecenia systemowe zwykle obejmują kilka kluczowych obszarów, takich jak:
Instrukcje wyszukiwania
Definicje narzędzi
Preferencje użytkownika
Instrukcje cytowania źródeł
Szybkie poprawki znanych problemów
W praktyce twórcy niestandardowych systemów AI ręcznie i iteracyjnie poprawiają polecenia systemowe podczas testowania i udoskonalania aplikacji, wykorzystując głównie ewaluacje do wyznaczania kierunku tych zmian.
Inne sposoby kształtowania działania modelu to:
Inżynieria poleceń, w tym generowanie wspomagane wyszukiwaniem (RAG), które pozwala kontrolować treści przekazywane modelowi
Dostrajanie (bezpośrednia zmiana bazowych wag modelu)
A gdyby istniał jeszcze inny sposób wpływania na działanie modelu? Wyobraź sobie system, który dynamicznie uczy się i udoskonala własne polecenie systemowe na podstawie wcześniej wygenerowanych przemyśleń, planów i strategii. Do oceny swoich wyników mógłby wykorzystywać zarówno opinie użytkowników, jak i ewaluacje typu LLM jako sędzia.
Rozważ stałe wyzwanie biznesowe, które chcesz zautomatyzować za pomocą systemu agentowego. Skuteczne rozwiązania wymagają zdolności rozumowania wykraczających poza podstawową automatyzację procesów. W takich przypadkach niezbędne staje się dodanie do systemu AI komponentu generującego plany. Pozwala to systemowi współpracować z wieloma agentami na różne sposoby, zależnie od zadania. Poszczególne kroki mogą obejmować instrukcje dotyczące korzystania z innych agentów w celu wykonania podzadań lub używania narzędzi.
Uwaga: narzędzie agenta to dowolna zewnętrzna funkcja, interfejs API lub zasób, z którego agent AI może skorzystać, aby wyjść poza tekst i podejmować rzeczywiste działania.
Możesz „zasilić” polecenie systemowe modelu planem opartym na logicznych krokach podejmowanych przez człowieka, choć modele LLM zwykle potrzebują bardziej szczegółowych wskazówek dotyczących użycia narzędzi, formatowania wyników i podobnych wymagań. Czasami optymalna strategia nie jest oczywista albo rozwiązujesz problem, którego od dawna nie analizowano ponownie, ponieważ wcześniej uznano go za rozwiązany. Właśnie tutaj przydaje się uczenie się polecenia systemowego (SPL).
SPL iteracyjnie ulepsza polecenie systemowe, uwzględniając wcześniej wygenerowane strategie. W miarę pojawiania się nowych problemów system stopniowo gromadzi wiedzę i staje się bardziej niezawodny. Można to porównać do tworzenia podręcznika rozwiązywania problemów w danej dziedzinie.
SPL stopniowo włącza do polecenia systemowego wnioski z opinii użytkowników. Wraz z dojrzewaniem systemu możesz odkryć powtarzające się problemy, które da się ująć w bardziej ogólne zasady wyższego poziomu.
Przyjrzyjmy się dokładniej kolejnym etapom tego procesu:
Zacznij od zapytania użytkownika, w którym system otrzymuje konkretne zadanie.
Jeśli system rozwiązuje tylko jeden problem, możesz zastosować podejście „zachłanne”, wybierając strategie z najwyższymi ocenami z poprzednich uruchomień. Możesz też zachęcić system do eksploracji, próbkując z rozkładu, który preferuje wysoko oceniane strategie, ale czasami uwzględnia również te ocenione niżej. Jest to szczególnie przydatne na początku gromadzenia strategii.
W systemach przeznaczonych do obsługi różnorodnych problemów warto dodać warstwę klasyfikacji albo użyć wektorów osadzeń i podobieństwa cosinusowego — tych samych technik, które zwykle stosuje się w RAG — aby wskazywać odpowiednie podejścia. Pomaga to wybierać strategie dopasowane do konkretnego problemu, na przykład przeznaczone do zadań programistycznych.
Uwaga: wektory osadzeń stosowane wraz z podobieństwem cosinusowym pozwalają mierzyć, jak ściśle powiązane są dwie informacje. Ułatwia to dopasowywanie dokumentów, zapytań i pomysłów nawet wtedy, gdy użyto w nich innych sformułowań.
Przykładowy punkt wyjścia do utworzenia uproszczonego repozytorium strategii rozwiązywania problemów programistycznych.
Uwaga: przedstawione tutaj „strategie początkowe” mają charakter poglądowy. W rzeczywistych zadaniach programistycznych należałoby je dalej udoskonalać. Niszowe problemy biznesowe wymagałyby gromadzenia z czasem dodatkowych spostrzeżeń.
Identyfikator_generacji (kolejność odwrotna) | Temat | Ocena | Tekst_strategii | Wyjaśnienie |
|---|---|---|---|---|
4 | programowanie | 1 | Zrozum problem, ograniczenia i przypadki brzegowe. Zaprojektuj algorytm z odpowiednimi strukturami danych. Zweryfikuj plan na przykładach i niezmiennikach. Zaimplementuj przejrzysty i czytelny kod. Udoskonal rozwiązanie przez refaktoryzację, optymalizację i końcowe formatowanie. Użycie narzędzi: przy korzystaniu z narzędzia krótko wyjaśnij, dlaczego było potrzebne. | Uwzględnia i łączy najlepsze elementy trzech poniższych strategii. |
3 | programowanie | 1 | Zrozum problem, ograniczenia i przypadki brzegowe. Zaprojektuj algorytm z odpowiednimi strukturami danych. Zweryfikuj plan na przykładach i niezmiennikach. Zaimplementuj przejrzysty i czytelny kod. Udoskonal rozwiązanie przez refaktoryzację, optymalizację i końcowe formatowanie. | Bardziej kompleksowa strategia, ale nie zawiera wskazówek dotyczących korzystania z narzędzi. |
2 | programowanie | -1 | Zrozum problem, ograniczenia i przypadki brzegowe. Zaprojektuj algorytm z odpowiednimi danymi. Zaimplementuj przejrzysty i czytelny kod. Użycie narzędzi: korzystając z narzędzia, krótko wyjaśnij, dlaczego zostało użyte. | Lepsza strategia, która wspomina o użyciu narzędzi, ale nadal wymaga ulepszeń. |
1 | programowanie | -1 | Pobieżnie przeczytaj treść problemu. Rozwiąż problem. Utwórz minimalny zestaw testów. Prześlij cokolwiek, co się uruchamia. | Wspomina o testach, ale jako całość jest słabą strategią. |
3. Po wylosowaniu N strategii uwzględnij je w poleceniu systemowym. Dzięki temu generowanie planów opiera się na wcześniejszych opiniach ekspertów, zamiast pozostawiać modelowi tworzenie planów przy minimalnych wskazówkach. Zachęć model do „nieszablonowego myślenia” i dodawania kroków w razie potrzeby, zamiast dosłownego kopiowania przykładowych strategii.
4. Korzystając z dynamicznie utworzonego polecenia systemowego, wygeneruj nową strategię realizacji prośby użytkownika. W ramach tego procesu powinny powstać dodatkowe zadania, które poprawią końcowy wynik. Celem jest kreatywność: połącz najlepsze elementy wcześniejszych strategii, scal powtarzające się kroki i w razie potrzeby dodaj nowe, przydatne działania.
Uwaga: pamiętaj, że temperatura to parametr, który można dostosować, aby uzyskać bardziej zróżnicowane i mniej deterministyczne wyniki, co jest przydatne, gdy zależy nam na kreatywności. Przy temperaturze większej od zera każdy wygenerowany plan może być inny.
5. Po otrzymaniu wyniku modelu oceń go za pomocą człowieka lub modelu LLM pełniącego funkcję sędziego, opierając się na konkretnych kryteriach definiujących dobre rozwiązanie danego problemu. W przypadku wspomnianego wcześniej przykładu aktywności w Portugalii kryteria oceny mogą obejmować:
Zwięzłość (odpowiedź ograniczona do jednego zdania)
Trafność proponowanej aktywności
Poprawność lokalizacji
6. Na podstawie tej oceny użyj innego modelu do udoskonalenia strategii. Opcjonalna pętla informacji zwrotnych może uwzględniać opinie ludzi i wspierać wspólne wprowadzanie ulepszeń. Zapisz udoskonaloną strategię w bazie danych wraz z odpowiednimi metadanymi, aby śledzić wersje i zmiany.
Po co więc zadawać sobie tyle trudu? Można przecież ręcznie przeglądać wyniki i odpowiednio modyfikować polecenie systemowe. Zaawansowane modele rozumujące mogą jednak udoskonalać strategie na podstawie zarówno kontekstu wyników, jak i opinii ludzi. Ludzie z łatwością dostrzegają wady prostych podejść, ale w złożonych systemach rozwiązujących szerszy zakres problemów staje się to trudne i żmudne.
Modele LLM często potrzebują szczegółowych instrukcji i dodatkowych kroków, aby zgromadzić wiedzę kontekstową, którą ludzie wnoszą do rozwiązywania problemu w naturalny sposób. Liczba wymaganych zadań może szybko rosnąć, gdy system zaczyna rozwiązywać coraz szerszy zakres problemów. Na przykład człowiek rozwiązujący problem programistyczny może intuicyjnie rozumieć otaczającą bazę kodu, podczas gdy LLM musi najpierw „przeczytać” wiele plików.
Kiedy pomaga: załóżmy, że kierujesz zespołem obsługi klienta, a agent AI wstępnie klasyfikuje zgłoszenia. Z czasem SPL może odkryć metodę kategoryzacji, której zespół wcześniej nie brał pod uwagę, i w ten sposób zmniejszyć odsetek eskalacji.
Kiedy nie pomaga: jeśli wymagania dotyczące zgodności lub przepisy z góry określają procesy, na przykład w sprawozdawczości finansowej, SPL może niewiele wnieść, ponieważ kreatywność staje się obciążeniem, a nie atutem.
Kiedy pomaga: na stanowiskach wymagających intensywnych badań (np. w analizie rynku lub strategii produktu) możesz współpracować z AI, udoskonalając jej plany, wzbogacając wyniki i zachowując te ulepszenia do wykorzystania w przyszłości. Każda interakcja zwiększa skuteczność systemu.
Kiedy nie pomaga: jeśli zespół wykorzystuje AI głównie w prostych procesach wymagających minimalnego udziału człowieka (np. przy przetwarzaniu faktur), koszty współpracy mogą przewyższyć korzyści.
Kiedy pomaga: załóżmy, że wchodzisz na nowy rynek i AI musi nagle zacząć obsługiwać pytania dotyczące lokalnych podatków. SPL pozwala szybko wprowadzać nowe reguły i heurystyki w miarę ich pojawiania się, zapobiegając powtarzaniu błędów.
Kiedy nie pomaga: jeśli środowisko jest statyczne, na przykład gdy transkrypcje spotkań są przekształcane w ustandaryzowane podsumowania, ciągłe dostosowywanie przynosi niewielkie korzyści.
W teorii wszystko to brzmi obiecująco, ale wdrożenie SPL wiąże się z realnymi wyzwaniami. Poniżej omawiamy niektóre z najważniejszych:
Na wczesnych etapach tworzenia strategii postępy często ustają: nowe wyniki nie rozwijają poprzednich, a tempo pracy spada. Zwykle wynikają z dwóch głównych problemów:
Rozwiązanie: od początku zakoduj całą dostępną wiedzę biznesową, aby system miał bogatą bazę, z której może czerpać.
Rozwiązanie: opracuj szczegółową skalę ocen uwzględniającą wiele aspektów odpowiedzi, takich jak poprawność, jasność i trafność, a następnie dostosuj próbkowanie do tych sygnałów.
Jeśli system generuje setki strategii, ale otrzymuje niewiele informacji zwrotnych pozwalających odróżnić dobre od złych, próbkowanie szybko staje się trudne do opanowania. Rozwiązaniem jest selekcja.
Podczas udoskonalania repozytorium strategii weź pod uwagę:
Okres ważności: wycofuj strategie po upływie określonego czasu lub osiągnięciu ustalonej liczby generacji.
Ocena: wykorzystuj skalę ocen, aby odfiltrowywać strategie, które stale osiągają słabe wyniki. Połączenie tego kryterium z okresem ważności pozwala zachować wyłącznie podejścia, które z czasem potwierdzają swoją wartość.
Ocena przez LLM: okresowo oceniaj strategie, aby wskazać te, które nie wnoszą już unikatowych spostrzeżeń, ponieważ ich użyteczne elementy prawdopodobnie znalazły się już w nowszych wersjach.
Rozwiązanie: traktuj bazę strategii jak żywy system: regularnie ją porządkuj, aby pozostawała w niej tylko istotna wiedza o wysokiej wartości.
Uczenie się polecenia systemowego jest wciąż na wczesnym etapie rozwoju, ale ma ogromny potencjał. Firmy polegające wyłącznie na statycznych poleceniach lub niekończącym się dostrajaniu napotkają dobrze znane ograniczenia: zawodne systemy, rosnące koszty i zmarnowany wysiłek. SPL pozwala wyrwać się z tego cyklu dzięki tworzeniu systemów, które z czasem się doskonalą i kodują ogólne zasady zamiast pojedynczych poprawek.
SPL wciąż się rozwija, ale kierunek jest jasny: systemy zdolne do samodzielnego uczenia się wyprzedzą te, które tego nie potrafią. Teraz jest czas na eksperymenty: zacznij od małej skali, zapisuj wnioski i buduj fundamenty systemów AI, które doskonalą się z każdą interakcją.