Ați constatat vreodată că o anumită solicitare funcționează bine, pentru ca apoi să înceteze brusc să mai funcționeze?
Ați rămas vreodată blocat într-un ciclu în care modificați constant solicitarea de sistem pentru a îmbunătăți rezultatele, dar nimic nu funcționează?
Învățarea solicitării de sistem ar putea fi exact ceea ce vă trebuie.
Învățarea solicitării de sistem (SPL) este un domeniu de interes emergent în comunitatea IA și a fost popularizată pe scară largă de Andrej Karpathy pe X în luna mai.
Învățarea solicitării de sistem abordează limitele sistemelor IA inflexibile și fragile, care se bazează pe solicitări de sistem statice sau pe configurații greoaie de ajustare fină. Aceasta oferă o altă modalitate de a susține învățarea continuă în sistemele IA.
Înainte de a aprofunda subiectul, să trecem rapid în revistă câteva noțiuni fundamentale despre solicitări.
Când dezvoltăm un agent sau un model personalizat, trebuie să proiectăm mai întâi două componente esențiale:
O solicitare de sistem
O solicitare de utilizator
Solicitările de sistem stabilesc regulile de bază privind comportamentul unui model. Când sunt redactate pentru soluții IA personalizate, acestea încep adesea astfel:
“You are an intelligent assistant. Your role is to perform <insert task here>.
You must not do (A), (B), or (C).”
În schimb, solicitările utilizatorilor conțin de obicei întrebarea utilizatorului și alte informații relevante, precum fusul orar și preferințele acestuia. O solicitare de utilizator ar putea arăta astfel:
I’m in the capital city of Portugal. Can you suggest some things I can do tonight?
Dezvăluirile solicitărilor de sistem au devenit frecvente după lansarea unor modele noi de către marile laboratoare IA, deoarece utilizatorii aplică tehnici de jailbreak roboților conversaționali pentru a le dezvălui instrucțiunile de bază. Un depozit GitHub popular reunește acum multe dintre aceste solicitări de sistem într-un singur loc. Acestea dezvăluie „ingredientul secret” dezvoltat în timp de laboratoarele IA pentru a încuraja comportamentul adecvat al modelelor. De exemplu, solicitarea de sistem GPT-5 divulgată recent (expusă în ChatGPT) conține aproximativ 6.000 de cuvinte, ceea ce arată cât de multe cunoștințe și îndrumări trebuie codificate pentru a modela comportamentul sistemului.
Aceste solicitări de sistem cuprinzătoare acoperă de obicei mai multe domenii esențiale, precum:
Instrucțiuni de căutare
Definițiile instrumentelor
Preferințele utilizatorilor
Instrucțiuni privind citările
Remedieri rapide pentru probleme cunoscute
În practică, dezvoltatorii sistemelor IA personalizate modifică manual și iterativ solicitările de sistem pe măsură ce își testează și perfecționează aplicațiile, folosind în principal evaluări pentru a orienta procesul de îmbunătățire.
Alte modalități de a orienta comportamentul unui model includ:
Inginerie solicitare, inclusiv generarea augmentată prin regăsire (RAG), care controlează conținutul furnizat unui model
Ajustare fină (modificarea directă a ponderilor de bază ale modelului)
Dar dacă ar exista o altă modalitate de a influența comportamentul modelului? Imaginați-vă un sistem care își învață și își perfecționează dinamic propria solicitare de sistem, folosind idei, planuri și strategii generate anterior. Acesta și-ar putea evalua rezultatele pe baza feedbackului utilizatorilor și a evaluărilor de tip LLM ca evaluator.
Gândiți-vă la o problemă de afaceri persistentă pe care doriți să o automatizați folosind un sistem bazat pe agenți. Soluțiile eficiente necesită capacități de raţionament care depășesc automatizarea fluxurilor de lucru elementare. În astfel de cazuri, integrarea unei componente de generare a planurilor în sistemul IA devine esențială. Astfel, sistemul poate lucra în moduri diferite cu mai mulți agenți, în funcție de sarcină. Pașii individuali pot include instrucțiuni pentru accesarea altor agenți în vederea finalizării sarcinilor secundare sau pentru utilizarea unor instrumente.
Notă: Un instrument al agentului este orice funcție externă, API sau resursă pe care un agent IA o poate apela pentru a depăși limitele textului și a efectua acțiuni reale.
Puteți alege să „inițializați” solicitarea de sistem a modelului cu un plan care urmează pașii logici pe care i-ar parcurge o persoană, deși LLM-urile au de obicei nevoie de îndrumări mai precise privind utilizarea instrumentelor, formatarea rezultatelor și alte cerințe similare. Uneori, strategia optimă poate fi neclară sau poate fi vorba despre o problemă care nu a mai fost reevaluată deoarece fusese considerată rezolvată. Aici intervine învățarea solicitării de sistem (SPL).
SPL îmbunătățește iterativ o solicitare de sistem prin integrarea strategiilor generate anterior. Pe măsură ce apar probleme noi, sistemul acumulează treptat cunoștințe și devine mai robust. Gândiți-vă la acest proces ca la elaborarea unui manual pentru rezolvarea problemelor din domeniul dvs.
SPL integrează treptat în solicitarea de sistem informațiile obținute din feedbackul utilizatorilor. Pe măsură ce sistemul se maturizează, puteți descoperi probleme recurente care pot fi sintetizate în principii mai generale și de nivel superior.
Să analizăm mai îndeaproape cum funcționează procesul, pas cu pas:
Începeți cu întrebarea utilizatorului, cerând sistemului să îndeplinească o anumită sarcină.
Dacă sistemul dvs. abordează o singură problemă, puteți adopta o abordare „lacomă”, selectând strategiile cu cele mai mari scoruri din execuțiile anterioare. Alternativ, puteți încuraja explorarea prin eșantionarea dintr-o distribuție care favorizează strategiile bine cotate, dar le include ocazional și pe cele cu scoruri mai mici. Acest lucru este deosebit de util când abia începeți să colectați strategii.
Pentru sistemele concepute să gestioneze categorii diverse de probleme, luați în considerare adăugarea unui strat de clasificare sau folosirea reprezentărilor vectoriale și a similarității cosinus — aceleași tehnici utilizate de obicei în RAG — pentru a identifica abordările relevante. Astfel, puteți selecta strategii potrivite problemei respective, de exemplu strategii adaptate sarcinilor de programare.
Notă: Reprezentările vectoriale folosite împreună cu similaritatea cosinus ne permit să măsurăm cât de strâns sunt corelate două informații, facilitând asocierea documentelor, întrebărilor sau ideilor chiar și atunci când formulările exacte diferă.
Exemplu de punct de pornire pentru o colecție simplificată de strategii destinate problemelor de programare.
Notă: „Strategiile inițiale” prezentate aici au rol ilustrativ. În scenarii reale de programare, acestea ar trebui perfecționate în continuare. Problemele de afaceri de nișă ar necesita colectarea treptată a unor informații suplimentare.
Generation_id (ordine inversă) | Subiect | Scor | Strategy_text | Explicație |
|---|---|---|---|---|
4 | programare | 1 | Înțelege problema, constrângerile și cazurile-limită. Proiectează un algoritm folosind structurile de date potrivite. Validează planul folosind exemple și invariante. Implementează cod curat și ușor de citit. Perfecționează rezultatul prin refactorizare, optimizare și formatare finală. Utilizarea instrumentelor: Când folosești un instrument, explică pe scurt de ce a fost necesar. | Integrează și combină cele mai bune elemente ale celor trei strategii de mai jos. |
3 | programare | 1 | Înțelege problema, constrângerile și cazurile-limită. Proiectează un algoritm folosind structurile de date potrivite. Validează planul folosind exemple și invariante. Implementează cod curat și ușor de citit. Perfecționează rezultatul prin refactorizare, optimizare și formatare finală. | O strategie mai echilibrată, dar care nu oferă îndrumări privind utilizarea instrumentelor. |
2 | programare | -1 | Înțelege problema, constrângerile și cazurile-limită. Proiectează un algoritm folosind datele potrivite. Implementează cod curat și ușor de citit. Utilizarea instrumentelor: când accesezi instrumente, oferă un scurt rezumat al motivului pentru care ai folosit instrumentul respectiv. | O strategie mai bună, care menționează utilizarea instrumentelor, dar care mai poate fi îmbunătățită. |
1 | programare | -1 | Parcurge rapid problema. Rezolvă problema. Creează teste minimale. Trimite orice variantă care rulează. | Menționează testele, dar în ansamblu este o strategie slabă. |
3. După eșantionarea a N strategii, integrați-le în solicitarea de sistem. Astfel, generarea planurilor se bazează pe feedbackul anterior al experților, în loc ca modelul să creeze planuri cu îndrumări minime. Încurajați modelul să „gândească neconvențional” și să adauge pași când este necesar, în loc să copieze pur și simplu strategiile exemplu cuvânt cu cuvânt.
4. Folosind solicitarea de sistem creată dinamic, generați o nouă strategie pentru a răspunde cererii utilizatorului. Acest proces ar trebui să producă sarcini suplimentare care îmbunătățesc rezultatul final. Obiectivul este creativitatea: combinați cele mai bune elemente ale strategiilor anterioare, reuniți pașii care se suprapun și adăugați pași noi și utili acolo unde este necesar.
Notă: Rețineți că temperatura este un parametru care poate fi ajustat pentru a produce rezultate mai variate și mai puțin deterministe, ceea ce este util când se dorește creativitate. Cu o temperatură diferită de zero, fiecare plan generat poate fi diferit.
5. După ce primiți rezultatul modelului, evaluați-l cu ajutorul unui evaluator uman sau al unui LLM evaluator, pe baza unor criterii specifice care definesc o soluție bună pentru problema dvs. Pentru exemplul anterior despre activități în Portugalia, criteriile de evaluare ar putea include:
Concis (un răspuns limitat la o singură propoziție)
Relevanța activității sugerate
Acuratețea locației
6. Pe baza acestei evaluări, folosiți un alt model pentru a perfecționa strategia. O buclă opțională de feedback poate integra contribuția umană și poate susține îmbunătățirile colaborative. Stocați strategia perfecționată în baza de date, împreună cu metadatele necesare pentru urmărirea versiunilor și modificărilor.
Atunci de ce să depuneți tot acest efort? Ați putea analiza manual rezultatele și ajusta corespunzător solicitarea de sistem. Totuși, modelele puternice de raţionament pot perfecționa strategiile folosind atât contextul rezultatului, cât și feedbackul uman. Deși oamenii pot observa cu ușurință defectele abordărilor simple, identificarea lor devine dificilă și anevoioasă în sistemele complexe care acoperă categorii mai ample de probleme.
LLM-urile necesită adesea instrucțiuni detaliate și pași suplimentari pentru a colecta cunoștințele contextuale pe care oamenii le aplică în mod natural unei probleme. Numărul sarcinilor necesare poate crește rapid pe măsură ce sistemul se extinde pentru a aborda categorii mai ample de probleme. De exemplu, oamenii care rezolvă probleme de programare pot înțelege intuitiv baza de cod din jur, în timp ce un LLM ar putea fi nevoit să „citească” mai întâi mai multe fișiere.
Când ajută: Imaginați-vă că administrați o echipă de asistență pentru clienți, iar un agent IA sortează tichetele. În timp, SPL ar putea descoperi o metodă de clasificare la care echipa dvs. nu s-a gândit, reducând rata escaladărilor.
Când nu ajută: Dacă cerințele de conformitate sau reglementările vă definesc deja fluxurile de lucru, ca în cazul raportării financiare, SPL poate oferi puțină valoare, deoarece creativitatea devine un risc, nu un avantaj.
Când ajută: În rolurile care presupun cercetare intensivă, precum analiza pieței sau strategia de produs, puteți colabora cu IA perfecționându-i planurile, îmbogățindu-i rezultatele și integrând aceste îmbunătățiri pentru utilizări viitoare. Fiecare interacțiune sporește eficiența sistemului.
Când nu ajută: Dacă echipa dvs. folosește IA mai ales pentru fluxuri de lucru simple, în care contribuția umană este minimă, precum procesarea facturilor, efortul de colaborare poate depăși beneficiile.
Când ajută: Să presupunem că vă extindeți într-o regiune nouă, iar IA trebuie să răspundă brusc întrebărilor despre taxele locale. SPL vă permite să codificați rapid reguli și euristici noi pe măsură ce apar, prevenind repetarea erorilor.
Când nu ajută: Dacă mediul dvs. este static, de exemplu când transformați transcrierile ședințelor în rezumate standardizate, adaptarea continuă oferă beneficii minime.
În teorie, toate acestea par promițătoare, însă implementarea SPL implică provocări reale. Mai jos discutăm câteva dintre cele mai importante:
În primele etape ale generării strategiilor, progresul stagnează adesea: rezultatele noi nu valorifică rezultatele anterioare, iar ritmul încetinește. De obicei, acest lucru are două cauze principale:
Soluție: Codificați de la început toate cunoștințele de afaceri disponibile, astfel încât sistemul să aibă o bază solidă pe care să o valorifice.
Soluție: Concepeți o grilă nuanțată care evaluează mai multe aspecte ale unui răspuns, precum acuratețea, claritatea și relevanța, și ajustați eșantionarea pentru a reflecta aceste semnale.
Dacă sistemul generează sute de strategii, dar primește prea puțin feedback pentru a le deosebi pe cele bune de cele slabe, eșantionarea devine rapid greu de gestionat. Soluția este eliminarea strategiilor neperformante.
Când vă perfecționați colecția de strategii, luați în considerare:
Durata de viață: Retrageți strategiile după ce depășesc un interval de timp sau un număr de generații prestabilit.
Scorul: Folosiți grila de evaluare pentru a elimina strategiile care au constant performanțe slabe. Combinarea acestui criteriu cu durata de viață asigură păstrarea doar a abordărilor care își dovedesc valoarea în timp.
Evaluarea prin LLM: Evaluați periodic strategiile pentru a le identifica pe cele care nu mai oferă perspective unice, deoarece elementele lor utile au fost probabil integrate deja în versiuni mai noi.
Soluție: Tratați baza de date cu strategii ca pe un sistem viu: eliminați periodic elementele inutile, astfel încât să rămână doar cunoștințele relevante și valoroase.
Învățarea solicitării de sistem este încă la început, însă are un potențial enorm. Companiile care se bazează exclusiv pe solicitări statice sau pe ajustări fine nesfârșite se vor confrunta cu limite cunoscute: sisteme fragile, costuri în creștere și efort irosit. SPL oferă o ieșire din acest ciclu prin construirea unor sisteme care se îmbunătățesc în timp și codifică principii generale, nu remedieri izolate.
SPL este încă în curs de dezvoltare, dar direcția sa este clară: sistemele capabile să învețe din propriile rezultate le vor depăși pe cele care nu pot face acest lucru. Acum este momentul să experimentați, să începeți la scară mică, să valorificați lecțiile învățate și să puneți bazele unor sisteme IA care se îmbunătățesc cu fiecare interacțiune.