Alguna vegada heu trobat una indicació que funcionava bé i que, de sobte, ha deixat de funcionar?
Alguna vegada us heu quedat atrapats en un cicle de retocs constants de la indicació del sistema per intentar millorar els resultats, però res no ha funcionat?
L'aprenentatge de la indicació del sistema pot ser just el que necessiteu.
L'aprenentatge de la indicació del sistema (SPL) és un àmbit d'interès emergent dins la comunitat de la IA i Andrej Karpathy el va popularitzar àmpliament a X al maig.
L'aprenentatge de la indicació del sistema aborda les limitacions dels sistemes d'IA inflexibles i fràgils que depenen d'indicacions del sistema estàtiques o de configuracions d'ajust fi difícils de gestionar. Ofereix una altra manera de facilitar l'aprenentatge continu dels sistemes d'IA.
Abans d'entrar-hi de ple, repassem breument alguns conceptes bàsics sobre les indicacions.
Quan desenvolupem un agent o un model personalitzat, primer hem de dissenyar dos components clau:
Una indicació del sistema
Una indicació de l'usuari
Les indicacions del sistema estableixen les regles bàsiques sobre com s'ha de comportar un model. Quan s'escriuen per a solucions d'IA personalitzades, sovint comencen així:
"You are an intelligent assistant. Your role is to perform <insert task here>.
You must not do (A), (B), or (C)."
En canvi, les indicacions de l'usuari solen contenir la consulta de l'usuari i altra informació rellevant, com ara el seu fus horari i les seves preferències. Una indicació de l'usuari podria ser així:
I'm in the capital city of Portugal. Can you suggest some things I can do tonight?
Les filtracions d'indicacions del sistema s'han tornat habituals després del llançament de nous models dels principals laboratoris d'IA, ja que els usuaris forcen els bots conversacionals a eludir les proteccions de seguretat per revelar-ne les instruccions subjacents. Ara, un repositori popular de GitHub recopila moltes d'aquestes indicacions del sistema en un sol lloc. Revelen la "fórmula secreta" que els laboratoris d'IA han desenvolupat amb el temps per fomentar un comportament adequat dels models. Per exemple, la indicació del sistema de GPT-5 filtrada recentment (exposada dins de ChatGPT) conté unes 6.000 paraules, fet que il·lustra la quantitat de coneixement i orientació que cal codificar per definir el comportament del sistema.
Aquestes indicacions del sistema exhaustives solen cobrir diverses àrees clau, com ara:
Instruccions de cerca
Definicions d'eines
Preferències de l'usuari
Instruccions de citació
Correccions ràpides per a problemes coneguts
A la pràctica, els desenvolupadors de sistemes d'IA personalitzats retoquen manualment i de manera iterativa les indicacions del sistema mentre proven i perfeccionen les aplicacions, principalment amb avaluacions que orienten aquest procés de millora.
Altres maneres d'orientar el comportament d'un model són:
L'enginyeria d'indicacions, inclosa la generació augmentada per recuperació (RAG), que controla el contingut proporcionat a un model
L'ajust fi (la modificació directa dels pesos subjacents del model)
I si hi hagués una altra manera d'influir en el comportament del model? Imagineu un sistema que aprèn i perfecciona dinàmicament la seva pròpia indicació del sistema mitjançant reflexions, plans i estratègies generats anteriorment. Podria recórrer tant als comentaris dels usuaris com a les avaluacions d'LLM com a jutge per valorar els resultats.
Penseu en un repte empresarial persistent que vulgueu automatitzar mitjançant un sistema d'agents. Les solucions eficaces requereixen capacitats de raonament que van més enllà de l'automatització bàsica de fluxos de treball. En aquests casos, és essencial incorporar al sistema d'IA un component que generi plans. Això permet que el sistema treballi de diferents maneres amb diversos agents, segons la tasca. Els passos individuals poden incloure instruccions per accedir a altres agents que completin subtasques o per utilitzar eines.
Nota: Una eina d'agent és qualsevol funció, API o recurs extern que un agent d'IA pot cridar per anar més enllà del text i dur a terme accions reals.
Podeu optar per «sembrar» la indicació del sistema del model amb un pla que segueixi els passos lògics que faria una persona, tot i que els LLM solen necessitar orientacions més específiques sobre l'ús d'eines, el format dels resultats i altres requisits relacionats. De vegades, l'estratègia òptima pot no ser clara, o potser esteu abordant un problema que no s'ha tornat a avaluar perquè abans es considerava resolt. Aquí és on entra en joc l'aprenentatge de la indicació del sistema (SPL).
L'SPL millora iterativament una indicació del sistema incorporant-hi estratègies generades anteriorment. A mesura que sorgeixen problemes nous, el sistema acumula coneixement gradualment i esdevé més robust. És com crear un manual per resoldre problemes del vostre àmbit.
L'SPL incorpora gradualment a la indicació del sistema els coneixements extrets dels comentaris dels usuaris. A mesura que el sistema madura, podeu descobrir problemes recurrents que es poden sintetitzar en principis més generals i d'alt nivell.
Vegem més detalladament com funciona el procés, pas a pas:
Comenceu amb la consulta de l'usuari i demaneu al sistema que executi una tasca concreta.
Si el sistema només aborda un problema, podeu adoptar un enfocament «voraç» i seleccionar les estratègies amb més puntuació d'execucions anteriors. També podeu fomentar l'exploració fent un mostreig d'una distribució que prioritzi les estratègies ben valorades, però que de tant en tant n'inclogui d'altres amb una valoració inferior. Això és especialment útil quan tot just comenceu a recopilar estratègies.
Per als sistemes dissenyats per gestionar conjunts de problemes diversos, considereu afegir una capa de classificació o utilitzar incrustacions i similitud del cosinus —les mateixes tècniques emprades habitualment en RAG— per identificar enfocaments rellevants. Això ajuda a seleccionar estratègies adequades per al problema concret, com ara estratègies adaptades a tasques de programació.
Nota: Les incrustacions utilitzades amb la similitud del cosinus permeten mesurar fins a quin punt es relacionen dues informacions, cosa que facilita associar documents, consultes o idees encara que la redacció exacta sigui diferent.
Exemple de punt de partida per a un repositori simplificat d'estratègies per resoldre problemes de programació.
Nota: Les «estratègies inicials» que es mostren aquí són il·lustratives. En situacions de programació reals, les perfeccionaríem encara més. Els problemes empresarials especialitzats requeririen recopilar més coneixements amb el temps.
Generation_id (ordre invers) | Tema | Puntuació | Strategy_text | Explicació |
|---|---|---|---|---|
4 | programació | 1 | Entendre el problema, les restriccions i els casos límit. Dissenyar un algorisme amb les estructures de dades adequades. Validar el pla amb exemples i invariants. Implementar codi net i llegible. Perfeccionar-lo mitjançant refacció, optimització i format final. Ús d'eines: Quan feu servir una eina, expliqueu breument per què ha calgut. | Incorpora i combina els elements més sòlids de les tres estratègies següents. |
3 | programació | 1 | Entendre el problema, les restriccions i els casos límit. Dissenyar un algorisme amb les estructures de dades adequades. Validar el pla amb exemples i invariants. Implementar codi net i llegible. Perfeccionar-lo mitjançant refacció, optimització i format final. | Una estratègia més completa, però no inclou orientacions sobre l'ús d'eines. |
2 | programació | -1 | Entendre el problema, les restriccions i els casos límit. Dissenyar un algorisme amb les dades adequades. Implementar codi net i llegible. Ús d'eines: quan accediu a eines, feu un resum breu del motiu pel qual heu utilitzat aquella eina. | Una estratègia millor que esmenta l'ús d'eines, però encara es podria millorar. |
1 | programació | -1 | Llegir el problema per sobre. Resoldre el problema. Crear proves mínimes. Lliurar qualsevol cosa que funcioni. | Esmenta les proves, però en conjunt és una estratègia feble. |
3. Després de mostrejar N estratègies, incorporeu-les a la indicació del sistema. Això fonamenta la generació de plans en comentaris previs d'experts, en lloc de deixar que el model creï plans amb una orientació mínima. Animeu el model a «pensar de manera creativa» i a afegir passos quan calgui, en lloc de limitar-se a copiar literalment les estratègies de mostra.
4. Amb la indicació del sistema creada dinàmicament, genereu una nova estratègia per atendre la petició de l'usuari. Aquest procés hauria de generar tasques addicionals que millorin el resultat final. L'objectiu és la creativitat: combineu els elements més sòlids de les estratègies anteriors, unifiqueu els passos que se solapen i afegiu passos nous útils quan calgui.
Nota: Recordeu que la temperatura és un paràmetre que es pot ajustar per obtenir resultats més variats i menys deterministes, cosa útil quan es busca creativitat. Amb una temperatura diferent de zero, cada pla generat pot ser diferent.
5. Després de rebre el resultat del model, avalueu-lo amb una persona avaluadora o un LLM com a jutge, d'acord amb criteris específics que defineixin una bona solució al problema. Per a l'exemple d'activitats a Portugal esmentat abans, els criteris d'avaluació podrien incloure:
Concisió (una resposta limitada a una frase)
Rellevància de l'activitat suggerida
Precisió de la ubicació
6. A partir d'aquesta avaluació, feu servir un altre model per perfeccionar l'estratègia. Un bucle de retroacció opcional pot incorporar aportacions humanes i facilitar millores col·laboratives. Deseu l'estratègia perfeccionada a la base de dades amb les metadades adequades per fer un seguiment de les versions i els canvis.
Per què cal fer tot aquest esforç? Podríeu revisar manualment els resultats i ajustar la indicació del sistema en conseqüència. Tanmateix, els models de raonament potents poden perfeccionar les estratègies mitjançant el context dels resultats i els comentaris humans. Tot i que les persones detecten fàcilment els defectes dels enfocaments senzills, identificar-los esdevé difícil i tediós en sistemes complexos que aborden conjunts de problemes més amplis.
Els LLM sovint necessiten instruccions detallades i passos addicionals per reunir el coneixement contextual que les persones aporten de manera natural a un problema. El nombre de tasques necessàries pot créixer ràpidament a mesura que el sistema s'amplia per abordar conjunts de problemes més diversos. Per exemple, una persona que resol problemes de programació pot entendre intuïtivament el codi circumdant, mentre que un LLM pot necessitar primer «llegir» diversos fitxers.
Quan és útil: Imagineu que dirigiu un equip d'atenció al client i que un agent d'IA s'encarrega de classificar els tiquets. Amb el temps, l'SPL podria descobrir un mètode de categorització que l'equip no havia considerat i reduir la taxa d'escalats.
Quan no ho és: Si els requisits de compliment o la normativa ja defineixen els fluxos de treball, com en els informes financers, l'SPL pot aportar poc valor perquè la creativitat esdevé un inconvenient en lloc d'un avantatge.
Quan és útil: En funcions que exigeixen molta recerca, com ara la intel·ligència de mercat o l'estratègia de producte, podeu col·laborar amb la IA perfeccionant-ne els plans, enriquint-ne els resultats i incorporant aquestes millores per al futur. Cada interacció augmenta l'eficàcia del sistema.
Quan no ho és: Si l'equip utilitza la IA principalment en fluxos de treball senzills amb una intervenció humana mínima, com ara processar factures, l'esforç de col·laboració pot superar-ne el benefici.
Quan és útil: Suposeu que us expandiu a una regió nova i que, de sobte, la IA ha d'atendre consultes sobre impostos locals. L'SPL permet codificar ràpidament les noves regles i heurístiques a mesura que apareixen, i evita errors repetits.
Quan no ho és: Si l'entorn és estàtic, com quan es converteixen transcripcions de reunions en resums estandarditzats, l'adaptació constant aporta molt pocs beneficis.
En teoria, tot això sembla prometedor, però implementar l'SPL planteja reptes reals. A continuació, n'examinem alguns dels principals:
En les fases inicials de generació d'estratègies, el progrés sovint s'estanca: els resultats nous no aprofiten els anteriors i el ritme s'alenteix. Normalment, això es deu a dos problemes principals:
Solució: Codifiqueu d'entrada tot el coneixement empresarial disponible perquè el sistema disposi d'una base sòlida.
Solució: Dissenyeu una rúbrica matisada que puntuï diversos aspectes de la resposta, com ara la precisió, la claredat i la rellevància, i ajusteu el mostreig perquè reflecteixi aquests senyals.
Si el sistema genera centenars d'estratègies però rep pocs comentaris per distingir les bones de les dolentes, el mostreig es torna ràpidament inabastable. La solució és la poda.
Quan perfeccioneu el repositori d'estratègies, tingueu en compte:
Vida útil: Retireu les estratègies quan superin un període de temps o un nombre de generacions determinats.
Puntuació: Feu servir la rúbrica d'avaluació per descartar les estratègies que ofereixin un rendiment baix de manera constant. Combinar aquest criteri amb la vida útil garanteix que només conserveu els enfocaments que demostren el seu valor al llarg del temps.
Avaluació amb LLM: Valoreu periòdicament les estratègies per identificar les que ja no aporten perspectives úniques, ja que probablement els seus elements útils s'han incorporat a versions més noves.
Solució: Tracteu la base de dades d'estratègies com un sistema viu: podeu-la regularment perquè només hi quedi coneixement rellevant i valuós.
L'aprenentatge de la indicació del sistema encara és a les beceroles, però té un potencial enorme. Les empreses que depenguin exclusivament d'indicacions estàtiques o d'un ajust fi interminable toparan amb limitacions conegudes: sistemes fràgils, costos creixents i esforços desaprofitats. L'SPL ofereix una sortida a aquest cicle mitjançant sistemes que milloren amb el temps i codifiquen principis d'alt nivell en lloc de correccions aïllades.
L'SPL encara està emergint, però la seva trajectòria és clara: els sistemes capaços d'aprendre de si mateixos superaran els que no en siguin capaços. Ara és el moment d'experimentar, començar a petita escala, recollir els aprenentatges i establir les bases de sistemes d'IA que millorin amb cada interacció.