¿Alguna vez has visto cómo un prompt que funcionaba bien deja de hacerlo de repente?
¿Alguna vez te has visto en un ciclo de parchear constantemente el prompt del sistema para mejorar los resultados, pero nada funciona?
El aprendizaje de prompts del sistema puede ser justo lo que necesitas.
El aprendizaje de prompts del sistema (SPL) es un área que suscita cada vez más interés en la comunidad de la IA y que Andrej Karpathy popularizó ampliamente en X en mayo.
El aprendizaje de prompts del sistema aborda las limitaciones de los sistemas de IA rígidos y frágiles que dependen de prompts del sistema estáticos o de configuraciones de ajuste fino difíciles de gestionar. Ofrece otra forma de favorecer el aprendizaje continuo en los sistemas de IA.
Antes de entrar en materia, repasemos brevemente algunos fundamentos de los prompts.
Al desarrollar un agente o un modelo personalizado, primero debemos diseñar dos componentes clave:
Un prompt del sistema
Un prompt del usuario
Los prompts del sistema establecen las reglas básicas que debe seguir un modelo. Cuando se redactan para soluciones de IA personalizadas, suelen comenzar con algo así:
«Eres un asistente inteligente. Tu función es realizar <inserte aquí la tarea>.
No debes hacer (A), (B) ni (C)».
En cambio, los prompts del usuario suelen contener una consulta del usuario y otra información pertinente, como su zona horaria y sus preferencias. Un prompt del usuario podría ser así:
Estoy en la capital de Portugal. ¿Puedes sugerirme algunas cosas que pueda hacer esta noche?
Las filtraciones de prompts del sistema se han vuelto habituales tras el lanzamiento de nuevos modelos por parte de los principales laboratorios de IA, ya que los usuarios aplican jailbreaks a los chatbots para revelar sus instrucciones internas. Un popular repositorio de GitHub recopila ahora muchos de estos prompts del sistema en un solo lugar. Estos revelan la «fórmula secreta» que los laboratorios de IA han desarrollado con el tiempo para fomentar un comportamiento adecuado de los modelos. Por ejemplo, el prompt del sistema de GPT-5 filtrado recientemente (expuesto en ChatGPT) contiene unas 6000 palabras, lo que ilustra cuánto conocimiento y orientación deben codificarse para determinar el comportamiento del sistema.
Estos exhaustivos prompts del sistema suelen abarcar varias áreas clave, como:
Instrucciones de búsqueda
Definiciones de herramientas
Preferencias del usuario
Instrucciones para las citas
Parches rápidos para problemas conocidos
En la práctica, los desarrolladores de sistemas de IA personalizados parchean manualmente los prompts del sistema de forma iterativa mientras prueban y perfeccionan sus aplicaciones, guiándose principalmente por evaluaciones durante este proceso de mejora.
Otras formas de orientar el comportamiento de un modelo son:
Ingeniería de prompts, incluida la generación aumentada por recuperación (RAG), que controla el contenido proporcionado a un modelo
Ajuste fino (modificación directa de los pesos subyacentes del modelo)
¿Y si hubiera otra forma de influir en el comportamiento del modelo? Imagina un sistema que aprende y perfecciona dinámicamente su propio prompt del sistema mediante pensamientos, planes y estrategias generados anteriormente. Podría basarse tanto en los comentarios de los usuarios como en evaluaciones de tipo LLM como juez para valorar sus resultados.
Piensa en un reto empresarial persistente que quieras automatizar mediante un sistema basado en agentes. Las soluciones eficaces exigen capacidades de razonamiento que van más allá de la automatización básica de flujos de trabajo. En estos casos, es esencial incorporar a tu sistema de IA un componente que genere planes. Esto permite que el sistema trabaje de distintas maneras con varios agentes, según la tarea. Cada paso puede incluir instrucciones para acceder a otros agentes a fin de completar subtareas o para usar herramientas.
Nota: una herramienta de agente es cualquier función externa, API o recurso que un agente de IA puede utilizar para ir más allá del texto y realizar acciones reales.
Puedes optar por «sembrar» el prompt del sistema del modelo con un plan que siga los pasos lógicos que daría una persona, aunque los LLM suelen necesitar indicaciones más específicas sobre el uso de herramientas, el formato de salida y otros requisitos relacionados. A veces, la estrategia óptima puede no estar clara o quizá estés abordando un problema que no se ha vuelto a evaluar porque antes se daba por resuelto. Aquí es donde entra en juego el aprendizaje de prompts del sistema (SPL).
SPL mejora de forma iterativa un prompt del sistema al incorporar estrategias generadas anteriormente. A medida que surgen nuevos problemas, el sistema acumula conocimientos de forma gradual y se vuelve más robusto. Es como crear un manual para resolver los problemas de tu ámbito.
SPL incorpora gradualmente al prompt del sistema la información obtenida de los comentarios de los usuarios. A medida que el sistema madura, puedes descubrir problemas recurrentes que se pueden sintetizar en principios más generales y de mayor nivel.
Veamos con más detalle cómo funciona el proceso, paso a paso:
Comienza con la consulta del usuario y pide al sistema que realice una tarea específica.
Si tu sistema solo aborda un problema, puedes adoptar un enfoque «voraz» y seleccionar las estrategias con mayor puntuación de ejecuciones anteriores. También puedes fomentar la exploración mediante muestras de una distribución que favorezca las estrategias mejor valoradas, pero incluya ocasionalmente otras con menor puntuación. Esto resulta especialmente útil cuando acabas de empezar a recopilar estrategias.
Para sistemas diseñados para abordar diversos conjuntos de problemas, considera añadir una capa de clasificación o usar embeddings y similitud del coseno —las mismas técnicas empleadas habitualmente en RAG— para identificar enfoques pertinentes. Esto te ayuda a seleccionar estrategias adecuadas para el problema concreto; por ejemplo, estrategias adaptadas a tareas de programación.
Nota: los embeddings utilizados con la similitud del coseno permiten medir hasta qué punto se relacionan dos elementos de información, lo que facilita asociar documentos, consultas o ideas aunque su redacción exacta sea diferente.
Ejemplo de punto de partida para un repositorio simplificado de estrategias destinado a resolver problemas de programación.
Nota: las «estrategias iniciales» aquí mostradas son meramente ilustrativas. En situaciones reales de programación, las perfeccionaríamos más. Los problemas empresariales especializados exigirían recopilar más información con el tiempo.
Generation_id (orden inverso) | Tema | Puntuación | Strategy_text | Explicación |
|---|---|---|---|---|
4 | programación | 1 | Comprende el problema, las restricciones y los casos límite. Diseña un algoritmo con las estructuras de datos adecuadas. Valida el plan mediante ejemplos e invariantes. Implementa código limpio y legible. Perfecciona el resultado mediante refactorización, optimización y formato final. Uso de herramientas: cuando utilices una herramienta, explica brevemente por qué era necesaria. | Incorpora y combina los elementos más sólidos de las tres estrategias siguientes. |
3 | programación | 1 | Comprende el problema, las restricciones y los casos límite. Diseña un algoritmo con las estructuras de datos adecuadas. Valida el plan mediante ejemplos e invariantes. Implementa código limpio y legible. Perfecciona el resultado mediante refactorización, optimización y formato final. | Una estrategia más completa, pero sin indicaciones sobre el uso de herramientas. |
2 | programación | -1 | Comprende el problema, las restricciones y los casos límite. Diseña un algoritmo con los datos adecuados. Implementa código limpio y legible. Uso de herramientas: cuando accedas a una herramienta, resume brevemente por qué la has utilizado. | Una estrategia mejor que menciona el uso de herramientas, aunque aún podría mejorar. |
1 | programación | -1 | Lee el problema por encima. Resuelve el problema. Crea pruebas mínimas. Entrega cualquier cosa que funcione. | Menciona las pruebas, pero en conjunto es una estrategia deficiente. |
3. Tras obtener una muestra de N, incorpórala al prompt del sistema. Así, la generación de planes se basa en comentarios previos de expertos, en lugar de dejar que el modelo cree planes con una orientación mínima. Anima al modelo a «pensar de forma innovadora» y añadir pasos cuando sea necesario, en vez de limitarse a copiar literalmente las estrategias de ejemplo.
4. Con el prompt del sistema creado dinámicamente, genera una nueva estrategia para atender la solicitud del usuario. Este proceso debería generar tareas adicionales que mejoren el resultado final. El objetivo es fomentar la creatividad: combina los elementos más sólidos de las estrategias anteriores, unifica los pasos que se solapen y añade otros nuevos que resulten útiles cuando sea necesario.
Nota: recuerda que la temperatura es un parámetro ajustable que permite obtener resultados más variados y menos deterministas, lo que resulta útil cuando se busca creatividad. Con una temperatura distinta de cero, cada plan generado puede ser diferente.
5. Tras recibir el resultado del modelo, haz que una persona o un LLM juez lo evalúe según criterios específicos que definan una buena solución para tu problema. Para el ejemplo de actividades en Portugal mencionado antes, los criterios de evaluación podrían incluir:
Concisión (una respuesta limitada a una frase)
Pertinencia de la actividad sugerida
Exactitud de la ubicación
6. A partir de esta evaluación, usa otro modelo para perfeccionar la estrategia. Un ciclo de retroalimentación opcional puede incorporar aportaciones humanas y facilitar mejoras colaborativas. Guarda la estrategia perfeccionada en tu base de datos con los metadatos adecuados para llevar un registro de las versiones y los cambios.
Entonces, ¿por qué tomarse tantas molestias? Podrías revisar los resultados manualmente y ajustar el prompt del sistema en consecuencia. Sin embargo, los modelos de razonamiento potentes pueden perfeccionar las estrategias mediante el contexto de los resultados y los comentarios humanos. Aunque las personas detectan con facilidad los defectos de los planteamientos sencillos, identificarlos resulta difícil y tedioso en sistemas complejos que abordan conjuntos de problemas más amplios.
Los LLM suelen necesitar instrucciones detalladas y pasos adicionales para recabar el conocimiento contextual que las personas aportan de forma natural a un problema. El número de tareas necesarias puede crecer rápidamente a medida que un sistema se amplía para abordar conjuntos de problemas más diversos. Por ejemplo, una persona que resuelve problemas de programación puede comprender intuitivamente el código circundante, mientras que un LLM quizá deba «leer» primero varios archivos.
Cuándo resulta útil: imagina que diriges un equipo de atención al cliente y un agente de IA se encarga de clasificar las incidencias. Con el tiempo, SPL podría descubrir un método de clasificación que tu equipo no había contemplado y reducir así la tasa de derivaciones.
Cuándo no resulta útil: si los requisitos normativos o de cumplimiento ya definen tus flujos de trabajo, como ocurre con los informes financieros, SPL puede aportar poco valor porque la creatividad pasa de ser una ventaja a convertirse en un riesgo.
Cuándo resulta útil: en puestos que exigen mucha investigación, como inteligencia de mercado o estrategia de producto, puedes colaborar con la IA perfeccionando sus planes, enriqueciendo sus resultados e incorporando estas mejoras para usos futuros. Cada interacción mejora la eficacia del sistema.
Cuándo no resulta útil: si tu equipo usa la IA principalmente en flujos de trabajo sencillos con poca intervención humana —por ejemplo, para procesar facturas—, el esfuerzo de colaboración puede superar sus ventajas.
Cuándo resulta útil: supongamos que te expandes a una nueva región y la IA debe atender de pronto consultas sobre la fiscalidad local. SPL permite codificar rápidamente las nuevas reglas y heurísticas conforme surgen, lo que evita errores reiterados.
Cuándo no resulta útil: si tu entorno es estático, como al convertir transcripciones de reuniones en resúmenes normalizados, la adaptación constante apenas aporta ventajas.
En teoría, todo esto parece prometedor, pero implementar SPL plantea retos reales. A continuación, analizamos algunos de los principales:
En las fases iniciales de generación de estrategias, el progreso suele estancarse: los nuevos resultados no aprovechan los anteriores y el avance pierde impulso. Esto suele deberse a dos problemas principales:
Solución: codifica desde el principio todo el conocimiento empresarial disponible para que el sistema disponga de una base sólida.
Solución: diseña una rúbrica detallada que puntúe diversos aspectos de una respuesta, como la exactitud, la claridad y la pertinencia, y ajusta el muestreo para reflejar estas señales.
Si el sistema genera cientos de estrategias pero recibe pocos comentarios para distinguir las buenas de las malas, el muestreo se vuelve rápidamente inmanejable. La solución es la poda.
Al perfeccionar tu repositorio de estrategias, ten en cuenta:
Vida útil: retira las estrategias cuando superen un plazo o un número de generaciones definidos.
Puntuación: utiliza la rúbrica de evaluación para descartar las estrategias que obtengan sistemáticamente malos resultados. Combinar este criterio con la vida útil garantiza que solo conserves los enfoques que demuestren su valor con el tiempo.
Evaluación mediante un LLM: evalúa periódicamente las estrategias para identificar las que ya no aporten ideas únicas, pues es probable que sus elementos útiles ya se hayan incorporado a versiones más recientes.
Solución: trata la base de datos de estrategias como un sistema vivo: pódala con regularidad para conservar únicamente conocimientos pertinentes y valiosos.
El aprendizaje de prompts del sistema aún está dando sus primeros pasos, pero posee un potencial enorme. Las empresas que dependan exclusivamente de prompts estáticos o de un ajuste fino interminable se toparán con limitaciones conocidas: sistemas frágiles, costes crecientes y esfuerzo desaprovechado. SPL permite salir de ese ciclo mediante sistemas que mejoran con el tiempo y codifican principios de alto nivel en lugar de parches aislados.
SPL aún está surgiendo, pero su rumbo es claro: los sistemas capaces de aprender de sí mismos superarán a los que no lo sean. Este es el momento de experimentar, empezar poco a poco, registrar lo aprendido y sentar las bases de sistemas de IA que mejoren con cada interacción.