Aprendizado de prompt do sistema: um novo paradigma para sistemas de IA

Você já percebeu que determinado prompt funciona bem, mas de repente deixa de funcionar?

Você já ficou preso em um ciclo de ajustes constantes no prompt do sistema, tentando melhorar os resultados, mas sem conseguir fazer nada funcionar?

O aprendizado de prompt do sistema pode ser exatamente o que você precisa.

O aprendizado de prompt do sistema (SPL) é uma área de interesse emergente na comunidade de IA e foi amplamente popularizado por Andrej Karpathy no X em maio.

O aprendizado de prompt do sistema supera as limitações de sistemas de IA inflexíveis e frágeis que dependem de prompts de sistema estáticos ou de configurações de ajuste fino difíceis de gerenciar. Ele oferece outra maneira de promover o aprendizado contínuo em sistemas de IA.

Antes de nos aprofundarmos, vamos recapitular brevemente alguns fundamentos da criação de prompts.

Ao desenvolver um agente ou modelo personalizado, primeiro precisamos criar dois componentes essenciais:

1. Um prompt do sistema

2. Um prompt do usuário

Os prompts do sistema definem as regras básicas de comportamento de um modelo. Quando são escritos para soluções personalizadas de IA, geralmente começam mais ou menos assim:

"You are an intelligent assistant. Your role is to perform <insert task here>.

You must not do (A), (B), or (C)."

Em contrapartida, os prompts do usuário costumam conter a solicitação do usuário e outras informações relevantes, como seu fuso horário e suas preferências. Um prompt do usuário poderia ser assim:

I'm in the capital city of Portugal. Can you suggest some things I can do tonight?

Vazamentos de prompts do sistema tornaram-se comuns após o lançamento de novos modelos por grandes laboratórios de IA, pois usuários fazem jailbreak em chatbots para revelar suas instruções internas. Um repositório popular no GitHub agora reúne muitos desses prompts do sistema em um só lugar. Eles revelam o "ingrediente secreto" que os laboratórios de IA desenvolveram ao longo do tempo para incentivar o comportamento adequado dos modelos. Por exemplo, o prompt do sistema do GPT-5 vazado recentemente (exposto no ChatGPT) contém cerca de 6 mil palavras, o que mostra quanto conhecimento e orientação precisam ser codificados para moldar o comportamento do sistema.

Esses prompts abrangentes do sistema geralmente cobrem várias áreas essenciais, como:

• Instruções de pesquisa

• Definições de ferramentas

• Preferências do usuário

• Instruções de citação

• Correções rápidas para problemas conhecidos

Na prática, desenvolvedores de sistemas personalizados de IA corrigem manualmente e de forma iterativa os prompts do sistema enquanto testam e refinam seus aplicativos, usando principalmente avaliações para orientar esse processo de melhoria.

Outras maneiras de orientar o comportamento de um modelo incluem:

• Engenharia de prompt, incluindo geração aumentada por recuperação (RAG), que controla o conteúdo fornecido a um modelo

• Ajuste fino (alteração direta dos pesos subjacentes do modelo)

E se houvesse outra maneira de influenciar o comportamento do modelo? Imagine um sistema que aprende e refina dinamicamente o próprio prompt do sistema usando pensamentos, planos e estratégias gerados anteriormente. Ele poderia usar tanto o feedback dos usuários quanto avaliações de LLM como avaliador para analisar seus resultados.

Pense em um desafio empresarial recorrente que você queira automatizar usando um sistema com agentes de IA. Soluções eficazes exigem recursos de raciocínio que vão além da automação básica de fluxos de trabalho. Nesses casos, é essencial incorporar à sua solução de IA um componente de geração de planos. Isso permite que o sistema trabalhe com vários agentes de diferentes maneiras, dependendo da tarefa. As etapas individuais podem incluir instruções para acessar outros agentes a fim de concluir subtarefas ou usar ferramentas.

Observação: uma ferramenta de agente é qualquer função externa, API ou recurso que um agente de IA pode acionar para ir além do texto e realizar ações concretas.

Você pode optar por "semear" o prompt do sistema do modelo com um plano que siga as etapas lógicas adotadas por uma pessoa, embora LLMs geralmente precisem de orientações mais específicas sobre o uso de ferramentas, a formatação da saída e outros requisitos. Às vezes, a estratégia ideal não é clara, ou talvez você esteja lidando com um problema que não foi reavaliado por já ter sido considerado resolvido. É aí que entra o aprendizado de prompt do sistema (SPL).

O SPL melhora iterativamente um prompt do sistema ao incorporar estratégias geradas anteriormente. À medida que surgem novos problemas, o sistema acumula conhecimento gradualmente e se torna mais robusto. Pense nisso como a criação de um manual para resolver problemas em seu domínio.

O SPL incorpora gradualmente ao prompt do sistema insights provenientes do feedback dos usuários. À medida que seu sistema amadurece, você pode descobrir problemas recorrentes que podem ser sintetizados em princípios mais gerais e de alto nível.

Vamos analisar mais de perto como o processo funciona, passo a passo:

1. Comece pela solicitação do usuário, pedindo ao sistema que execute uma tarefa específica.

2. 1. Se o sistema tratar apenas de um problema, você pode adotar uma abordagem "gulosa", selecionando as estratégias com maior pontuação nas execuções anteriores. Como alternativa, você pode incentivar a exploração fazendo amostragens de uma distribuição que favoreça estratégias bem avaliadas, mas inclua ocasionalmente outras com notas mais baixas. Isso é especialmente útil quando você está começando a coletar estratégias.

   2. Para sistemas criados para lidar com diversos conjuntos de problemas, considere adicionar uma camada de classificação ou usar embeddings e similaridade de cosseno — as mesmas técnicas geralmente usadas em RAG — para identificar abordagens relevantes. Isso ajuda a selecionar estratégias adequadas ao problema específico, como estratégias voltadas para tarefas de programação.

Observação: embeddings usados com a similaridade de cosseno permitem medir o grau de relação entre duas informações, facilitando a correspondência de documentos, consultas ou ideias, mesmo quando a redação exata é diferente.

Exemplo de ponto de partida para um repositório simplificado de estratégias voltado a problemas de programação.

Observação: as "estratégias iniciais" apresentadas aqui são meramente ilustrativas. Em cenários reais de programação, elas seriam refinadas ainda mais. Problemas empresariais específicos exigiriam a coleta de insights adicionais ao longo do tempo.

3. Após obter uma amostra de N, incorpore-a ao prompt do sistema. Isso fundamenta a geração de planos no feedback anterior de especialistas, em vez de deixar o modelo criar planos com orientação mínima. Incentive o modelo a "pensar fora da caixa" e adicionar etapas quando necessário, em vez de simplesmente copiar literalmente as estratégias de exemplo.

4. Com o prompt do sistema criado dinamicamente, gere uma nova estratégia para atender à solicitação do usuário. Esse processo deve gerar tarefas adicionais que melhorem o resultado final. O objetivo é a criatividade: combine os elementos mais fortes das estratégias anteriores, consolide etapas semelhantes e acrescente novas etapas úteis quando necessário.

Observação: lembre-se de que a temperatura é um parâmetro ajustável que produz resultados mais variados e menos determinísticos, o que é útil quando se deseja criatividade. Com uma temperatura diferente de zero, cada plano gerado pode ser diferente.

5. Depois de receber o resultado do modelo, avalie-o por meio de uma pessoa ou de um LLM avaliador, usando critérios específicos que definam uma boa solução para o seu problema. Para o exemplo de atividades em Portugal mencionado anteriormente, os critérios de avaliação poderiam incluir:

• Concisão (resposta limitada a uma frase)

• Relevância da atividade sugerida

• Precisão da localização

6. Com base nessa avaliação, use outro modelo para refinar a estratégia. Um ciclo de feedback opcional pode incorporar contribuições humanas e promover melhorias colaborativas. Armazene a estratégia refinada no banco de dados com os metadados apropriados para acompanhar versões e alterações.

Então, por que passar por todo esse trabalho? Você poderia revisar os resultados manualmente e ajustar o prompt do sistema conforme necessário. No entanto, modelos avançados de raciocínio podem refinar estratégias usando tanto o contexto do resultado quanto o feedback humano. Embora as pessoas identifiquem facilmente falhas em abordagens simples, encontrá-las se torna difícil e tedioso em sistemas complexos que lidam com conjuntos mais amplos de problemas.

LLMs muitas vezes exigem instruções detalhadas e etapas adicionais para reunir o conhecimento contextual que as pessoas aplicam naturalmente a um problema. O número de tarefas necessárias pode crescer rapidamente à medida que o sistema se expande para lidar com conjuntos mais amplos de problemas. Por exemplo, uma pessoa que resolve problemas de programação pode compreender intuitivamente a base de código ao redor, enquanto um LLM talvez precise primeiro "ler" vários arquivos.

• Quando ajuda: imagine que você gerencia uma equipe de suporte ao cliente e que um agente de IA faz a triagem dos chamados. Com o tempo, o SPL pode descobrir um método de categorização que sua equipe não havia considerado, reduzindo as taxas de escalonamento.

• Quando não ajuda: se requisitos de conformidade ou regulamentações já definem seus fluxos de trabalho, como em Relatórios financeiros, o SPL pode agregar pouco valor, pois a criatividade passa a ser um risco, e não uma vantagem.

• Quando ajuda: em funções com pesquisa intensiva, como inteligência de mercado ou estratégia de produto, você pode colaborar com a IA refinando seus planos, enriquecendo seus resultados e incorporando essas melhorias para uso futuro. Cada interação aumenta a eficácia do sistema.

• Quando não ajuda: se sua equipe usa a IA principalmente em fluxos de trabalho simples com pouca intervenção humana, como o processamento de faturas, o esforço de colaboração pode superar o benefício.

• Quando ajuda: suponha que você se expanda para uma nova região e a IA de repente precise lidar com dúvidas sobre tributos locais. O SPL permite codificar rapidamente novas regras e heurísticas à medida que surgem, evitando erros recorrentes.

• Quando não ajuda: se o ambiente for estático, como na conversão de transcrições de reuniões em resumos padronizados, a adaptação constante oferece benefícios mínimos.

Em teoria, tudo isso parece promissor, mas implementar o SPL apresenta desafios reais. Veja alguns dos principais a seguir:

Nas fases iniciais da geração de estratégias, o progresso costuma estagnar: os novos resultados não aproveitam os anteriores e o ritmo diminui. Isso geralmente ocorre por dois motivos principais:

• • Solução: codifique de antemão todo o conhecimento empresarial disponível para que o sistema tenha uma base sólida a aproveitar.

• • Solução: crie uma rubrica detalhada que pontue vários aspectos da resposta, como precisão, clareza e relevância, e ajuste a amostragem para refletir esses sinais.

Se o sistema gerar centenas de estratégias, mas receber pouco feedback para distinguir as boas das ruins, a amostragem logo se tornará difícil de gerenciar. A solução é a poda.

Ao refinar seu repositório de estratégias, considere:

• Vida útil: descarte estratégias quando elas ultrapassarem um período ou número de gerações definido.

• Pontuação: use sua rubrica de avaliação para filtrar estratégias que apresentam desempenho baixo de forma consistente. Combinar isso com a vida útil garante que você mantenha apenas abordagens que comprovem seu valor ao longo do tempo.

• Avaliação por LLM: avalie periodicamente as estratégias para identificar as que não agregam mais insights exclusivos, pois seus elementos úteis provavelmente já foram incorporados a versões mais recentes.

Solução: trate o banco de dados de estratégias como um sistema vivo: faça podas regulares para manter apenas conhecimentos relevantes e de alto valor.

O aprendizado de prompt do sistema ainda está no início, mas seu potencial é enorme. Empresas que dependem apenas de prompts estáticos ou de ajustes finos intermináveis enfrentarão limitações conhecidas: sistemas frágeis, custos crescentes e desperdício de esforço. O SPL oferece uma saída desse ciclo ao criar sistemas que melhoram com o tempo e codificam princípios de alto nível, em vez de correções isoladas.

O SPL ainda é emergente, mas sua trajetória é clara: sistemas capazes de aprender por conta própria superarão os que não são. Este é o momento de experimentar, começar aos poucos, registrar aprendizados e construir a base para sistemas de IA que melhoram a cada interação.