Nos últimos dois anos, criámos soluções que cresceram em segurança até chegarem a milhões de utilizadores. Uma parte essencial deste trabalho foi a conceção de sistemas de moderação rápidos e exatos. Uma moderação eficaz permite às empresas implementar com confiança soluções de IA de vanguarda, protegendo os utilizadores finais e a reputação da marca ao intercetar conteúdos indesejados antes que se tornem um problema.
Recentemente, a OpenAI lançou os seus modelos GPT-OSS-Safeguard: versões com fine-tuning dos modelos OSS 20B e 120B apresentados no início deste ano. Estes modelos conseguem interpretar diretamente a política de um utilizador durante a inferência, proporcionando uma abordagem flexível e poderosa à moderação de conteúdos. Estes modelos encontram-se em fase de pré-visualização para investigação, pelo que continuarão certamente a melhorar ao longo do tempo.
Colaborámos com a OpenAI antes deste lançamento, realizando avaliações em contexto real para contribuir para o desenvolvimento dos modelos. Neste artigo, partilhamos conclusões dessa colaboração e analisamos o que estes avanços significam para o futuro da moderação em sistemas de IA em produção.
Atualmente, as soluções de moderação assumem normalmente a forma de várias camadas de proteção em torno da aplicação. Usamos frequentemente este padrão em implementações públicas de grande volume. Para uma análise mais aprofundada, consulte o nosso artigo sobre o tema aqui.
Classificar os inputs em paralelo (não deixar entrar prompts nocivos): Pequenos classificadores específicos para cada tema são executados em simultâneo para rotular cada mensagem do utilizador. Verificámos que os classificadores com um âmbito restrito são comprovadamente mais fiáveis do que um único classificador generalista. Exemplos few-shot cuidadosamente selecionados no prompt podem ajudar a distinguir entre “I keep getting killed by this boss” (contexto de jogo, totalmente inofensivo) e um verdadeiro sinal de perigo no mundo real.
Seguro → Gerar normalmente
Jailbreaks → Ignorar ou desviar com uma recusa alinhada com a marca
Riscos para a segurança ou o bem-estar → encaminhar para uma pessoa, fornecendo contexto detalhado
Classificar os outputs (não enviar uma resposta nociva): Todas as respostas candidatas são novamente verificadas antes da entrega. Isto protege contra desvios do modelo, envenenamento de dados RAG e casos-limite subtis das políticas, como conteúdos nocivos, exposição de dados pessoais identificáveis ou fuga de informações sensíveis. Se for sinalizada, substituímos a resposta gerada pelo LLM por uma mensagem segura e alinhada com a marca, ou encaminhamo-la para uma pessoa, em vez de enviarmos algo de que nos venhamos a arrepender.
Tornar o sistema rápido e económico: A criação de prompts como componentes reutilizáveis permite colocar em cache fragmentos de prompts, exemplos few-shot dos classificadores e prefixos de diálogo comuns. Esta abordagem permite reduzir tanto a latência como o custo das suas proteções.
Tratar a segurança como parte do produtoAs recusas e os avisos são redigidos no tom da marca — por exemplo, descontraído nos jogos e formal nas finanças. Quando a experiência do utilizador respeita a sua intenção, a aceitação das proteções aumenta e as tentativas de jailbreak diminuem
Monitorizar, fazer red teaming e fechar o cicloO red teaming contínuo e os painéis de segurança em tempo real ajudam a detetar regressões antes de afetarem os utilizadores. Podemos ensinar novos padrões de ataque ao modelo através de mais exemplos few-shot e/ou regras de encaminhamento, tornando o sistema progressivamente mais difícil de contornar sem comprometer o desempenho da aplicação.
Criar e manter proteções eficazes é difícil.
Na prática, exige uma colaboração cuidada entre as principais partes interessadas da empresa e os programadores para criar uma política bem definida. Depois de definida a política, é necessário criar e afinar a arquitetura e o comportamento do sistema.
O aparecimento de modelos abertos de raciocínio para segurança, como o gpt-oss-safeguard, poderá resolver alguns dos problemas deste processo, proporcionando uma base mais versátil e pronta a usar para a moderação de conteúdos.
O Gpt-oss-safeguard procura responder a alguns dos desafios comuns na criação dos atuais sistemas de moderação. Estes pequenos modelos especializados recebem fine-tuning para raciocinar sobre uma política-alvo durante a inferência, procurando conteúdos nocivos ou sensíveis, como jailbreaks, exposição de dados pessoais identificáveis e outras violações das políticas.
Ao incorporarem raciocínio no processo de classificação, proporcionam uma moderação mais exata e robusta, que é mais difícil de contornar. Enquanto variantes especializadas em segurança dos modelos GPT-OSS 20B e 120B, oferecem um desempenho de segurança de vanguarda e exigem uma configuração mínima graças a definições de políticas personalizadas.
Avaliámos o gpt-oss-safeguard 20B e 120B em várias tarefas semelhantes às de produção: um assistente de voz em tempo real, um bot de apoio a jogadores dentro de um jogo, um sistema proativo de moderação de conversas e uma análise multilingue de toxicidade — espanhol, francês, italiano, português, russo e turco.
Moderação de voz sensível à latência: Nos nossos testes de voz em tempo real — pense numa classificação em direto dentro de uma conversa, em que a resposta tem de ser analisada e encaminhada, como na moderação de conversas em jogos —, o gpt-oss-safeguard-20B eliminou cerca de 80% da diferença de exatidão entre o GPT-OSS-20B e o GPT-5-Mini (0,71 contra 0,78, partindo de 0,45), com uma latência muito inferior.
Encaminhamento no apoio a jogadores: Na triagem de apoio a jogadores, o gpt-oss-safeguard-20B eliminou cerca de 90% da diferença entre o GPT-OSS-20b e o GPT-5-Mini (0,66 contra 0,67, partindo de 0,57). Também obteve a melhor macroprecisão do conjunto, 88% de revocação em conteúdos benignos e 87% de precisão na deteção de utilizadores vulneráveis — útil para encaminhamentos prudentes e altamente fiáveis, sem sobrecarregar os revisores humanos.
Moderação em escala de conversas com políticas densas: Na nossa avaliação mais exigente, em que um sistema de moderação tem de sinalizar proativamente mensagens dentro de jogos segundo um documento de políticas denso, o gpt-oss-safeguard superou claramente a referência OSS, com uma melhoria relativa de cerca de 35%, e processou eficazmente políticas extensas. Este é um caso de uso particularmente sensível, que exige níveis elevados de revocação e precisão. Se a revocação for demasiado baixa, muitas mensagens nocivas não serão detetadas. Por outro lado, uma precisão baixa faria com que muitas mensagens irrelevantes fossem sinalizadas aos moderadores humanos, desviando a sua atenção dos casos realmente difíceis.
Desempenho multilingue: Num conjunto de dados equilibrado sobre toxicidade em seis idiomas, o gpt-oss-safeguard acompanhou de perto o GPT-5-Mini, ficando normalmente a 3–5 p.p. em exatidão, e o gpt-oss-safeguard-120B obteve uma ligeira vantagem em espanhol. Observámos diferenças ligeiramente maiores em idiomas com menos recursos, como o turco, mas o padrão geral revelou um desempenho sólido entre idiomas, com ganhos consistentes de revocação na passagem do 20B para o 120B.
Também observámos que os modelos gpt-oss-safeguard têm um desempenho sólido em áreas onde os LLM são tradicionalmente mais fracos na moderação, como os dados pessoais identificáveis. Os modelos generalistas tendem a favorecer a identificação destes dados em formatos usados nos EUA, apresentando um desempenho inferior noutras regiões. Por conseguinte, acreditamos que o gpt-oss-safeguard será útil para simplificar as configurações de moderação, reduzindo a dependência de ferramentas personalizadas para detetar pequenas violações de políticas que os LLM mais abrangentes não conseguem tratar.
Assim, as nossas avaliações demonstraram que os «modelos fundamentais de moderação», como o gpt-oss-safeguard-20B e o gpt-oss-safeguard-120B, permitem avançar muito e depressa. No entanto, os modelos sujeitos a fine-tuning específico para cada domínio continuam a definir o padrão quando os sistemas exigem os mais elevados níveis de segurança e especificidade.
Para o caso de uso de moderação em jogos, aplicámos fine-tuning supervisionado a um classificador Qwen3-0.6B, com base em cerca de 10 mil ações anteriores de moderadores e respetivos resultados face às políticas. Este modelo supera por larga margem todos os modelos de base que testámos nesta tarefa, atingindo uma exatidão de 57% contra 15% (gpt-oss-safeguard-120B, estimativa baseada no rácio de desempenho do GPT-4.1-nano), uma melhoria de 42 p.p., ou cerca de 280%. Estes resultados estão em linha com a orientação da OpenAI de que classificadores mais pequenos e dedicados, treinados com exemplos rotulados, podem superar modelos de salvaguarda em domínios especializados.
A conclusão é clara: quando as políticas são complexas e têm muitos casos-limite, um modelo pequeno e adaptado ao domínio continua a ser a referência. O processo de fine-tuning incorpora diretamente as políticas e os casos-limite nos parâmetros, proporcionando um comportamento mais estável no complexo mundo da produção, com latência e custos mínimos.
O fine-tuning supervisionado é apenas uma das várias abordagens possíveis. Também é possível recorrer a outras técnicas de treino poderosas, como a aprendizagem por reforço ou a destilação on-policy, para otimizar ainda mais o comportamento do modelo.
O fine-tuning exige normalmente um grande volume de dados. O conjunto de dados usado no fine-tuning deste classificador Qwen3-0.6B tinha sido rotulado manualmente por moderadores humanos, constituindo assim uma fonte de referência fiável e depurada.
Em muitos projetos, esta vantagem de dispor de dados tão ricos pode não existir desde o início. Por isso, tendemos a encarar o fine-tuning como uma otimização que pode ser introduzida numa fase posterior do ciclo de desenvolvimento da solução. Quando a estrutura da solução estiver estabilizada e já tiverem sido recolhidos dados reais de utilizadores, os programadores poderão recorrer ao fine-tuning direcionado para levar as soluções de moderação mais longe.
Os modelos fundamentais de moderação, como o gpt-oss-safeguard, são novos componentes muito sólidos. Têm potencial para simplificar significativamente a conceção de sistemas de moderação, reduzindo simultaneamente a latência em aplicações em tempo real. Combinados com pequenos classificadores personalizados, permitem criar um sistema mais seguro e rápido, com menos componentes do que uma abordagem baseada em prompts e grandes modelos generalistas.
Se está hoje a implementar ou atualizar um sistema de moderação, considere começar por modelos como o gpt-oss-safeguard, medir o desempenho e introduzir melhorias direcionadas através de classificadores personalizados — baseados em prompts ou sujeitos a fine-tuning — onde os dados revelem lacunas.
Quer saber mais? Envie-nos uma mensagem.