Under de senaste två åren har vi byggt lösningar som skalats upp säkert till miljontals användare. En central del av arbetet har varit att utforma snabba och träffsäkra modereringssystem. Effektiv moderering gör att företag tryggt kan lansera avancerade AI-lösningar. Den skyddar slutanvändare från skada och värnar varumärket genom att stoppa oönskat genererat innehåll innan det blir ett problem.
Nyligen lanserade OpenAI sina GPT-OSS-Safeguard-modeller: finjusterade versioner av OSS-modellerna 20B och 120B som presenterades tidigare i år. Modellerna kan tolka en användares policy direkt vid inferens, vilket ger en flexibel och kraftfull metod för innehållsmoderering. Modellerna är tillgängliga som forskningsförhandsversioner och kommer utan tvekan att fortsätta förbättras.
Inför lanseringen samarbetade vi med OpenAI och genomförde utvärderingar i verkliga miljöer som underlag för modellutvecklingen. I den här artikeln delar vi insikter från samarbetet och utforskar vad framstegen innebär för framtidens moderering i produktionssatta AI-system.
I dag utformas modereringslösningar vanligtvis som flera skyddslager runt applikationen. Vi använder ofta detta mönster i publika driftsättningar med stora volymer. En mer ingående beskrivning finns i vårt blogginlägg om ämnet här.
Klassificera indata parallellt (släpp inte in skadliga prompter): Små, ämnesspecifika klassificerare körs samtidigt för att märka varje användarmeddelande. Vi har sett att snävt inriktade klassificerare är mätbart tillförlitligare än en enda heltäckande lösning. Noggrant utvalda Few-shot-exempel i prompten kan hjälpa systemet att skilja mellan ”I keep getting killed by this boss” (spelkontext, helt ofarligt) och en verklig signal om skaderisk.
Säkert → Generera som vanligt
Jailbreaks → Ignorera eller avled med ett avböjande som passar varumärkets tonalitet
Säkerhets- eller välmåenderisker → eskalera till en människa med utförlig kontext
Klassificera utdata (leverera inte ett dåligt svar): Varje möjligt svar granskas på nytt innan det levereras. Detta skyddar mot modelldrift, dataförgiftning i RAG och subtila policygränsfall, som skadligt innehåll, exponering av personuppgifter eller läckor av känslig information. Om svaret flaggas ersätter vi det LLM-genererade svaret med ett säkert meddelande som följer varumärkets tonalitet, eller eskalerar det till en människa, i stället för att leverera något vi senare ångrar.
Gör det snabbt och kostnadseffektivt: Genom att bygga prompter som återanvändbara byggstenar kan du cachelagra promptfragment, Few-shot-exempel för klassificerare och vanliga dialogprefix. Med den här metoden kan du minska både latensen och kostnaden för skyddsräckena.
Behandla säkerhet som en del av produkten Avböjanden och varningar skrivs med rätt tonalitet, till exempel lekfullt för spel och formellt för finans. När användarupplevelsen respekterar användarens avsikt ökar acceptansen för skyddsräckena samtidigt som jailbreakförsöken minskar.
Övervaka, stresstesta och slut cirkeln Kontinuerlig red teaming och säkerhetsöversikter i realtid hjälper till att upptäcka försämringar innan de når användarna. Vi kan lära modellen att hantera nya attackmönster genom att lägga till Few-shot-exempel och/eller dirigeringsregler. På så sätt blir systemet allt svårare att kringgå utan att applikationens prestanda försämras.
Det är svårt att bygga och underhålla effektiva skyddsräcken.
I praktiken krävs ett nära samarbete mellan viktiga verksamhetsintressenter och utvecklare för att skapa en tydligt definierad policy. När policyn har definierats måste systemets utformning och beteende sedan byggas och finjusteras.
Framväxten av öppna säkerhetsmodeller med resonemang, som gpt-oss-safeguard, kan lösa flera av problemen i processen och ge en mer användningsklar och mångsidig grund för innehållsmoderering.
Gpt-oss-safeguard är utformat för att lösa flera vanliga utmaningar när dagens modereringssystem byggs. Dessa små, specialiserade modeller har finjusterats för att resonera utifrån en målpolicy vid inferens och identifiera skadligt eller känsligt innehåll, som jailbreaks, exponering av personuppgifter och andra policyöverträdelser.
Genom att införliva resonemang i klassificeringsprocessen ger de träffsäkrare och robustare moderering som är svårare att kringgå. Som specialiserade säkerhetsvarianter av GPT-OSS 20B och 120B ger de säkerhetsprestanda i toppklass, samtidigt som anpassade policydefinitioner håller konfigurationsarbetet till ett minimum.
Vi utvärderade gpt-oss-safeguard 20B och 120B för flera produktionsnära uppgifter: en röstassistent i realtid, en supportbot för spelare, ett proaktivt system för chattmoderering och en flerspråkig genomsökning efter toxicitet (spanska, franska, italienska, portugisiska, ryska och turkiska).
Latenskänslig röstmoderering: I våra rösttester i realtid – tänk liveklassificering i ett samtal där ett svar måste analyseras och prioriteras, som vid moderering av spelchattar – minskade gpt-oss-safeguard-20B cirka 80 % av skillnaden i träffsäkerhet mellan GPT-OSS-20B och GPT-5-Mini (0,71 jämfört med 0,78, upp från 0,45), med avsevärt lägre latens.
Eskalering av spelarsupport: Vid prioritering av spelarsupport minskade gpt-oss-safeguard-20B cirka 90 % av skillnaden mellan GPT-OSS-20b och GPT-5-Mini (0,66 jämfört med 0,67, upp från 0,57). Den gav också uppsättningens bästa makroprecision, 88 % täckningsgrad för ofarligt innehåll och 87 % precision vid identifiering av utsatta användare – värdefullt för försiktiga eskaleringar med hög tillförlitlighet utan att överbelasta mänskliga granskare.
Skalbar chattmoderering med omfattande policyer: I vår mest krävande utvärdering, där ett modereringssystem proaktivt måste flagga spelmeddelanden utifrån ett omfattande policydokument, överträffade gpt-oss-safeguard OSS-baslinjen med tydlig marginal. Den relativa förbättringen var cirka 35 %, och modellen hanterade långa policyer effektivt. Det här är ett särskilt känsligt användningsfall som kräver hög täckningsgrad och precision. Om täckningsgraden är för låg missas många skadliga meddelanden. Låg precision skulle samtidigt leda till att många irrelevanta meddelanden flaggas för mänskliga moderatorer och avleder deras uppmärksamhet från de verkligt svåra fallen.
Flerspråkig prestanda: På en balanserad datauppsättning för toxicitet på sex språk låg gpt-oss-safeguard nära GPT-5-Mini, vanligtvis inom 3–5 procentenheters träffsäkerhet. På spanska låg gpt-oss-safeguard-120B något före. Vi såg något större skillnader för språk med mindre resurser, som turkiska, men det övergripande mönstret visade stabil flerspråkig prestanda och genomgående bättre täckningsgrad vid steget från 20B till 120B.
Vi såg också att gpt-oss-safeguard-modellerna presterar väl inom områden där LLM:er traditionellt är svagare på moderering, exempelvis personuppgifter. Vanliga modeller tenderar att vara bättre på att identifiera personuppgifter i amerikanska format och presterar sämre för andra regioner. Därför tror vi att gpt-oss-safeguard kan förenkla modereringskonfigurationer genom att minska behovet av skräddarsydda verktyg för att upptäcka mindre policyöverträdelser som bredare LLM:er inte kan hantera.
Våra utvärderingar visar alltså att ”grundmodeller för moderering”, som gpt-oss-safeguard-20B och gpt-oss-safeguard-120B, snabbt tar dig långt. Domänspecifikt finjusterade modeller sätter dock fortfarande ribban när systemen måste uppfylla de högsta kraven på säkerhet och precision.
För moderering i spel finjusterade vi en Qwen3-0.6B-klassificerare genom övervakad finjustering med cirka 10 000 historiska moderatoråtgärder och policyutfall. Denna modell överträffar med bred marginal alla basmodeller vi testade för uppgiften och når 57 % träffsäkerhet jämfört med 15 % (gpt-oss-safeguard-120B, uppskattat utifrån förhållandet till GPT-4.1-nanos resultat) – en ökning med 42 procentenheter, eller cirka 280 %. Resultaten ligger i linje med OpenAI:s vägledning om att mindre, specialiserade klassificerare som tränats med märkta exempel kan överträffa skyddsmodeller inom specialiserade domäner.
Slutsatsen är tydlig: när policyer är nyanserade och innehåller många gränsfall är en liten, domänanpassad modell fortfarande den bästa lösningen. Finjusteringen bygger in policyn och gränsfallen direkt i parametrarna. Det ger ett stabilare beteende i produktionsmiljöns komplexa verklighet, med minimal latens och kostnad.
Övervakad finjustering är bara en av flera möjliga metoder för detta. Det går även att använda andra kraftfulla träningstekniker, som förstärkningsinlärning eller on-policy-destillering, för att optimera modellens beteende ytterligare.
Finjustering kräver vanligtvis stora mängder data. Datauppsättningen som användes för att finjustera Qwen3-0.6B-klassificeraren hade märkts manuellt av mänskliga moderatorer och utgjorde därför ett rent och tillförlitligt facit.
I många projekt finns inte denna fördel med omfattande data från början. Därför ser vi ofta finjustering som en optimering som kan införas senare i lösningens utvecklingscykel. När lösningens utformning har stabiliserats och verkliga användardata har samlats in kan utvecklare börja använda riktad finjustering för att lyfta modereringslösningen till nästa nivå.
Grundmodeller för moderering, som gpt-oss-safeguard, är kraftfulla nya byggstenar. De kan avsevärt förenkla utformningen av modereringssystem och samtidigt minska latensen i realtidstillämpningar. Kombinera dem med små, skräddarsydda klassificerare så kan du bygga ett säkrare och snabbare system med färre rörliga delar än en promptbaserad metod med stora generella modeller.
Om du inför eller uppgraderar moderering i dag kan du börja med modeller som gpt-oss-safeguard, mäta resultatet och lägga till riktade förbättringar med skräddarsydda klassificerare – promptbaserade eller finjusterade – där data visar på brister.
Vill du veta mer? Skicka ett meddelande till oss.