I løbet af de seneste to år har vi bygget løsninger, der på sikker vis er skaleret til millioner af brugere. En central del af dette arbejde har været at udvikle hurtige og præcise moderationssystemer. Effektiv moderation gør det muligt for virksomheder trygt at implementere avancerede AI-løsninger, beskytte slutbrugerne mod skade og sikre brandet ved at opdage uønsket genereret indhold, før det skaber problemer.
For nylig lancerede OpenAI sine GPT-OSS-Safeguard-modeller: finjusterede versioner af OSS-modellerne 20B og 120B, som blev introduceret tidligere i år. Modellerne kan fortolke en brugers politik direkte under inferens og giver dermed en fleksibel og effektiv tilgang til indholdsmoderation. Modellerne er tilgængelige som forskningseksempler og vil utvivlsomt blive bedre med tiden.
Vi samarbejdede med OpenAI op til lanceringen og gennemførte evalueringer under realistiske forhold som input til modeludviklingen. I denne artikel deler vi erfaringerne fra samarbejdet og undersøger, hvad fremskridtene betyder for fremtidens moderation i AI-produktionssystemer.
I dag består moderationsløsninger typisk af flere beskyttelseslag omkring applikationen. Vi bruger ofte dette mønster i offentligt tilgængelige implementeringer med stor trafik. Du kan læse mere i vores blogindlæg om emnet her.
Klassificér input parallelt (luk ikke skadelige prompts ind): Små, emnespecifikke klassifikatorer kører samtidigt og mærker hver brugermeddelelse. Vi har konstateret, at snævert fokuserede klassifikatorer er målbart mere pålidelige end én samlet løsning til alt. Nøje udvalgte eksempler med få eksempler i prompten kan hjælpe med at skelne mellem »I keep getting killed by this boss« (spilkontekst, helt harmløst) og et reelt tegn på risiko i den virkelige verden.
Sikkert → Generér som normalt
Jailbreaks → Ignorer eller afværg med et afslag, der matcher brandets stil
Risici for sikkerhed eller trivsel → Eskaler til et menneske med fyldestgørende kontekst
Klassificér output (send ikke et dårligt svar): Hvert muligt svar kontrolleres igen, før det leveres. Det beskytter mod modeldrift, forgiftning af RAG-data og vanskelige grænsetilfælde i politikken såsom skadeligt indhold, eksponering af personhenførbare oplysninger eller læk af følsomme oplysninger. Hvis svaret markeres, erstatter vi det LLM-genererede svar med en sikker besked, der matcher brandet, eller eskalerer det til et menneske i stedet for at sende noget, vi senere fortryder.
Gør det hurtigt og økonomisk: Når prompts opbygges som genanvendelige byggeklodser, kan promptfragmenter, klassifikatorens eksempler med få eksempler og almindelige dialogindledninger caches. Denne tilgang reducerer både sikkerhedsforanstaltningernes latenstid og omkostninger.
Behandl sikkerhed som en del af produktoplevelsenAfslag og advarsler skrives i den rette tone, f.eks. legende til spil og formel til finans. Når brugeroplevelsen respekterer brugerens hensigt, stiger accepten af sikkerhedsforanstaltningerne, og antallet af jailbreakforsøg falder.
Overvåg, udfør red-teaming, og skab et feedbackkredsløbKontinuerlig red-teaming og liveoversigter over sikkerheden hjælper med at opdage tilbagefald, før de rammer brugerne. Vi kan lære modellen nye angrebsmønstre ved at tilføje eksempler med få eksempler og/eller routingregler, så systemet med tiden bliver sværere at bryde uden at forringe applikationens ydeevne.
Det er svært at udvikle og vedligeholde effektive sikkerhedsforanstaltninger.
I praksis kræver det et tæt samarbejde mellem centrale forretningsinteressenter og udviklere at udforme en klart defineret politik. Når politikken er defineret, skal systemets design og adfærd derefter udvikles og tilpasses.
Fremkomsten af åbne sikkerhedsmodeller med ræsonnering som gpt-oss-safeguard kan afhjælpe nogle af udfordringerne i processen og skabe et mere brugsklart og alsidigt fundament for indholdsmoderation.
Gpt-oss-safeguard er udviklet til at håndtere nogle af de udfordringer, der ofte opstår, når nutidens moderationssystemer bygges. Disse små, specialiserede modeller er finjusteret til at ræsonnere ud fra en målpolitik under inferens og lede efter skadeligt eller følsomt indhold såsom jailbreaks, eksponering af personhenførbare oplysninger og andre politikbrud.
Ved at integrere ræsonnering i klassifikationsprocessen leverer de mere præcis og robust moderation, som er sværere at omgå. Som specialiserede sikkerhedsvarianter af GPT-OSS 20B og 120B leverer de sikkerhed på højeste niveau og kræver samtidig minimal opsætning takket være brugerdefinerede politikdefinitioner.
Vi evaluerede gpt-oss-safeguard 20B og 120B på flere produktionslignende opgaver: en stemmeassistent i realtid, en supportbot til spillere, et proaktivt chatmoderationssystem og en flersproget screening for toksicitet på spansk, fransk, italiensk, portugisisk, russisk og tyrkisk.
Stemmebaseret moderation med krav om lav latenstid: I vores realtidstest med tale – dvs. liveklassifikation i en samtale, hvor et svar skal analyseres og visiteres, som ved moderation af chat i spil – lukkede gpt-oss-safeguard-20B ca. 80 % af nøjagtighedsgabet mellem GPT-OSS-20B og GPT-5-Mini (0,71 mod 0,78, op fra 0,45) med markant lavere latenstid.
Eskalering af spillersupport: Ved visitering af spillersupport lukkede gpt-oss-safeguard-20B ca. 90 % af gabet fra GPT-OSS-20b til GPT-5-Mini (0,66 mod 0,67, op fra 0,57). Den leverede også sættets bedste makropræcision, 88 % genfinding for ufarligt indhold og 87 % præcision ved registrering af sårbare brugere. Det er nyttigt til forsigtige eskaleringer med høj pålidelighed uden at overbelaste menneskelige kontrollanter.
Skalerbar chatmoderation med omfattende politikker: I vores mest krævende evaluering, hvor et moderationssystem proaktivt skal markere beskeder i spil ud fra et omfattende politikdokument, klarede gpt-oss-safeguard sig klart bedre end OSS-referencepunktet med en relativ forbedring på ca. 35 % og håndterede lange politikker effektivt. Det er et særligt følsomt anvendelsesområde, der kræver høj genfinding og præcision. Er genfindingen for lav, overses mange skadelige beskeder. Lav præcision vil desuden medføre, at mange irrelevante beskeder markeres til menneskelige moderatorer, så deres opmærksomhed ledes væk fra de virkelig vanskelige tilfælde.
Flersproget ydeevne: På et afbalanceret toksicitetsdatasæt med seks sprog fulgte gpt-oss-safeguard GPT-5-Mini tæt, typisk med en forskel i nøjagtighed på 3-5 procentpoint, mens gpt-oss-safeguard-120B lå en smule foran på spansk. Vi så lidt større forskelle for sprog med færre ressourcer, såsom tyrkisk, men samlet set viste resultaterne solid ydeevne på tværs af sprog og konsekvente forbedringer i genfinding ved skiftet fra 20B til 120B.
Vi så også, at gpt-oss-safeguard-modellerne klarer sig godt på områder, hvor LLM'er traditionelt er svagere til moderation, f.eks. personhenførbare oplysninger. Almindelige modeller er ofte bedre til at identificere amerikanske typer af sådanne oplysninger og klarer andre geografiske områder dårligere. Derfor mener vi, at gpt-oss-safeguard kan forenkle opsætningen af moderation ved at mindske afhængigheden af skræddersyede værktøjer til at opdage mindre politikbrud, som bredere LLM'er ikke kan håndtere.
Vores evalueringer har altså vist, at »grundmodeller til moderation« som gpt-oss-safeguard-20B og gpt-oss-safeguard-120B hurtigt kan bringe dig langt. Domænespecifikke finjusteringer sætter dog stadig standarden, når systemer skal opfylde de højeste krav til sikkerhed og præcision.
Til moderation i spil finjusterede vi en Qwen3-0.6B-klassifikator med overvåget finjustering baseret på ca. 10.000 historiske moderatorhandlinger og politikresultater. Denne model klarer opgaven markant bedre end alle de basismodeller, vi testede, med en nøjagtighed på 57 % mod 15 % (gpt-oss-safeguard-120B, estimeret ud fra forholdet til GPT-4.1-nanos ydeevne), dvs. +42 procentpoint eller en forbedring på ca. 280 %. Resultaterne stemmer overens med OpenAI's vejledning om, at mindre, dedikerede klassifikatorer trænet på mærkede eksempler kan overgå safeguard-modeller inden for specialiserede domæner.
Konklusionen er klar: Når politikker er nuancerede og rummer mange grænsetilfælde, er en lille, domænetilpasset model fortsat den bedste løsning. Finjusteringen indarbejder politikken og grænsetilfældene direkte i parametrene. Det giver mere stabil adfærd i produktionens komplekse virkelighed og samtidig minimal latenstid og lave omkostninger.
Overvåget finjustering er blot én af flere mulige tilgange. Andre effektive træningsteknikker såsom forstærkende læring eller on-policy-destillation kan også bruges til at optimere modellens adfærd yderligere.
Finjustering kræver typisk store mængder data. Datasættet til finjusteringen af denne Qwen3-0.6B-klassifikator var manuelt mærket af menneskelige moderatorer og udgjorde derfor en ren og pålidelig facitliste.
I mange projekter findes denne fordel med omfattende data ikke fra begyndelsen. Derfor betragter vi normalt finjustering som en optimering, der kan komme senere i løsningens udviklingsforløb. Når løsningens form er stabiliseret, og der er indsamlet data fra rigtige brugere, kan udviklerne bruge målrettet finjustering til at løfte deres moderationsløsninger til næste niveau.
Grundmodeller til moderation som gpt-oss-safeguard er stærke nye byggeklodser. De kan gøre moderationssystemer væsentligt enklere og samtidig reducere latenstiden i realtidsapplikationer. Kombiner dem med små, skræddersyede klassifikatorer, og du kan bygge et sikrere og hurtigere system med færre komponenter end en promptbaseret tilgang med store generelle modeller.
Hvis du etablerer eller opgraderer moderation i dag, kan du begynde med modeller som gpt-oss-safeguard, måle deres ydeevne og indføre målrettede forbedringer med skræddersyede klassifikatorer – promptbaserede eller finjusterede – dér, hvor dataene viser mangler.
Vil du vide mere? Send os en besked.