De siste to årene har vi bygget løsninger som på en trygg måte er skalert til millioner av brukere. En sentral del av dette arbeidet har vært å utforme raske og presise modereringssystemer. Effektiv moderering gjør det mulig for selskaper å ta i bruk banebrytende KI-løsninger med trygghet. Sluttbrukerne beskyttes mot skade, og merkevaren ivaretas ved at uønsket generert innhold fanges opp før det blir et problem.
Nylig lanserte OpenAI sine GPT-OSS-Safeguard-modeller: finjusterte utgaver av OSS-modellene 20B og 120B, som ble introdusert tidligere i år. Disse modellene kan tolke brukerens policy direkte under inferens og gir dermed en fleksibel og kraftig tilnærming til innholdsmoderering. Modellene er tilgjengelige som en forskningsforhåndsvisning og vil utvilsomt fortsette å bli bedre.
I forkant av lanseringen samarbeidet vi med OpenAI om evalueringer i virkelige brukssituasjoner for å bidra til modellutviklingen. I denne artikkelen deler vi innsikt fra samarbeidet og ser nærmere på hva fremskrittene betyr for fremtidens moderering i KI-systemer i produksjon.
I dag utformes modereringsløsninger vanligvis som flere beskyttelseslag rundt applikasjonen. Vi bruker ofte dette mønsteret i publikumsrettede løsninger med stort volum. Vil du gå mer i dybden, kan du lese blogginnlegget vårt om dette her.
Klassifiser inndata parallelt (ikke slipp inn skadelige prompter): Små, emnespesifikke klassifikatorer kjører samtidig og merker hver brukermelding. Vi har sett at klassifikatorer med et snevert fokus er målbart mer pålitelige enn én enkelt klassifikator som skal dekke alt. Nøye utvalgte demonstrasjoner med få eksempler i prompten kan gjøre det mulig å skille mellom «I keep getting killed by this boss» (spillkontekst, helt ufarlig) og et faktisk signal om fare i den virkelige verden.
Trygt → Generer som normalt
Jailbreak → Ignorer eller avled med et avslag tilpasset merkevaren
Risiko for sikkerhet eller livskvalitet → eskaler til et menneske med utfyllende kontekst
Klassifiser utdata (ikke send et dårlig svar): Alle mulige svar kontrolleres på nytt før levering. Dette beskytter mot modelldrift, dataforgiftning i RAG og finmaskede grensetilfeller i policyen, som skadelig innhold, eksponering av personopplysninger eller lekkasje av sensitiv informasjon. Hvis svaret blir flagget, erstatter vi det LLM-genererte svaret med en trygg melding tilpasset merkevaren eller eskalerer det til et menneske, fremfor å sende noe vi senere vil angre på.
Gjør det raskt og rimelig: Ved å bygge prompter som gjenbrukbare byggeklosser kan du mellomlagre promptfragmenter, klassifikatoreksempler med få eksempler og vanlige dialogprefikser. Denne tilnærmingen reduserer både latenstiden og kostnadene for sikkerhetsmekanismene.
Behandle sikkerhet som en del av produktopplevelsenAvslag og advarsler skrives i riktig stil, for eksempel lekent for spill og formelt for finans. Når brukeropplevelsen respekterer brukerens hensikt, øker aksepten for sikkerhetsmekanismene, mens antallet jailbreak-forsøk går ned
Overvåk, stresstest og lukk sløyfenKontinuerlig red teaming og sikkerhetsdashbord med sanntidsdata gjør det lettere å oppdage tilbakefall før de rammer brukerne. Vi kan lære modellen å håndtere nye angrepsmønstre ved å legge til demonstrasjoner med få eksempler og/eller rutingsregler. Dermed blir systemet vanskeligere å bryte over tid uten at det går ut over applikasjonens ytelse.
Det er krevende å bygge og vedlikeholde effektive sikkerhetsmekanismer.
I praksis krever det tett samarbeid mellom sentrale forretningsinteressenter og utviklere for å utarbeide en tydelig definert policy. Når policyen er definert, må systemets utforming og atferd bygges og finjusteres.
Fremveksten av åpne sikkerhetsmodeller med resonnering, som gpt-oss-safeguard, kan løse flere av utfordringene i denne prosessen og gi et mer allsidig og bruksklart grunnlag for innholdsmoderering.
Gpt-oss-safeguard skal løse noen av de vanligste utfordringene ved utvikling av dagens modereringssystemer. Disse små, spesialiserte modellene er finjustert til å resonnere ut fra en målpolicy under inferens og lete etter skadelig eller sensitivt innhold, som jailbreak, eksponering av personopplysninger og andre policybrudd.
Ved å innlemme resonnering i klassifiseringsprosessen gir de mer presis og robust moderering som er vanskeligere å omgå. Som spesialiserte sikkerhetsvarianter av GPT-OSS 20B og 120B gir de sikkerhetsytelse på toppnivå, samtidig som tilpassede policydefinisjoner gjør oppsettet svært enkelt.
Vi evaluerte gpt-oss-safeguard 20B og 120B på flere produksjonsnære oppgaver: en taleassistent i sanntid, en spillerstøttebot i et spill, et proaktivt system for chatmoderering og en flerspråklig gjennomgang av toksisitet på spansk, fransk, italiensk, portugisisk, russisk og tyrkisk.
Latensfølsom talemoderering: I sanntidstestene våre med tale – tenk direkte klassifisering i en samtale der et svar må analyseres og prioriteres, som ved moderering av spillchat – lukket gpt-oss-safeguard-20B rundt 80 % av nøyaktighetsgapet mellom GPT-OSS-20B og GPT-5-Mini (0,71 mot 0,78, opp fra 0,45), samtidig som latenstiden var betydelig lavere.
Eskalering av spillerstøtte: Ved prioritering av spillerstøtte lukket gpt-oss-safeguard-20B rundt 90 % av gapet mellom GPT-OSS-20b og GPT-5-Mini (0,66 mot 0,67, opp fra 0,57). Den oppnådde også testens beste makropresisjon, 88 % gjenkalling for ufarlig innhold og 87 % presisjon ved oppdagelse av sårbare brukere. Det er nyttig når man ønsker konservative eskaleringer med høy tillit uten å overbelaste menneskelige kontrollører.
Skalerbar chatmoderering med omfattende policyer: I den mest krevende evalueringen vår, der et modereringssystem proaktivt må flagge meldinger i spill i henhold til et omfattende policydokument, overgikk gpt-oss-safeguard OSS-referansen med god margin. Modellen ga en relativ forbedring på rundt 35 % og håndterte lange policyer effektivt. Dette er et særlig sensitivt bruksområde som krever høy gjenkalling og presisjon. Er gjenkallingen for lav, blir mange skadelige meldinger oversett. Lav presisjon vil dessuten føre til at mange irrelevante meldinger flagges for menneskelige moderatorer, slik at oppmerksomheten trekkes bort fra de virkelig vanskelige tilfellene.
Flerspråklig ytelse: På et balansert toksisitetsdatasett med seks språk lå gpt-oss-safeguard tett opptil GPT-5-Mini, vanligvis innenfor 3–5 prosentpoeng i nøyaktighet. På spansk lå gpt-oss-safeguard-120B marginalt foran. Vi så noe større forskjeller for språk med færre ressurser, som tyrkisk. Det overordnede mønsteret viste likevel solid ytelse på tvers av språk, med konsekvent bedre gjenkalling fra 20B til 120B.
Vi så også at gpt-oss-safeguard-modellene presterer godt på områder der LLM-er tradisjonelt er svakere innen moderering, som personopplysninger. Vanlige modeller er ofte mer tilbøyelige til å identifisere amerikanske typer personopplysninger og presterer svakere i andre geografiske områder. På dette grunnlaget mener vi at gpt-oss-safeguard kan forenkle modereringsoppsett ved å redusere behovet for skreddersydde verktøy som fanger opp mindre policybrudd som bredere LLM-er ikke kan håndtere.
Evalueringene våre har altså vist at «grunnmodeller for moderering», som gpt-oss-safeguard-20B og gpt-oss-safeguard-120B, raskt kan gi svært gode resultater. Domenespesifikk finjustering setter imidlertid fortsatt standarden når systemene må oppfylle de strengeste kravene til sikkerhet og presisjon.
For moderering i spill finjusterte vi en Qwen3-0.6B-klassifikator ved hjelp av overvåket finjustering basert på rundt 10 000 historiske moderatorhandlinger og policyutfall. Denne modellen overgår alle grunnmodellene vi testet for denne oppgaven, med god margin. Den oppnådde en nøyaktighet på 57 % mot 15 % (gpt-oss-safeguard-120B, anslått ut fra forholdet til ytelsen til GPT-4.1-nano), en økning på 42 prosentpoeng eller rundt 280 %. Disse resultatene samsvarer med OpenAIs veiledning om at mindre, spesialiserte klassifikatorer som er trent på merkede eksempler, kan overgå sikkerhetsmodeller på spesialiserte domener.
Konklusjonen er tydelig: Når policyene er nyanserte og har mange grensetilfeller, er en liten, domenetilpasset modell fortsatt gullstandarden. Finjusteringen bygger policyen og grensetilfellene direkte inn i parameterne. Det gir mer stabil atferd i det uoversiktlige produksjonsmiljøet, med svært lav latenstid og kostnad.
Overvåket finjustering er bare én av flere mulige tilnærminger til dette. Man kan også bruke andre kraftige treningsteknikker, som forsterkende læring eller policybasert destillering, for å optimalisere modellens atferd ytterligere.
Finjustering krever vanligvis store mengder data. Datasettet som ble brukt til å finjustere denne Qwen3-0.6B-klassifikatoren, var manuelt merket av menneskelige moderatorer og utgjorde derfor en ren og pålitelig fasit.
I mange prosjekter finnes ikke dette rike datagrunnlaget fra starten av. Derfor ser vi gjerne på finjustering som en optimalisering som kan innføres senere i løsningens utviklingsløp. Når løsningen har stabilisert seg og det er samlet inn reelle brukerdata, kan utviklerne begynne å bruke målrettet finjustering for å løfte modereringsløsningene til neste nivå.
Grunnmodeller for moderering, som gpt-oss-safeguard, er sterke nye byggeklosser. De kan forenkle utformingen av modereringssystemer betydelig og samtidig redusere latenstiden i sanntidsløsninger. Kombiner dem med små, skreddersydde klassifikatorer, så kan du bygge et sikrere og raskere system med færre bevegelige deler enn en promptbasert løsning med store, generelle modeller.
Hvis du etablerer eller oppgraderer moderering i dag, bør du vurdere å starte med modeller som gpt-oss-safeguard. Mål ytelsen, og innfør målrettede forbedringer med skreddersydde klassifikatorer – promptbaserte eller finjusterte – der dataene avdekker mangler.
Vil du vite mer? Send oss en melding.