Olemme viimeisten kahden vuoden aikana rakentaneet ratkaisuja, jotka on skaalattu turvallisesti miljoonille käyttäjille. Keskeinen osa tätä työtä on ollut nopeiden ja tarkkojen moderointijärjestelmien suunnittelu. Tehokkaan moderoinnin ansiosta yritykset voivat ottaa huippuluokan tekoälyratkaisuja käyttöön luottavaisin mielin. Se suojaa loppukäyttäjiä haitoilta ja brändiä tunnistamalla ei-toivotut tuotokset ennen kuin niistä syntyy ongelmia.
OpenAI julkaisi äskettäin GPT-OSS-Safeguard-mallinsa: aiemmin tänä vuonna esiteltyjen 20B- ja 120B-OSS-mallien hienosäädetyt versiot. Nämä mallit pystyvät tulkitsemaan käyttäjän käytäntöä suoraan päättelyvaiheessa, mikä tarjoaa joustavan ja tehokkaan tavan moderoida sisältöä. Mallit ovat tutkimuksen esikatseluvaiheessa, joten ne kehittyvät varmasti ajan mittaan.
Teimme ennen julkaisua yhteistyötä OpenAI:n kanssa ja arvioimme malleja todellisissa käyttötapauksissa niiden kehityksen tueksi. Tässä artikkelissa kerromme yhteistyössä saamistamme havainnoista ja tarkastelemme, mitä nämä edistysaskeleet merkitsevät tuotantokäytössä olevien tekoälyjärjestelmien moderoinnin tulevaisuudelle.
Nykyiset moderointiratkaisut koostuvat yleensä sovellusta ympäröivistä suojauskerroksista. Käytämme tätä mallia usein suuren käyttömäärän julkisissa palveluissa. Aiheeseen voi perehtyä tarkemmin sitä käsittelevässä blogikirjoituksessamme täällä.
Luokittele syötteet rinnakkain (älä päästä haitallisia kehotteita läpi): Pienet aihekohtaiset luokittimet luokittelevat jokaisen käyttäjäviestin samanaikaisesti. Olemme havainneet, että tarkasti rajatut luokittimet ovat mitattavasti luotettavampia kuin yksi kaiken kattava luokitin. Kehotteeseen huolellisesti valitut muutamalla esimerkillä opettamisen esimerkit voivat auttaa erottamaan ilmauksen “I keep getting killed by this boss” (pelikonteksti, täysin harmiton) todellisesta haittasignaalista.
Turvallinen → Luo vastaus normaalisti
Rajoitusten kiertäminen (jailbreak) → Ohita tai torju brändin mukaisella kieltäytymisellä
Turvallisuus- tai hyvinvointiriskit → Siirrä ihmiselle ja anna kattavat taustatiedot
Luokittele tuotokset (älä toimita haitallista vastausta): Jokainen vastausvaihtoehto tarkistetaan uudelleen ennen toimittamista. Tämä suojaa mallin ajautumiselta, RAG-datan myrkyttämiseltä ja käytäntöjen hienovaraisilta poikkeustapauksilta, kuten haitalliselta sisällöltä, henkilötietojen paljastumiselta tai arkaluonteisten tietojen vuotamiselta. Jos suuren kielimallin tuottama vastaus merkitään tarkistettavaksi, korvaamme sen turvallisella ja brändin mukaisella viestillä tai siirrämme sen ihmiselle sen sijaan, että toimittaisimme vastauksen, jota myöhemmin katuisimme.
Tee ratkaisusta nopea ja edullinen: Kun kehotteet rakennetaan uudelleenkäytettäviksi osiksi, kehotteiden osat, luokittimien muutamalla esimerkillä opettamisen esimerkit ja yleiset dialogien alut voidaan tallentaa välimuistiin. Näin voit lyhentää suojausten viivettä ja pienentää niiden kustannuksia.
Käsittele turvallisuutta osana tuotettaKieltäytymiset ja varoitukset kirjoitetaan tuotteen omalla äänensävyllä, esimerkiksi peleissä leikillisesti ja rahoitusalalla muodollisesti. Kun käyttökokemus huomioi käyttäjän tarkoituksen, suojaukset hyväksytään paremmin ja yritykset kiertää rajoituksia vähenevät.
Valvo, tee hyökkäävää tietoturvatestausta ja hyödynnä palauteJatkuva hyökkäävä tietoturvatestaus ja reaaliaikaiset turvallisuusnäkymät auttavat havaitsemaan heikennykset ennen kuin ne vaikuttavat käyttäjiin. Voimme opettaa mallille uusia hyökkäysmalleja lisäämällä muutamalla esimerkillä opettamisen esimerkkejä ja/tai reitityssääntöjä. Näin järjestelmää on ajan mittaan vaikeampi murtaa sovelluksen suorituskyvystä tinkimättä.
Tehokkaiden suojausten rakentaminen ja ylläpito on vaikeaa.
Käytännössä selkeästi määritellyn käytännön laatiminen edellyttää tiivistä yhteistyötä liiketoiminnan keskeisten sidosryhmien ja kehittäjien välillä. Kun käytäntö on määritelty, järjestelmän rakenne ja toiminta täytyy toteuttaa ja säätää.
Avoimet turvallisuuspäättelyä hyödyntävät mallit, kuten gpt-oss-safeguard, voivat ratkaista osan tämän prosessin ongelmista tarjoamalla käyttövalmiimman ja monipuolisemman perustan sisällön moderoinnille.
gpt-oss-safeguard pyrkii ratkaisemaan joitakin nykyisten moderointijärjestelmien rakentamiseen liittyviä yleisiä haasteita. Nämä pienet, erikoistuneet mallit on hienosäädetty päättelemään kohdekäytännön perusteella päättelyvaiheessa ja etsimään haitallista tai arkaluonteista sisältöä, kuten rajoitusten kiertämistä (jailbreak), henkilötietojen paljastumista ja muita käytäntörikkomuksia.
Kun luokitteluprosessiin sisällytetään päättelyä, moderointi on tarkempaa, kestävämpää ja vaikeammin ohitettavaa. GPT-OSS 20B:n ja 120B:n erikoistuneina turvallisuusversioina ne tarjoavat huippuluokan turvallisuussuorituskyvyn, mutta mukautettavien käytäntömääritelmien ansiosta käyttöönotto vaatii vain vähän työtä.
Arvioimme gpt-oss-safeguard 20B- ja 120B-malleja useissa tuotantokäyttöä jäljittelevissä tehtävissä: reaaliaikaisessa puheavustajassa, pelinsisäisessä pelaajatuessa, ennakoivassa keskustelujen moderointijärjestelmässä sekä monikielisessä toksisuuden arvioinnissa espanjaksi, ranskaksi, italiaksi, portugaliksi, venäjäksi ja turkiksi.
Viiveherkkä puheen moderointi: Reaaliaikaisissa puhetesteissämme – joissa vastaus luokitellaan, analysoidaan ja ohjataan kesken keskustelun esimerkiksi pelikeskustelun moderoinnissa – gpt-oss-safeguard-20B kuroi umpeen noin 80 % GPT-OSS-20B:n ja GPT-5-Minin välisestä tarkkuuserosta (0,71 vs. 0,78; lähtötaso 0,45) huomattavasti pienemmällä viiveellä.
Pelaajatuen eskalointi: Pelaajatuen tapausten lajittelussa gpt-oss-safeguard-20B kuroi umpeen noin 90 % GPT-OSS-20b:n ja GPT-5-Minin välisestä erosta (0,66 vs. 0,67; lähtötaso 0,57). Se saavutti myös testijoukon parhaan makrotarkkuuden, 88 %:n herkkyyden harmittoman sisällön tunnistamisessa ja 87 %:n tarkkuuden haavoittuvien käyttäjien tunnistamisessa. Tästä on hyötyä, kun tapaukset halutaan siirtää ihmisille varovaisesti ja luotettavasti kuormittamatta tarkastajia liikaa.
Laajojen käytäntöjen mukainen keskustelujen moderointi suuressa mittakaavassa: Vaativimmassa arvioinnissamme moderointijärjestelmän piti merkitä ennakoivasti pelinsisäisiä viestejä laajan käytäntöasiakirjan perusteella. gpt-oss-safeguard suoriutui selvästi OSS-perustasoa paremmin, paransi tulosta suhteellisesti noin 35 % ja käsitteli pitkiä käytäntöjä tehokkaasti. Tämä on erityisen herkkä käyttötapaus, joka edellyttää suurta herkkyyttä ja tarkkuutta. Jos herkkyys on liian heikko, monet haitalliset viestit jäävät havaitsematta. Heikko tarkkuus puolestaan johtaisi siihen, että ihmisistä koostuville moderaattoreille merkittäisiin paljon asiaankuulumattomia viestejä, mikä veisi heidän huomionsa aidosti vaikeista tapauksista.
Monikielinen suorituskyky: Kuuden kielen tasapainotetussa toksisuusaineistossa gpt-oss-safeguard pysyi hyvin GPT-5-Minin tahdissa. Tarkkuusero oli yleensä 3–5 prosenttiyksikköä, ja espanjassa gpt-oss-safeguard-120B oli hieman parempi. Havaitsimme hieman suurempia eroja vähäresurssisissa kielissä, kuten turkissa. Kokonaisuutena monikielinen suorituskyky oli kuitenkin vahvaa, ja siirtyminen 20B:stä 120B:hen paransi herkkyyttä johdonmukaisesti.
Havaitsimme myös, että gpt-oss-safeguard-mallit suoriutuvat hyvin moderoinnin osa-alueilla, joilla suuret kielimallit ovat perinteisesti heikompia. Tällaisia ovat esimerkiksi henkilötiedot: yleismallit tunnistavat usein paremmin yhdysvaltalaiset henkilötiedot ja suoriutuvat heikommin muiden alueiden tiedoista. Uskomme siksi, että gpt-oss-safeguard voi yksinkertaistaa moderointiratkaisuja vähentämällä tarvetta räätälöidyille työkaluille, joilla havaitaan laajemmilta suurilta kielimalleilta huomaamatta jääviä pieniä käytäntörikkomuksia.
Arviointimme osoittavat, että gpt-oss-safeguard-20B:n ja gpt-oss-safeguard-120B:n kaltaisilla moderoinnin perusmalleilla pääsee nopeasti pitkälle. Toimialakohtaisesti hienosäädetyt mallit ovat kuitenkin edelleen vertailukohta, kun järjestelmiltä vaaditaan parasta mahdollista turvallisuutta ja täsmällisyyttä.
Pelinsisäistä moderointia varten hienosäädimme Qwen3-0.6B-luokittimen valvotulla hienosäädöllä käyttäen noin 10 000:ta aiempaa moderaattoritoimenpidettä ja niiden käytäntötuloksia. Tämä malli suoriutuu tehtävästä selvästi paremmin kuin yksikään testaamamme perusmalli: sen tarkkuus on 57 %, kun gpt-oss-safeguard-120B:n tarkkuus on 15 % (arvio perustuu GPT-4.1-nanon suorituskykysuhteeseen). Parannus on 42 prosenttiyksikköä eli noin 280 %. Tulokset vastaavat OpenAI:n ohjeistusta, jonka mukaan nimetyillä esimerkeillä koulutetut pienet, tiettyyn tehtävään tarkoitetut luokittimet voivat erikoisaloilla suoriutua turvamalleja paremmin.
Johtopäätös on selvä: kun käytännöt ovat vivahteikkaita ja poikkeustapauksia on paljon, pieni toimialakohtaisesti hienosäädetty malli on edelleen paras vaihtoehto. Hienosäätö sisällyttää käytäntösi ja poikkeustapauksesi suoraan parametreihin. Näin mallin toiminta säilyy yhdenmukaisempana tuotantoympäristön kirjavissa tilanteissa, ja samalla viive ja kustannukset pysyvät hyvin pieninä.
Valvottu hienosäätö on vain yksi monista mahdollisista lähestymistavoista. Mallin toimintaa voidaan optimoida edelleen myös muilla tehokkailla koulutusmenetelmillä, kuten vahvistusoppimisella tai käytännön toimintaperiaatteeseen perustuvalla tislauksella.
Hienosäätö vaatii yleensä paljon dataa. Qwen3-0.6B-luokittimen hienosäätöön käytetyn aineiston olivat luokitelleet käsin ihmisistä koostuvat moderaattorit, joten se tarjosi laadukkaan ja luotettavan totuuspohjan.
Monissa hankkeissa näin kattavaa dataa ei kuitenkaan ole aluksi saatavilla. Siksi pidämme hienosäätöä yleensä optimointivaiheena, joka voidaan toteuttaa ratkaisun myöhemmässä kehitysvaiheessa. Kun ratkaisun rakenne on vakiintunut ja todellista käyttäjädataa on kertynyt, kehittäjät voivat parantaa moderointiratkaisujaan kohdennetulla hienosäädöllä.
gpt-oss-safeguardin kaltaiset moderoinnin perusmallit ovat tehokkaita uusia rakennuspalikoita. Ne voivat yksinkertaistaa moderointijärjestelmien suunnittelua merkittävästi ja lyhentää samalla reaaliaikaisten sovellusten viivettä. Kun niiden rinnalla käytetään pieniä, räätälöityjä luokittimia, tuloksena on turvallisempi ja nopeampi järjestelmä, jossa on vähemmän liikkuvia osia kuin suuria yleismalleja ja kehotteita käyttävässä ratkaisussa.
Jos olet nyt ottamassa käyttöön tai päivittämässä moderointia, aloita esimerkiksi gpt-oss-safeguard-malleista ja mittaa niiden suorituskykyä. Lisää räätälöityjä, kehoteohjattuja tai hienosäädettyjä luokittimia kohdennetusti sinne, missä data osoittaa olevan puutteita.
Haluatko tietää lisää? Lähetä meille viesti.