Az elmúlt két évben több millió felhasználó biztonságos kiszolgálására méretezhető megoldásokat építettünk. A munka kulcsfontosságú része gyors és pontos moderációs rendszerek tervezése volt. A hatékony moderáció lehetővé teszi, hogy a vállalatok magabiztosan vezessenek be élvonalbeli MI-megoldásokat: megóvja a végfelhasználókat, és védi a márkát azáltal, hogy még azelőtt kiszűri a nem kívánt tartalmakat, hogy problémát okoznának.
Nemrég az OpenAI kiadta GPT-OSS-Safeguard modelljeit: az év elején bemutatott 20B és 120B OSS modellek finomhangolt változatait. Ezek a modellek közvetlenül a következtetés során képesek értelmezni a felhasználó szabályzatát, rugalmas és hatékony megközelítést kínálva a tartalommoderációhoz. A modellek kutatási előzetesként érhetők el, így idővel kétségtelenül tovább fejlődnek majd.
A kiadás előtt együttműködtünk az OpenAI-jal, és valós körülmények között végzett értékelésekkel segítettük a modell fejlesztését. Ebben a cikkben bemutatjuk az együttműködés során szerzett tapasztalatainkat, és megvizsgáljuk, mit jelentenek ezek az előrelépések az éles MI-rendszerek moderációjának jövőjére nézve.
A moderációs megoldások ma jellemzően az alkalmazás köré épített védelmi rétegekből állnak. Ezt a mintát széles körben alkalmazzuk nagy forgalmú, nyilvános rendszerekben. A témáról részletesebben ebben a blogbejegyzésünkben olvashat.
A bemenetek párhuzamos osztályozása (ne engedjük be a káros utasításokat): Kis méretű, témaspecifikus osztályozók egyidejűleg címkézik az egyes felhasználói üzeneteket. Tapasztalataink szerint a szűk területre összpontosító osztályozók mérhetően megbízhatóbbak egyetlen univerzális megoldásnál. Az utasításban gondosan megválasztott kevés lövéses példák segíthetnek megkülönböztetni az „I keep getting killed by this boss” kijelentést – amely játékbeli és teljesen ártalmatlan – a valós veszélyre utaló jelzésektől.
Biztonságos → Normál generálás
Jailbreakek → Figyelmen kívül hagyás vagy a márka hangjához illő elutasító válasz
Biztonsági vagy jólléti kockázatok → Továbbítás emberi munkatársnak részletes kontextussal
A kimenetek osztályozása (ne küldjünk ki káros választ): Minden válaszjelöltet újból ellenőrzünk a kézbesítés előtt. Ez védelmet nyújt a modelleltolódás, a RAG-adatok mérgezése és az olyan nehezen felismerhető szélső esetek ellen, mint a káros tartalom, a személyazonosításra alkalmas adatok felfedése vagy a bizalmas információk kiszivárgása. Ha a rendszer megjelöli a választ, az LLM által generált szöveg helyett biztonságos, a márkához illő üzenetet küldünk, vagy emberi munkatárshoz továbbítjuk az ügyet – ahelyett, hogy később megbánható tartalmat adnánk ki.
Legyen gyors és megfizethető: Az utasítások újrafelhasználható építőelemekből való összeállítása lehetővé teszi az utasításrészletek, az osztályozók kevés lövéses példái és a gyakori párbeszédkezdetek gyorsítótárazását. Ez a megközelítés a védelmi korlátok késleltetését és költségét egyaránt csökkenti.
A biztonságot a termékélmény részeként kezeljükAz elutasításokat és figyelmeztetéseket a termék hangján fogalmazzuk meg – például játékoknál játékosan, pénzügyi szolgáltatásoknál formálisan. Ha a felhasználói élmény tiszteletben tartja a felhasználó szándékát, nő a védelmi korlátok elfogadottsága, és csökken a jailbreak-kísérletek száma.
Folyamatos megfigyelés, támadásszimuláció és visszacsatolásA folyamatos támadásszimuláció és az élő biztonsági irányítópultok segítenek észlelni a visszaeséseket, mielőtt azok elérnék a felhasználókat. További kevés lövéses példákkal és/vagy útválasztási szabályokkal megtaníthatjuk a modellnek az új támadási mintákat, így a rendszer idővel egyre nehezebben törhető fel anélkül, hogy romlana az alkalmazás teljesítménye.
Hatékony védelmi korlátokat kialakítani és fenntartani nehéz.
A gyakorlatban a jól meghatározott szabályzat kialakításához a legfontosabb üzleti érintettek és a fejlesztők gondos együttműködésére van szükség. A szabályzat meghatározása után ki kell alakítani és finomhangolni a rendszer felépítését és viselkedését.
Az olyan nyílt, biztonsági érvelésre képes modellek megjelenése, mint a gpt-oss-safeguard, a tartalommoderáció sokoldalúbb, használatra készebb alapjával enyhítheti e folyamat egyes nehézségeit.
A Gpt-oss-safeguard célja, hogy megoldást kínáljon a mai moderációs rendszerek kialakításának néhány gyakori kihívására. Ezeket a kis méretű, speciális modelleket arra hangolták finom, hogy a következtetés során értelmezzék a célszabályzatot, és felismerjék az olyan káros vagy érzékeny tartalmakat, mint a jailbreakek, a személyazonosításra alkalmas adatok felfedése és más szabálysértések.
Mivel az osztályozási folyamatba érvelést is beépítenek, pontosabb, ellenállóbb és nehezebben megkerülhető moderációt nyújtanak. A GPT-OSS 20B és 120B speciális biztonsági változataiként élvonalbeli biztonsági teljesítményt kínálnak, miközben az egyedi szabályzatmeghatározásoknak köszönhetően csak minimális beállítást igényelnek.
A gpt-oss-safeguard 20B és 120B modelleket több, éles használatot tükröző feladaton értékeltük: valós idejű hangasszisztensen, játékon belüli játékostámogató boton, proaktív csevegésmoderációs rendszeren és többnyelvű toxicitásvizsgálaton (spanyol, francia, olasz, portugál, orosz és török nyelven).
Késleltetésérzékeny hangmoderáció: Valós idejű hangtesztjeinkben – vagyis olyan élő beszélgetések osztályozásakor, ahol a választ elemezni és rangsorolni kell, például játékbeli csevegés moderálásánál – a gpt-oss-safeguard-20B a GPT-OSS-20B és a GPT-5-Mini közötti pontossági különbség mintegy 80%-át ledolgozta (0,71 a 0,78-cal szemben, 0,45-ről javulva), jelentősen alacsonyabb késleltetés mellett.
Játékostámogatási ügyek továbbítása: A játékostámogatási ügyek osztályozásában a gpt-oss-safeguard-20B a GPT-OSS-20b és a GPT-5-Mini közötti különbség mintegy 90%-át ledolgozta (0,66 a 0,67-tel szemben, 0,57-ről javulva). Emellett a tesztmezőny legjobb makropontosságát, az ártalmatlan tartalmaknál 88%-os visszahívást, a veszélyeztetett felhasználók felismerésében pedig 87%-os pontosságot ért el. Ez akkor hasznos, ha óvatos, nagy megbízhatóságú továbbításra van szükség az emberi ellenőrök túlterhelése nélkül.
Nagy léptékű, összetett szabályzatokra épülő csevegésmoderáció: A legnagyobb kihívást jelentő értékelésünkben – amelyben egy részletes szabályzat alapján kellett proaktívan megjelölni a játékon belüli üzeneteket – a gpt-oss-safeguard egyértelműen felülmúlta az OSS-alapmodellt, mintegy 35%-os relatív javulást ért el, és hatékonyan kezelte a hosszú szabályzatokat. Ez különösen érzékeny felhasználási mód, amely nagy visszahívást és pontosságot igényel. Túl alacsony visszahívás esetén sok káros üzenet észrevétlen marad. Az alacsony pontosság pedig sok irreleváns üzenetet továbbítana az emberi moderátoroknak, elvonva figyelmüket az igazán nehéz esetektől.
Többnyelvű teljesítmény: Egy hat nyelvet lefedő, kiegyensúlyozott toxicitási adatkészleten a gpt-oss-safeguard jól követte a GPT-5-Mini teljesítményét: pontossága általában 3–5 százalékponton belül maradt, spanyolul pedig a gpt-oss-safeguard-120B kis előnyt szerzett. Az erőforráshiányosabb nyelveknél, például a töröknél valamivel nagyobb eltéréseket figyeltünk meg, az összkép azonban stabil, nyelveken átívelő teljesítményt mutatott; a 20B-ről 120B-re váltás következetesen javította a visszahívást.
Azt is megfigyeltük, hogy a gpt-oss-safeguard modellek erősen teljesítenek azokon a moderációs területeken, ahol az LLM-ek hagyományosan gyengébbek. Ilyenek például a személyazonosításra alkalmas adatok: az általános modellek inkább az amerikai formátumú adatokat ismerik fel, más földrajzi régiókban pedig gyengébben teljesítenek. Ezért úgy véljük, hogy a gpt-oss-safeguard leegyszerűsítheti a moderációs rendszerek kialakítását: csökkentheti az egyedi eszközöktől való függést az olyan kisebb szabálysértések felismerésében, amelyeket az általánosabb LLM-ek nem tudnak kezelni.
Értékeléseink tehát megmutatták, hogy az olyan „alap moderációs modellekkel”, mint a gpt-oss-safeguard-20B és a gpt-oss-safeguard-120B, gyorsan messzire lehet jutni. Ha azonban a rendszernek a legszigorúbb biztonsági és pontossági követelményeknek kell megfelelnie, továbbra is a szakterületre szabott finomhangolás jelenti a mércét.
A játékon belüli moderációhoz felügyelt finomhangolással tanítottunk be egy Qwen3-0.6B osztályozót, mintegy 10 ezer korábbi moderátori intézkedés és szabályzati eredmény alapján. Ez a modell jelentősen felülmúlta a feladaton tesztelt összes alapmodellt: 57%-os pontosságot ért el a 15%-kal szemben (gpt-oss-safeguard-120B, a GPT-4.1-nano teljesítményarányából becsülve), ami 42 százalékpontos, mintegy 280%-os javulás. Ezek az eredmények összhangban vannak az OpenAI iránymutatásával, amely szerint a címkézett példákon betanított kisebb, célzott osztályozók speciális területeken felülmúlhatják a védelmi modelleket.
A tanulság egyértelmű: árnyalt, sok szélső esetre kiterjedő szabályzatoknál továbbra is a kisméretű, szakterületre hangolt modell az aranystandard. A finomhangolás közvetlenül a paraméterekbe építi a szabályzatot és a szélső eseteket, így a modell az éles környezet kusza helyzeteiben is következetesebben működik, minimális késleltetéssel és költséggel.
A felügyelt finomhangolás csupán egy a lehetséges megközelítések közül. Más hatékony tanítási technikák, például a megerősítéses tanulás vagy az aktuális szabályzat szerinti desztilláció is alkalmazható a modell viselkedésének további optimalizálására.
A finomhangolás általában nagy adatmennyiséget igényel. A Qwen3-0.6B osztályozó finomhangolásához használt adatkészletet emberi moderátorok címkézték kézzel, így az tiszta, hiteles viszonyítási alapot jelentett.
Sok projekt kezdetén azonban nem áll rendelkezésre ilyen gazdag adatkészlet. Ezért a finomhangolásra általában olyan optimalizálásként tekintünk, amelyre a megoldás fejlesztési ciklusának későbbi szakaszában kerülhet sor. Miután a megoldás kialakítása megszilárdult, és összegyűlt némi valós felhasználói adat, a fejlesztők célzott finomhangolással emelhetik magasabb szintre moderációs megoldásaikat.
Az olyan alap moderációs modellek, mint a gpt-oss-safeguard, új és hatékony építőelemek. Jelentősen leegyszerűsíthetik a moderációs rendszerek tervezését, miközben csökkentik a valós idejű alkalmazások késleltetését. Kis méretű, egyedi osztályozókkal párosítva biztonságosabb és gyorsabb, kevesebb mozgó alkatrészből álló rendszer építhető, mint a nagy, általános modellekre és utasításokra épülő megközelítéssel.
Ha most épít vagy korszerűsít moderációs rendszert, érdemes először olyan modellekkel kezdeni, mint a gpt-oss-safeguard, felmérni a teljesítményt, majd ott bevezetni egyedi osztályozókra épülő célzott fejlesztéseket – utasításalapú vagy finomhangolt megoldásokat –, ahol az adatok hiányosságokat jeleznek.
Szeretne többet megtudni? Írjon nekünk.