In den vergangenen zwei Jahren haben wir Lösungen entwickelt, die sicher auf Millionen von Menschen skaliert wurden. Ein wesentlicher Teil dieser Arbeit war die Entwicklung schneller und präziser Moderationssysteme. Wirksame Moderation ermöglicht Unternehmen, moderne KI-Lösungen zuverlässig einzusetzen. Sie schützt Menschen vor Schäden und Marken vor Risiken, indem sie unerwünschte Modellergebnisse erkennt, bevor sie zum Problem werden.
Vor Kurzem hat OpenAI seine GPT-OSS-Safeguard-Modelle veröffentlicht: feinabgestimmte Versionen der Anfang des Jahres vorgestellten OSS-Modelle mit 20B und 120B. Diese Modelle können die Richtlinie eines Unternehmens direkt während der Inferenz interpretieren und ermöglichen so eine flexible, leistungsfähige Inhaltsmoderation. Die Modelle befinden sich in einer Forschungsvorschau und werden daher im Laufe der Zeit zweifellos weiter verbessert.
Vor der Veröffentlichung haben wir mit OpenAI zusammengearbeitet und praxisnahe Evaluierungen durchgeführt, deren Erkenntnisse in die Modellentwicklung einflossen. In diesem Artikel teilen wir Erkenntnisse aus dieser Zusammenarbeit und untersuchen, was diese Fortschritte für die Zukunft der Moderation in KI-Systemen im Produktivbetrieb bedeuten.
Moderationslösungen bestehen heute meist aus mehreren Schutzebenen rund um die Anwendung. Dieses Muster setzen wir häufig bei öffentlich zugänglichen Anwendungen mit hohem Volumen ein. Ausführlichere Informationen findest du in unserem Blogbeitrag dazu.
Eingaben parallel klassifizieren (schädliche Prompts abfangen): Kleine, themenspezifische Klassifikatoren kennzeichnen gleichzeitig jede Nachricht. Unsere Erfahrung zeigt, dass eng spezialisierte Klassifikatoren messbar zuverlässiger sind als ein einzelner universeller Klassifikator. Sorgfältig ausgewählte Few-Shot-Beispiele im Prompt können helfen, zwischen „Dieser Boss bringt mich ständig um“ (Spielkontext, völlig harmlos) und einem Hinweis auf eine reale Gefährdung zu unterscheiden.
Sicher → Normal generieren
Jailbreaks → Ignorieren oder mit einer markengerechten Ablehnung abwehren
Sicherheits- oder Gesundheitsrisiken → mit umfassendem Kontext an einen Menschen weiterleiten
Ausgaben klassifizieren (keine schädliche Antwort ausliefern): Jede mögliche Antwort wird vor der Auslieferung erneut geprüft. Das schützt vor Modelldrift, Datenvergiftung bei RAG und schwer erkennbaren Grenzfällen der Richtlinie, etwa schädlichen Inhalten, der Offenlegung personenbezogener Daten oder dem Durchsickern vertraulicher Informationen. Wird die Antwort markiert, ersetzen wir die vom LLM generierte Antwort durch eine sichere, zur Marke passende Nachricht oder leiten sie an einen Menschen weiter, statt später eine Auslieferung zu bereuen.
Schnell und kostengünstig umsetzen: Wenn Prompts als wiederverwendbare Bausteine angelegt sind, lassen sich Prompt-Fragmente, Few-Shot-Beispiele für Klassifikatoren und häufige Dialoganfänge zwischenspeichern. Dieser Ansatz senkt sowohl die Latenz als auch die Kosten deiner Schutzmechanismen.
Sicherheit als Teil des Produkterlebnisses behandelnAblehnungen und Warnungen sind im passenden Ton formuliert, beispielsweise verspielt bei Spielen und formell bei Finanzanwendungen. Wenn die Nutzerführung die Absicht der Menschen berücksichtigt, steigt die Akzeptanz der Schutzmechanismen und die Zahl der Jailbreak-Versuche sinkt.
Überwachen, mit Red Teaming testen und den Kreislauf schließenKontinuierliches Red Teaming und Echtzeit-Dashboards zur Sicherheit helfen, Regressionen zu erkennen, bevor Menschen davon betroffen sind. Mit zusätzlichen Few-Shot-Beispielen und/oder Routingregeln können wir dem Modell neue Angriffsmuster vermitteln. So wird das System mit der Zeit widerstandsfähiger, ohne die Anwendungsleistung zu beeinträchtigen.
Wirksame Schutzmechanismen zu entwickeln und zu pflegen, ist schwierig.
In der Praxis müssen zentrale Verantwortliche des Unternehmens und Entwicklungsteams eng zusammenarbeiten, um eine klar definierte Richtlinie zu erstellen. Sobald eine Richtlinie festgelegt ist, müssen das System und sein Verhalten entwickelt und abgestimmt werden.
Offene Sicherheitsmodelle mit Reasoning wie gpt-oss-safeguard können einige Schwierigkeiten dieses Prozesses lösen und eine vielseitigere, sofort nutzbare Grundlage für die Inhaltsmoderation bieten.
Gpt-oss-safeguard soll einige der Herausforderungen lösen, die beim Aufbau heutiger Moderationssysteme häufig auftreten. Diese kleinen, spezialisierten Modelle sind darauf feinabgestimmt, während der Inferenz anhand einer vorgegebenen Richtlinie Schlussfolgerungen zu ziehen und schädliche oder vertrauliche Inhalte wie Jailbreaks, die Offenlegung personenbezogener Daten und andere Richtlinienverstöße zu erkennen.
Indem sie Reasoning in die Klassifizierung einbeziehen, ermöglichen sie eine präzisere, robustere und schwerer zu umgehende Moderation. Als spezialisierte Sicherheitsvarianten von GPT-OSS 20B und 120B bieten sie modernste Sicherheitsleistung und erfordern dank individueller Richtliniendefinitionen nur minimalen Einrichtungsaufwand.
Wir haben gpt-oss-safeguard 20B und 120B anhand mehrerer praxisnaher Aufgaben evaluiert: eines Echtzeit-Sprachassistenten, eines Supportbots für Spielende, eines proaktiven Chatmoderationssystems und eines mehrsprachigen Tests auf toxische Inhalte (Spanisch, Französisch, Italienisch, Portugiesisch, Russisch und Türkisch).
Latenzkritische Sprachmoderation: In unseren Echtzeit-Sprachtests, also bei der Live-Klassifizierung innerhalb eines Gesprächs, in dem eine Antwort wie bei der Moderation eines Spielchats analysiert und priorisiert werden muss, schloss gpt-oss-safeguard-20B bei deutlich geringerer Latenz rund 80 % der Genauigkeitslücke zwischen GPT-OSS-20B und GPT-5-Mini (0,71 gegenüber 0,78, ausgehend von 0,45).
Eskalation im Support für Spielende: Bei der Priorisierung von Supportanfragen schloss gpt-oss-safeguard-20B rund 90 % der Lücke zwischen GPT-OSS-20b und GPT-5-Mini (0,66 gegenüber 0,67, ausgehend von 0,57). Zudem erzielte es die beste Makro-Präzision im Testfeld, eine Trefferquote von 88 % bei harmlosen Inhalten und eine Präzision von 87 % bei der Erkennung gefährdeter Personen. Das ist hilfreich für zurückhaltende, verlässliche Eskalationen, ohne menschliche Prüfteams zu überlasten.
Skalierbare Chatmoderation mit umfangreichen Richtlinien: In unserer anspruchsvollsten Evaluierung musste ein Moderationssystem Nachrichten im Spiel anhand eines umfangreichen Richtliniendokuments proaktiv markieren. Dabei übertraf gpt-oss-safeguard die OSS-Basis deutlich, erzielte eine relative Verbesserung von rund 35 % und verarbeitete lange Richtlinien effektiv. Dieser Anwendungsfall ist besonders sensibel und erfordert eine hohe Trefferquote und Präzision. Bei einer zu niedrigen Trefferquote bleiben viele schädliche Nachrichten unerkannt. Eine geringe Präzision wiederum würde dazu führen, dass viele irrelevante Nachrichten zur menschlichen Prüfung markiert werden. Dadurch bliebe weniger Aufmerksamkeit für die wirklich schwierigen Fälle.
Mehrsprachige Leistung: Bei einem ausgewogenen Datensatz mit toxischen Inhalten in sechs Sprachen lag gpt-oss-safeguard meist nur 3 bis 5 Prozentpunkte hinter der Genauigkeit von GPT-5-Mini. Im Spanischen schnitt gpt-oss-safeguard-120B sogar etwas besser ab. Bei Sprachen mit weniger verfügbaren Ressourcen wie Türkisch beobachteten wir etwas größere Abstände. Insgesamt zeigte sich jedoch eine solide sprachübergreifende Leistung, wobei die Trefferquote beim Wechsel von 20B zu 120B durchgängig stieg.
Wir stellten außerdem fest, dass die gpt-oss-safeguard-Modelle in Bereichen gute Ergebnisse erzielen, in denen LLMs bei der Moderation traditionell schwächer sind. Dazu zählen personenbezogene Daten: Allgemeine Modelle erkennen häufig vor allem US-amerikanische Formate und schneiden in anderen Regionen schwächer ab. Daher erwarten wir, dass gpt-oss-safeguard die Einrichtung von Moderationssystemen vereinfachen kann. Es verringert die Abhängigkeit von maßgeschneiderten Werkzeugen, die kleinere Richtlinienverstöße erkennen, mit denen allgemeinere LLMs nicht umgehen können.
Unsere Evaluierungen zeigen also: „Basismodelle für die Moderation“ wie gpt-oss-safeguard-20B und gpt-oss-safeguard-120B bringen dich schnell weit. Wenn Systeme jedoch höchste Sicherheit und Spezifität erfordern, bleiben domänenspezifisch feinabgestimmte Modelle der Maßstab.
Für die Moderation im Spiel haben wir einen Qwen3-0.6B-Klassifikator mittels überwachtem Fine-Tuning anhand von rund 10.000 früheren Moderationsentscheidungen und deren Ergebnissen feinabgestimmt. Dieses Modell übertrifft bei dieser Aufgabe jedes von uns getestete Basismodell deutlich. Es erreicht eine Genauigkeit von 57 % gegenüber 15 % bei gpt-oss-safeguard-120B (anhand des Leistungsverhältnisses von GPT-4.1-nano geschätzt), also 42 Prozentpunkte beziehungsweise rund 280 % mehr. Diese Ergebnisse entsprechen dem Hinweis von OpenAI, dass kleinere, speziell dafür entwickelte und mit gekennzeichneten Beispielen trainierte Klassifikatoren in spezialisierten Bereichen bessere Ergebnisse erzielen können als Schutzmodelle.
Die Erkenntnis ist eindeutig: Bei differenzierten Richtlinien mit vielen Grenzfällen bleibt ein kleines, domänenspezifisch abgestimmtes Modell der Goldstandard. Beim Fine-Tuning werden deine Richtlinie und ihre Grenzfälle direkt in den Parametern verankert. Das sorgt in der komplexen Praxis des Produktivbetriebs für konsistenteres Verhalten bei minimaler Latenz und geringen Kosten.
Überwachtes Fine-Tuning ist dafür nur einer von mehreren möglichen Ansätzen. Auch andere leistungsfähige Trainingstechniken wie Reinforcement Learning oder On-Policy-Destillation können das Verhalten des Modells weiter optimieren.
Fine-Tuning erfordert in der Regel große Datenmengen. Der für das Fine-Tuning dieses Qwen3-0.6B-Klassifikators verwendete Datensatz war von Menschen in der Moderation manuell gekennzeichnet worden und stellte daher eine saubere, verlässliche Referenz dar.
Bei vielen Projekten stehen solche umfangreichen Daten anfangs jedoch nicht zur Verfügung. Daher betrachten wir Fine-Tuning eher als Optimierung für eine spätere Phase im Entwicklungszyklus einer Lösung. Sobald die Lösung stabil ist und erste echte Nutzungsdaten vorliegen, können Entwicklungsteams ihre Moderationslösungen mit gezieltem Fine-Tuning weiter verbessern.
Basismodelle für die Moderation wie gpt-oss-safeguard sind leistungsfähige neue Bausteine. Sie können die Entwicklung von Moderationssystemen deutlich vereinfachen und zugleich die Latenz von Echtzeitanwendungen senken. Kombinierst du sie mit kleinen, maßgeschneiderten Klassifikatoren, kannst du ein sichereres und schnelleres System mit weniger Komponenten entwickeln als mit einem Prompt-basierten Ansatz und großen Allzweckmodellen.
Wenn du heute ein Moderationssystem einführst oder aktualisierst, beginne am besten mit Modellen wie gpt-oss-safeguard. Miss ihre Leistung und ergänze bei nachgewiesenen Lücken gezielte Verbesserungen durch maßgeschneiderte Prompt-basierte oder feinabgestimmte Klassifikatoren.
Möchtest du mehr erfahren? Schreib uns.