この 2 年間で、数百万人のユーザーに安全に展開できるソリューションを構築してきました。その中核を担ってきたのが、高速かつ正確なモデレーションシステムの設計です。効果的なモデレーションは、望ましくない生成内容が問題になる前に検出し、エンドユーザーを被害から守るとともにブランドの安全性を確保します。これにより、企業は最先端の AI ソリューションを安心して導入できます。
先日、OpenAI は GPT-OSS-Safeguard モデルをリリースしました。これは、今年前半に発表された 20B および 120B の OSS モデルをファインチューニングしたものです。これらのモデルは推論時にユーザーのポリシーを直接解釈でき、柔軟かつ強力なコンテンツモデレーションを実現します。現在は研究プレビュー段階であり、今後も継続的な改善が見込まれます。
今回のリリースに先立って OpenAI と協力し、モデル開発に役立てるため、実環境を想定した評価を実施しました。本記事では、この協力から得られた知見を共有し、こうした進歩が本番 AI システムにおけるモデレーションの将来に何をもたらすのかを考察します。
現在のモデレーションソリューションは通常、アプリケーションを取り囲む多層的な防御として設計されます。当社では、利用量が多く一般公開されるシステムに、このパターンを広く採用しています。詳しくは、こちらのブログ記事をご覧ください。
入力を並列に分類（不適切なプロンプトを通さない）：トピック別の小型分類器を同時に実行し、各ユーザーメッセージにラベルを付けます。対象を絞った分類器は、単一の汎用分類器よりも明らかに信頼性が高いことが分かっています。プロンプト内に適切なフューショット例を設定すれば、「このボスに何度も殺される」（ゲーム内の文脈であり、まったく無害）という発言と、現実世界での危害を示す兆候を見分けやすくなります。
安全 → 通常どおり生成
ジェイルブレイク → 無視するか、ブランドらしい拒否応答でかわす
安全またはウェルビーイング上のリスク → 詳細な文脈を添えて担当者にエスカレーション
出力を分類（不適切な回答を送らない）：回答候補はすべて、提供前に再検査します。これにより、モデルドリフト、RAG データポイズニングのほか、有害コンテンツ、PII の露出、機密情報の漏えいといった見落としやすいポリシー上の例外にも対処できます。問題が検出された場合、後悔するような回答を送るのではなく、LLM が生成した回答を安全でブランドに沿ったメッセージに差し替えるか、担当者にエスカレーションします。
高速かつ低コストに：プロンプトを再利用可能な構成要素として設計すると、プロンプト断片、分類器のフューショット例、共通の対話接頭辞をキャッシュできます。この手法により、ガードレールのレイテンシーとコストの両方を削減できます。
安全性を製品体験の一部として扱う拒否や警告は、ゲームなら親しみやすく、金融ならフォーマルになど、製品らしい語り口で作成します。UX がユーザーの意図を尊重すれば、ガードレールの受容度が高まり、ジェイルブレイクの試みが減少します
監視、レッドチーミング、フィードバックループの構築継続的なレッドチーミングとリアルタイムの安全性ダッシュボードにより、ユーザーに影響が及ぶ前に性能低下を検出できます。新たな攻撃パターンが見つかった場合は、フューショット例やルーティングルールを追加してモデルに学習させられます。これにより、アプリケーションの性能を損なうことなく、時間とともに突破されにくいシステムへと強化できます。
効果的なガードレールの構築と維持は容易ではありません。
実際には、明確なポリシーを策定するため、主要なビジネス関係者と開発者が緊密に連携する必要があります。ポリシーを定めた後は、それに沿ってシステムの設計と動作を構築し、調整しなければなりません。
gpt-oss-safeguard のようなオープンな安全性推論モデルの登場により、このプロセスの課題の一部が解消され、すぐに使えて汎用性の高いコンテンツモデレーション基盤が実現する可能性があります。
Gpt-oss-safeguard は、現在のモデレーションシステム構築に共通する課題の一部を解決することを目指しています。これらの小型特化モデルは、推論時に対象ポリシーについて推論し、ジェイルブレイク、PII の露出、その他のポリシー違反など、有害または機密性の高いコンテンツを検出できるようファインチューニングされています。
分類プロセスに推論を取り入れることで、回避されにくく、より正確で堅牢なモデレーションを実現します。GPT-OSS 20B と 120B の安全性特化版として、カスタムポリシーを定義するだけの最小限の準備で、最先端の安全性能を実現します。
gpt-oss-safeguard 20B と 120B を、リアルタイム音声アシスタント、ゲーム内プレイヤーサポートボット、能動的なチャットモデレーションシステム、多言語の有害性検査（スペイン語、フランス語、イタリア語、ポルトガル語、ロシア語、トルコ語）という、本番環境を想定した複数のタスクで評価しました。
レイテンシーが重視される音声モデレーション：リアルタイム音声テスト（ゲーム内チャットのモデレーションのように、会話中の応答をその場で分析して優先度を判定するケース）では、gpt-oss-safeguard-20B が GPT-OSS-20B と GPT-5-Mini の精度差の約 80% を縮めました。スコアは 0.45 から 0.71 に向上し、GPT-5-Mini の 0.78 に迫りながら、レイテンシーを大幅に抑えました。
プレイヤーサポートのエスカレーション：プレイヤーサポートの優先度判定では、gpt-oss-safeguard-20B が GPT-OSS-20b と GPT-5-Mini の差の約 90% を縮めました。スコアは 0.57 から 0.66 に向上し、GPT-5-Mini の 0.67 に迫りました。さらに、比較対象中で最高のマクロ適合率を記録し、無害なコンテンツの再現率は 88%、脆弱なユーザーの検出精度は 87% でした。人間の審査担当者に過剰な件数を送ることなく、慎重で信頼性の高いエスカレーションを行いたい場合に有効です。
複雑なポリシーに基づく大規模チャットモデレーション：最も難しい評価では、詳細なポリシー文書に従ってゲーム内メッセージを能動的に検出する必要がありました。gpt-oss-safeguard は OSS ベースラインを明確に上回り、相対的に約 35% 向上したほか、長いポリシーにも効果的に対応しました。これは、高い再現率と適合率が求められる、特に慎重な対応が必要なユースケースです。再現率が低すぎると、多くの有害なメッセージを見逃してしまいます。一方、適合率が低いと、無関係なメッセージまで多数モデレーターに報告され、本当に難しいケースに向けるべき注意が分散してしまいます。
多言語性能：6 言語の均衡が取れた有害性データセットでは、gpt-oss-safeguard は GPT-5-Mini に迫る性能を示し、精度差は通常 3～5 ポイント以内でした。スペイン語では gpt-oss-safeguard-120B がわずかに上回りました。トルコ語などデータ資源の少ない言語では差がやや広がりましたが、全体として多言語間で安定した性能を示し、20B から 120B への移行に伴って再現率も一貫して向上しました。
また、gpt-oss-safeguard モデルは、従来 LLM がモデレーションを苦手としてきた領域でも優れた性能を示しました。たとえば PII データでは、一般的なモデルは米国形式の PII を検出しやすい一方、その他の地域では性能が低下する傾向があります。こうした結果から、gpt-oss-safeguard は、汎用的な LLM では対処できない軽微なポリシー違反を検出する専用ツールへの依存を減らし、モデレーション環境の構築を簡素化するうえで有用だと考えています。
今回の評価から、gpt-oss-safeguard-20B や gpt-oss-safeguard-120B のような「基盤モデレーションモデル」を使えば、短期間で大きな成果を得られることが分かりました。ただし、システムに最高水準の安全性と精度が求められる場合は、依然としてドメイン特化型のファインチューニングが最も優れています。
ゲーム内モデレーションでは、過去のモデレーターによる対応とポリシー判定約 1 万件を用いて、Qwen3-0.6B 分類器に教師ありファインチューニングを行いました。このモデルは、このタスクで検証したすべてのベースモデルを大幅に上回り、精度は 57% に達しました。15% の gpt-oss-safeguard-120B（GPT-4.1-nano の性能比から推定）に対して 42 ポイント増、約 280% の向上です。この結果は、ラベル付き事例で訓練した小型の専用分類器が、特定分野ではセーフガードモデルを上回り得るという OpenAI の指針と一致しています。
結論は明確です。ポリシーが複雑で例外的なケースが多い場合、小型のドメイン特化モデルが引き続き最良の選択肢です。ファインチューニングでは、ポリシーや例外的なケースをパラメーターに直接組み込めます。そのため、複雑な本番環境でも動作が安定し、レイテンシーとコストもごくわずかに抑えられます。
教師ありファインチューニングは、実現手法の一つにすぎません。強化学習やオンポリシー蒸留など、ほかの強力な訓練手法を活用し、モデルの動作をさらに最適化することもできます。
通常、ファインチューニングには大量のデータが必要です。この Qwen3-0.6B 分類器のファインチューニングには、人間のモデレーターが手作業でラベル付けした、信頼性の高い正解データセットを使用しました。
多くのプロジェクトでは、当初からこのような充実したデータが揃っているとは限りません。そのため、ファインチューニングはソリューションの開発サイクル後半で行う最適化だと考えています。ソリューションの全体像が固まり、実際のユーザーデータが蓄積された段階で、対象特化型ファインチューニングを導入し、モデレーションソリューションをさらに強化できます。
gpt-oss-safeguard のような基盤モデレーションモデルは、強力な新しい構成要素です。リアルタイムアプリケーションのレイテンシーを削減しながら、モデレーションシステムの設計を大幅に簡素化できる可能性があります。小型の専用分類器と組み合わせれば、大規模な汎用モデルをプロンプトで制御する手法よりも構成要素が少なく、安全かつ高速なシステムを構築できます。
モデレーションを新規導入または更新するなら、まず gpt-oss-safeguard のようなモデルから始めて性能を測定し、データから判明した不足部分に専用分類器（プロンプトベースまたはファインチューニング済み）による強化を加えることを検討してください。
さらに詳しく知りたい方へお問い合わせください。