一般公開される大規模言語モデル（LLM）アプリケーションは、ブランドの評判や財務にリスクをもたらす可能性があります。
多層型の分類フィルターを使用し、LLM のジェイルブレイクやその他の意図しない挙動による被害を軽減しています。
この手法は、1 日のメッセージ数が 40,000 件に達し、今なお増加している大規模な本番アプリケーションに導入済みです。
この 1 年、私たちは大手ゲーム開発会社と提携し、子どもを含むプレイヤー層から1 日約 40,000 件のメッセージに対応する生成 AI チャットボットを導入してきました。速度、精度、安全性、楽しさの両立が不可欠です。
ブランドを体現するチャットボットには、安全性だけでなく、そのブランドらしい語り口も必要です。
ゲーム会社の場合、特に低年齢層に向けて、安全性と楽しさ、ユーザーの高揚感を両立させる必要があります。
現代の生成 AI アプリケーションを支える LLM は非常に柔軟で、多様な問題にうまく対応できる一方、制約が十分ではありません。そのため、本来の意図から外れ、多種多様なテキストを返すことがあり、その中には不適切な内容が含まれる可能性もあります。
LLM を一般に直接公開すると、予期しない挙動が必ず発生します。適切な対策を講じなければ、次のようなリスクがあります。
ユーザーがチャットボットを意図的に操り、有害または禁止されたコンテンツを生成させる「ジェイルブレイク」（ちなみに、誰でもこのウェブサイトでゲームを楽しみながら LLM のジェイルブレイクを体験できます…）
不快、攻撃的、または危険なコンテンツを意図せず提供してしまうこと多くの場合、これはユーザーの心身の健康を脅かしたり、アプリ提供者に金銭的損失やブランド毀損をもたらしたりする可能性があります。
意図しない LLM 利用をめぐるニュースの見出し
2024 年 12 月、あるチャットボットが 17 歳の少年に、スクリーンタイム制限への「妥当な対応」は両親を殺害することだと伝え、訴訟を起こされました。
2024 年 2 月、チャットボットが誤解を招く規定情報を案内したため、Air Canada は忌引運賃の一部を払い戻すことになりました。
こうした事例は、生成 AI システムの安全性を構築し、維持することが不可欠である理由を物語っています。幼い子どもが利用する場合は特に、免責事項だけに頼ることはできません。コンテンツの適切性を保つには、堅牢なガードレールが不可欠です。
クライアント向けに構築してきた RAG（検索拡張生成）システムと同様、複数の AI コンポーネントを活用し、高いパフォーマンスを維持しながらジェイルブレイクのリスクを軽減しています。
システムの簡略化したアーキテクチャ図
システムの安全性を確保するため、入力と出力の両方に LLM 分類器を使用しています。
入力の分類（並行実行）
Pydantic スキーマと LLM の構造化出力を併用し、ユーザーの問い合わせにラベル（SAFE、SUSPICIOUS、CHILD_HARM_RISK、VIOLENT など）を付与しました。ジェイルブレイクや禁止された挙動を特定するフラグも設けました。
あらゆる内容を 1 つで処理する巨大な分類器よりも、トピックごとに複数の分類器を用意した方が、パフォーマンスは大幅に向上しました。
分類器が「このキャラクターに何度も倒される」（ゲームの話）と「親に傷つけられている」（児童への危害を示唆）を区別できるようにするには、豊富なフューショット例が極めて重要でした。
クライアントおよび同社の信頼・安全性専門チームと緊密に連携することで、現実の高リスクなメッセージに対する判断基準を分類器に反映できました。
応答の生成
入力が安全と判定されると、メインの LLM が応答を生成します。
安全でない場合、ジェイルブレイクならメッセージを無視し、安全上の問題を示す問い合わせなら担当者にエスカレーションできます。
出力の分類
最終的に配信する前に、アプリケーション内でモデルの応答を分類します。
一部の応答ではインターネットから収集したデータを用いる RAG 技術を使用するため、この手順によってデータポイズニングからシステムを保護できます。
禁止されたコンテンツが含まれている場合、システムが介入し、一般的なメッセージに置き換えます。実際にこの処理が必要になることはほとんどありませんが、エージェントの挙動を適切に保つための慎重な追加防御策として導入しています。
速度と低コストを維持するための施策：
よく使うプロンプトや会話の一部を、厳選したフューショット例とともに保存します。
このキャッシュにより、毎回コンテキストを再構築することなく、LLM 分類器を高速かつ低コストで適用できます。
Anthropic の最近の研究では、「憲法的」ルールに基づいて訓練した追加の分類器で悪意のある要求や安全でない要求を検出する「憲法的分類器」というシステムが紹介されました。報告された成果は次のとおりです。
数千時間に及ぶ人間のレッドチーミングに対する高い堅牢性
過剰拒否率を最小限に抑え、計算負荷も中程度
将来的には、こうした憲法的アプローチが従来の分類レイヤーを補完し、さらには置き換えることで、進化するジェイルブレイク手法に対して、より包括的な防御を実現できると考えています。
軽量フィルターの並列実行
分類レイヤーにより、悪意のある問い合わせが生成処理の中核に到達するのを防ぎ、不適切な出力が配信されないようにします。
重要なユーザー体験
楽しさを重視し、ゲームの世界観に沿った警告や遊び心のある拒否応答を用いることで、ユーザーはシステムの制約を受け入れやすくなります。
テストと監視に妥協しない
定期的なレッドチーミングとプレイヤー行動の頻繁な監視により、脆弱性が広く知られる前に発見しやすくなります。発見した脆弱性をフューショット分類器のプロンプトに反映すれば、今後の悪用を防止できます。現在は手作業ですが、自動化も可能です。
ゲーム会社、銀行、政府機関を問わず、カスタマーサービス用チャットボットを大規模に導入するなら、優れたユーザー設計と信頼性の両方を追求する必要があります。
私たちは、次の要件を持つ組織やブランド向けに、顧客対応ソリューションを構築しています。
安全性が最優先—ユーザーに価値を提供しつつ、有害なコンテンツから厳格に保護するチャットボット
評判を保護—ユーザーがシステムの限界を超えようとしてもブランドの評判を損なわない、多層的な保護設計
規制による選択肢の制約—最新のコンプライアンス指針を常に把握し、アプリケーションのジェイルブレイクを懸念せずにソリューションを拡張できる体制