지난 2년간 저희는 수백만 명의 사용자에게 안전하게 확장된 솔루션을 구축해 왔습니다. 이 과정에서 빠르고 정확한 모더레이션 시스템 설계가 핵심적인 역할을 했습니다. 효과적인 모더레이션은 원치 않는 생성 결과가 문제가 되기 전에 포착하여 최종 사용자를 피해로부터 보호하고 브랜드 안전을 보장함으로써, 기업이 최첨단 AI 솔루션을 안심하고 배포할 수 있게 합니다.
최근 OpenAI가 GPT-OSS-Safeguard 모델을 출시했습니다. 올해 초 공개한 20B 및 120B OSS 모델을 파인튜닝한 버전입니다. 이 모델들은 추론 시점에 사용자 정책을 직접 해석하여 유연하고 강력한 콘텐츠 모더레이션 방식을 제공합니다. 현재 연구 미리보기 단계이므로 앞으로도 계속 개선될 것입니다.
저희는 출시에 앞서 OpenAI와 협력하여 모델 개발에 참고할 실제 환경 평가를 진행했습니다. 이 글에서는 협업을 통해 얻은 통찰을 공유하고, 이러한 발전이 실제 운영되는 AI 시스템의 모더레이션 미래에 어떤 의미인지 살펴봅니다.
현재 모더레이션 솔루션은 일반적으로 애플리케이션을 여러 보호 계층으로 감싸는 형태로 구현됩니다. 저희는 사용량이 많고 대중에게 공개되는 배포 환경 전반에서 이 패턴을 자주 사용합니다. 자세한 내용은 이 주제를 다룬 블로그를 여기에서 확인하세요.
입력을 병렬로 분류하기(유해한 프롬프트 차단): 주제별 소형 분류기를 동시에 실행해 각 사용자 메시지에 레이블을 지정합니다. 한 가지 목적에 집중하는 분류기가 모든 것을 처리하는 단일 분류기보다 측정 가능한 수준으로 더 신뢰할 만했습니다. 프롬프트에 세심하게 고른 퓨샷 예제를 넣으면 “I keep getting killed by this boss”(게임 맥락이며 전혀 유해하지 않음)와 실제 피해 신호를 구분하는 데 도움이 됩니다.
안전함 → 정상적으로 생성
탈옥 → 무시하거나 브랜드 어조에 맞는 거절로 대응
안전 또는 웰빙 위험 → 풍부한 맥락과 함께 담당자에게 전달
출력을 분류하기(유해한 답변 전송 방지): 모든 응답 후보를 전달 전에 다시 검사합니다. 이를 통해 모델 드리프트, RAG 데이터 오염, 유해 콘텐츠나 개인 식별 정보(PII) 노출, 민감 정보 유출 같은 미묘한 정책 예외 사례에 대비할 수 있습니다. 플래그가 지정되면 후회할 답변을 그대로 보내는 대신, LLM이 생성한 답변을 안전하고 브랜드에 맞는 메시지로 바꾸거나 담당자에게 전달합니다.
빠르고 경제적으로 만들기: 프롬프트를 재사용 가능한 구성 요소로 만들면 프롬프트 조각, 분류기 퓨샷 예제, 공통 대화 접두부를 캐시할 수 있습니다. 이 방식을 사용하면 가드레일의 지연 시간과 비용을 모두 줄일 수 있습니다.
안전을 제품 경험의 일부로 다루기거절과 경고는 브랜드의 목소리에 맞춰 작성합니다(예: 게임에서는 유쾌하게, 금융에서는 격식 있게). UX가 사용자의 의도를 존중하면 가드레일에 대한 수용도는 높아지고 탈옥 시도는 줄어듭니다.
모니터링하고 레드팀 테스트를 수행하며 피드백 순환 완성하기지속적인 레드팀 테스트와 실시간 안전 대시보드는 문제가 사용자에게 영향을 미치기 전에 성능 저하를 포착하는 데 도움이 됩니다. 새로운 공격 패턴에 관한 퓨샷 예제나 라우팅 규칙을 추가하면 모델이 이를 학습할 수 있어, 애플리케이션 성능을 저해하지 않으면서도 시간이 지날수록 시스템을 더 뚫기 어렵게 만들 수 있습니다.
효과적인 가드레일을 구축하고 유지하기란 어렵습니다.
실제로 명확한 정책을 수립하려면 핵심 비즈니스 이해관계자와 개발자가 긴밀하게 협력해야 합니다. 정책을 정의한 후에는 시스템을 설계하고 동작을 구현해 조정해야 합니다.
gpt-oss-safeguard 같은 개방형 안전 추론 모델의 등장은 이 과정의 몇 가지 어려움을 해결하고, 콘텐츠 모더레이션을 위한 더 즉시 활용 가능하고 범용성 높은 기반을 제공할 잠재력이 있습니다.
Gpt-oss-safeguard는 오늘날 모더레이션 시스템 구축 과정에서 흔히 발생하는 몇 가지 문제를 해결하는 것을 목표로 합니다. 이러한 소형 특화 모델은 추론 시점에 대상 정책을 바탕으로 추론하도록 파인튜닝되어, 탈옥과 개인 식별 정보(PII) 노출을 비롯한 유해하거나 민감한 콘텐츠 및 기타 정책 위반을 탐지합니다.
분류 과정에 추론을 도입하여 우회하기 더 어려우면서도 정확하고 회복력 있는 모더레이션을 제공합니다. GPT-OSS 20B와 120B의 특화된 안전 버전인 이 모델들은 맞춤형 정책 정의만으로 설정 부담을 최소화하면서 최첨단 안전 성능을 구현합니다.
저희는 실제 운영 환경을 반영한 여러 과제에서 gpt-oss-safeguard 20B와 120B를 평가했습니다. 실시간 음성 비서, 게임 내 플레이어 지원 봇, 선제적 채팅 모더레이션 시스템, 다국어 유해성 검사(스페인어, 프랑스어, 이탈리아어, 포르투갈어, 러시아어, 튀르키예어)가 포함되었습니다.
지연 시간에 민감한 음성 모더레이션: 실시간 음성 테스트(게임플레이 채팅 모더레이션처럼 대화 중 응답을 실시간으로 분석하고 분류하는 상황)에서 gpt-oss-safeguard-20B는 GPT-OSS-20B와 GPT-5-Mini 사이 정확도 격차의 약 80%를 좁혔습니다(0.45에서 0.71로 상승, GPT-5-Mini는 0.78). 지연 시간도 크게 단축되었습니다.
플레이어 지원 에스컬레이션: 플레이어 지원 분류에서 gpt-oss-safeguard-20B는 GPT-OSS-20b와 GPT-5-Mini 사이의 격차를 약 90% 좁혔습니다(0.57에서 0.66으로 상승, GPT-5-Mini는 0.67). 또한 평가 대상 중 최고의 매크로 정밀도, 정상 콘텐츠 재현율 88%, 취약 사용자 탐지 정밀도 87%를 기록했습니다. 인간 검토자에게 과도한 부담을 주지 않으면서 보수적이고 신뢰도 높은 에스컬레이션을 구현하는 데 유용합니다.
대규모 복합 정책 채팅 모더레이션: 복잡한 정책 문서에 따라 게임 내 메시지를 선제적으로 탐지해야 하는 가장 까다로운 평가에서 gpt-oss-safeguard는 OSS 기준 모델보다 확실히 뛰어난 성능을 보였습니다. 상대적으로 약 35% 향상되었으며 긴 정책도 효과적으로 처리했습니다. 이는 높은 재현율과 정밀도가 요구되는 특히 민감한 사용 사례입니다. 재현율이 너무 낮으면 많은 유해 메시지를 놓치게 됩니다. 정밀도가 낮으면 관련 없는 메시지까지 인간 모더레이터에게 대거 전달되어, 정작 까다로운 사례에 집중하지 못하게 됩니다.
다국어 성능: 6개 언어로 구성된 균형 잡힌 유해성 데이터세트에서 gpt-oss-safeguard는 GPT-5-Mini와 비슷한 성능을 보였으며, 정확도 차이는 일반적으로 3~5%p 이내였습니다. 스페인어에서는 gpt-oss-safeguard-120B가 근소하게 앞섰습니다. 튀르키예어 같은 저자원 언어에서는 격차가 다소 컸지만, 전반적으로 안정적인 교차 언어 성능을 보였고 20B에서 120B로 확장했을 때 재현율도 일관되게 향상되었습니다.
또한 gpt-oss-safeguard 모델은 전통적으로 LLM의 모더레이션 성능이 약했던 영역에서도 뛰어난 성능을 보였습니다. 대표적으로 개인 식별 정보(PII)의 경우, 일반 모델은 미국식 PII 탐지에 편향되어 다른 지역에서는 성능이 떨어지는 경향이 있습니다. 이에 따라 gpt-oss-safeguard는 범용 LLM이 처리하지 못하는 세부적인 정책 위반을 탐지하기 위한 맞춤형 도구의 의존도를 줄여, 모더레이션 설정을 단순화하는 데 유용할 것으로 판단합니다.
평가 결과, gpt-oss-safeguard-20B와 gpt-oss-safeguard-120B 같은 ‘기반 모더레이션 모델’만으로도 빠르게 높은 성과를 낼 수 있음이 확인되었습니다. 하지만 시스템에 최고 수준의 안전성과 특수성이 요구될 때는 여전히 도메인별 파인튜닝이 기준이 됩니다.
게임 내 모더레이션 사례에서는 과거 모더레이터 조치와 정책 판정 약 1만 건을 활용해 Qwen3-0.6B 분류기를 지도학습 기반 파인튜닝했습니다. 이 모델은 해당 과제에서 테스트한 모든 기반 모델을 큰 차이로 앞섰습니다. 정확도는 57%로 15%에 그친 gpt-oss-safeguard-120B(GPT-4.1-nano 성능 비율을 바탕으로 추정)보다 42%p, 약 280% 향상되었습니다. 이 결과는 레이블이 지정된 예제로 학습한 소형 전용 분류기가 특수 도메인에서 세이프가드 모델보다 뛰어난 성능을 낼 수 있다는 OpenAI의 지침과도 일치합니다.
결론은 분명합니다. 정책이 복잡하고 예외 사례가 많다면, 도메인에 맞춰 조정한 소형 모델이 여전히 최선의 선택입니다. 파인튜닝은 정책과 예외 사례를 매개변수에 직접 반영해 복잡한 실제 운영 환경에서도 더 일관된 동작을 구현하며, 지연 시간과 비용도 매우 낮습니다.
지도학습 기반 파인튜닝은 이를 구현하는 여러 방법 중 하나일 뿐입니다. 강화학습이나 온폴리시 증류 같은 강력한 학습 기법을 활용해 모델 동작을 한층 더 최적화할 수도 있습니다.
파인튜닝에는 일반적으로 많은 데이터가 필요합니다. 이 Qwen3-0.6B 분류기의 파인튜닝에 사용한 데이터세트는 인간 모더레이터가 직접 레이블을 지정한 것으로, 정확하고 신뢰할 수 있는 기준 데이터였습니다.
많은 프로젝트에서는 시작 단계부터 이처럼 풍부한 데이터를 확보하기 어렵습니다. 따라서 파인튜닝은 솔루션 개발 주기의 후반부에 적용할 수 있는 최적화 단계로 보는 편입니다. 솔루션의 형태가 안정되고 실제 사용자 데이터가 어느 정도 축적되면, 개발자는 표적 파인튜닝을 통해 모더레이션 솔루션을 한 단계 더 발전시킬 수 있습니다.
gpt-oss-safeguard 같은 기반 모더레이션 모델은 강력한 새 구성 요소입니다. 실시간 애플리케이션의 지연 시간을 줄이는 동시에 모더레이션 시스템 설계를 크게 단순화할 잠재력이 있습니다. 이러한 모델을 소형 맞춤형 분류기와 결합하면, 대형 범용 모델을 사용하는 프롬프트 기반 방식보다 구성 요소가 적고 더 안전하며 빠른 시스템을 구축할 수 있습니다.
지금 모더레이션 시스템을 새로 구축하거나 업그레이드한다면 먼저 gpt-oss-safeguard 같은 모델로 시작해 성능을 측정하고, 데이터에서 확인된 취약 지점에 맞춤형 분류기(프롬프트 기반 또는 파인튜닝)를 통한 표적 개선을 적용해 보세요.
더 자세히 알아보고 싶으신가요? 메시지를 보내주세요.