पिछले दो वर्षों में हमने ऐसे समाधान बनाए हैं जो सुरक्षित रूप से लाखों उपयोगकर्ताओं तक पहुँचे हैं. इस काम का एक प्रमुख हिस्सा तेज़ और सटीक मॉडरेशन सिस्टम का डिज़ाइन रहा है. प्रभावी मॉडरेशन कंपनियों को अत्याधुनिक AI समाधान भरोसे के साथ लागू करने में सक्षम बनाता है. यह अवांछित सामग्री को समस्या बनने से पहले पकड़कर अंतिम उपयोगकर्ताओं को नुकसान से बचाता है और ब्रांड की सुरक्षा सुनिश्चित करता है.
हाल ही में OpenAI ने अपने GPT-OSS-Safeguard मॉडल जारी किए. ये इसी वर्ष पहले पेश किए गए 20B और 120B OSS मॉडलों के फाइन-ट्यून किए गए संस्करण हैं. ये मॉडल अनुमान के समय ही उपयोगकर्ता की नीति को समझ सकते हैं, जिससे सामग्री मॉडरेशन के लिए एक लचीला और प्रभावशाली तरीका मिलता है. ये मॉडल अभी शोध-पूर्वावलोकन में हैं, इसलिए समय के साथ इनमें निस्संदेह सुधार होता रहेगा.
इस रिलीज़ से पहले हमने OpenAI के साथ मिलकर काम किया और मॉडल के विकास को दिशा देने के लिए वास्तविक परिस्थितियों में मूल्यांकन किए. इस लेख में हम उस सहयोग से मिली जानकारियाँ साझा करते हैं और देखते हैं कि उत्पादन AI सिस्टम में मॉडरेशन के भविष्य के लिए इन प्रगतियों का क्या अर्थ है.
आज मॉडरेशन समाधान आम तौर पर अनुप्रयोग के चारों ओर सुरक्षा की कई परतों के रूप में बनाए जाते हैं. हम बड़े पैमाने पर सार्वजनिक उपयोग के लिए की जाने वाली तैनातियों में इस पद्धति का व्यापक रूप से उपयोग करते हैं. विस्तृत जानकारी के लिए इस विषय पर हमारा ब्लॉग यहाँ पढ़ें.
इनपुट को समानांतर रूप से वर्गीकृत करें (हानिकारक प्रॉम्प्ट को प्रवेश न दें): छोटे, विषय-विशिष्ट क्लासिफ़ायर एक साथ चलकर उपयोगकर्ता के प्रत्येक संदेश को लेबल करते हैं. हमने पाया है कि सीमित विषय पर केंद्रित क्लासिफ़ायर किसी एक सर्वसमावेशी क्लासिफ़ायर की तुलना में स्पष्ट रूप से अधिक विश्वसनीय होते हैं. प्रॉम्प्ट में सावधानी से चुने गए फ्यू-शॉट उदाहरण “यह दुश्मन मुझे बार-बार मार देता है” (गेम का संदर्भ, पूरी तरह निरापद) और वास्तविक जीवन में नुकसान के संकेत के बीच अंतर समझने में मदद कर सकते हैं.
सुरक्षित → सामान्य रूप से सामग्री बनाएँ
जेलब्रेक → अनदेखा करें या ब्रांड-अनुकूल अस्वीकृति देकर बात मोड़ें
सुरक्षा या सेहत संबंधी जोखिम → विस्तृत संदर्भ के साथ किसी व्यक्ति को सौंपें
आउटपुट का वर्गीकरण करें (हानिकारक उत्तर न भेजें): प्रत्येक संभावित उत्तर को भेजने से पहले दोबारा जाँचा जाता है. यह मॉडल के व्यवहार में बदलाव, RAG डेटा में विषाक्तता और हानिकारक सामग्री, PII उजागर होने या संवेदनशील जानकारी लीक होने जैसे सूक्ष्म सीमांत मामलों से सुरक्षा देता है. चिह्नित होने पर हम LLM से बनाए गए उत्तर को भेजकर बाद में पछताने के बजाय उसकी जगह सुरक्षित, ब्रांड-अनुकूल संदेश देते हैं या उसे किसी व्यक्ति के पास भेजते हैं.
इसे तेज़ और किफ़ायती बनाएँ: प्रॉम्प्ट को पुनः उपयोग योग्य निर्माण-घटकों के रूप में बनाने से प्रॉम्प्ट के अंश, क्लासिफ़ायर के फ्यू-शॉट उदाहरण और संवाद के सामान्य शुरुआती हिस्से कैश किए जा सकते हैं. इस तरीके से आपके सुरक्षा उपायों का विलंब और लागत, दोनों कम किए जा सकते हैं.
सुरक्षा को उत्पाद के उपयोगकर्ता-अनुभव का हिस्सा मानेंअस्वीकृतियाँ और चेतावनियाँ उचित शैली में लिखी जाती हैं, जैसे गेम के लिए चुलबुली और वित्त के लिए औपचारिक. जब उपयोगकर्ता-अनुभव उनके उद्देश्य का सम्मान करता है, तो सुरक्षा उपायों की स्वीकार्यता बढ़ती है और जेलब्रेक के प्रयास घटते हैं.
निगरानी करें, रेड टीमिंग करें और प्रतिक्रिया-चक्र पूरा करेंनिरंतर रेड टीमिंग और सक्रिय सुरक्षा डैशबोर्ड गिरावट को उपयोगकर्ताओं तक पहुँचने से पहले पकड़ने में मदद करते हैं. अतिरिक्त फ्यू-शॉट उदाहरण और आवश्यकतानुसार मार्ग-निर्धारण नियम देकर हम मॉडल को नए आक्रमण-प्रतिरूप सिखा सकते हैं. इससे अनुप्रयोग के प्रदर्शन से समझौता किए बिना समय के साथ सिस्टम को भेदना कठिन होता जाता है.
प्रभावी सुरक्षा उपाय बनाना और बनाए रखना कठिन है.
व्यवहार में, स्पष्ट नीति बनाने के लिए व्यवसाय के प्रमुख हितधारकों और डेवलपर के बीच सावधानीपूर्वक सहयोग आवश्यक होता है. नीति निर्धारित होने के बाद सिस्टम का डिज़ाइन और व्यवहार तैयार करके उसे अनुकूलित करना होता है.
gpt-oss-safeguard जैसे खुले सुरक्षा रीज़निंग मॉडल इस प्रक्रिया की कुछ कठिनाइयाँ दूर कर सकते हैं और सामग्री मॉडरेशन के लिए अधिक उपयोग-तैयार एवं बहुमुखी आधार प्रदान कर सकते हैं.
Gpt-oss-safeguard का उद्देश्य आज के मॉडरेशन सिस्टम बनाने में आने वाली कुछ सामान्य चुनौतियों का समाधान करना है. इन छोटे, विशिष्ट मॉडलों को अनुमान के समय लक्षित नीति पर रीज़निंग करने के लिए फाइन-ट्यून किया गया है. ये जेलब्रेक, PII उजागर होने और अन्य नीति उल्लंघनों जैसी हानिकारक या संवेदनशील सामग्री खोजते हैं.
अपनी वर्गीकरण प्रक्रिया में रीज़निंग शामिल करके ये अधिक सटीक और सुदृढ़ मॉडरेशन देते हैं, जिसे चकमा देना कठिन होता है. GPT-OSS 20B और 120B के विशिष्ट सुरक्षा संस्करण होने के कारण ये मनमुताबिक नीति-परिभाषाओं के ज़रिए बहुत कम शुरुआती तैयारी में अत्याधुनिक सुरक्षा प्रदर्शन देते हैं.
हमने उत्पादन-जैसे कई कार्यों पर gpt-oss-safeguard 20B और 120B का मूल्यांकन किया: वास्तविक समय का वॉइस सहायक, गेम में खिलाड़ियों की सहायता करने वाला बॉट, सक्रिय चैट मॉडरेशन सिस्टम और कई भाषाओं में विषाक्तता की जाँच (स्पेनिश, फ़्रेंच, इतालवी, पुर्तगाली, रूसी और तुर्की).
विलंब के प्रति संवेदनशील वॉइस मॉडरेशन: वास्तविक समय के हमारे वॉइस परीक्षणों में, जहाँ बातचीत के दौरान ही उत्तर का विश्लेषण और प्राथमिकता तय करनी होती है, जैसे गेमप्ले चैट मॉडरेशन में, gpt-oss-safeguard-20B ने GPT-OSS-20B और GPT-5-Mini के बीच सटीकता के अंतर का लगभग 80% पूरा किया (0.45 से बढ़कर 0.71, जबकि 0.78) और बहुत कम विलंब के साथ चला.
खिलाड़ी-सहायता का अग्रेषण: खिलाड़ी-सहायता की प्राथमिकता तय करने में gpt-oss-safeguard-20B ने GPT-OSS-20b और GPT-5-Mini के बीच अंतर का लगभग 90% पूरा किया (0.57 से बढ़कर 0.66, जबकि 0.67). इसने समूह में सर्वोत्तम मैक्रो परिशुद्धता, निरापद सामग्री पर 88% पुनर्प्राप्ति और असुरक्षित उपयोगकर्ताओं की पहचान में 87% परिशुद्धता भी दी. यदि आप मानव समीक्षकों पर बोझ बढ़ाए बिना सतर्क और अत्यंत विश्वसनीय अग्रेषण चाहते हैं, तो यह उपयोगी है.
बड़े पैमाने पर नीति-सघन चैट मॉडरेशन: हमारे सबसे कठिन मूल्यांकन में मॉडरेशन सिस्टम को विस्तृत नीति-दस्तावेज़ के अनुसार गेम के संदेशों को सक्रिय रूप से चिह्नित करना था. इसमें gpt-oss-safeguard ने OSS आधाररेखा से स्पष्ट रूप से बेहतर प्रदर्शन किया, लगभग 35% सापेक्ष बढ़त हासिल की और लंबी नीतियों को प्रभावी ढंग से संभाला. यह विशेष रूप से संवेदनशील उपयोग है, जिसमें उच्च पुनर्प्राप्ति और परिशुद्धता आवश्यक हैं. पुनर्प्राप्ति बहुत कम होने पर कई हानिकारक संदेश छूट जाएँगे. कम परिशुद्धता के कारण कई अप्रासंगिक संदेश मानव मॉडरेटर के लिए चिह्नित हो जाएँगे, जिससे उनका ध्यान वास्तव में कठिन मामलों से हट जाएगा.
बहुभाषी प्रदर्शन: छह भाषाओं के संतुलित विषाक्तता डेटासेट पर gpt-oss-safeguard का प्रदर्शन GPT-5-Mini के काफ़ी करीब रहा. सटीकता में अंतर आम तौर पर 3–5 प्रतिशत अंक था और स्पेनिश में gpt-oss-safeguard-120B थोड़ा आगे रहा. तुर्की जैसी कम संसाधन वाली भाषाओं में हमने थोड़ा बड़ा अंतर देखा, लेकिन समग्र रूप से भाषाओं के बीच प्रदर्शन मज़बूत था और 20B से 120B पर जाने पर पुनर्प्राप्ति में लगातार बढ़ोतरी हुई.
हमने यह भी पाया कि gpt-oss-safeguard मॉडल उन क्षेत्रों में अच्छा प्रदर्शन करते हैं जहाँ मॉडरेशन के लिए LLM पारंपरिक रूप से कमज़ोर रहे हैं, जैसे PII डेटा. मुख्यधारा के मॉडल अमेरिकी शैली के PII डेटा को पहचानने की ओर अधिक झुकाव रखते हैं और अन्य क्षेत्रों में उनका प्रदर्शन कमज़ोर होता है. इस आधार पर हमारा मानना है कि gpt-oss-safeguard मॉडरेशन की व्यवस्था सरल बनाने में उपयोगी होगा. यह व्यापक LLM की पकड़ से बाहर रहने वाले छोटे नीति उल्लंघनों को पहचानने के लिए आवश्यकतानुसार बनाए गए उपकरणों पर निर्भरता घटाएगा.
इस प्रकार, हमारे मूल्यांकनों ने स्थापित किया है कि gpt-oss-safeguard-20B और gpt-oss-safeguard-120B जैसे ‘आधारभूत मॉडरेशन मॉडल’ आपको तेज़ी से बहुत आगे ले जा सकते हैं. हालांकि, जब सिस्टम से सुरक्षा और विशिष्टता के सर्वोच्च मानकों की अपेक्षा होती है, तब भी डोमेन-विशिष्ट फाइन-ट्यून मॉडल ही मानक तय करते हैं.
गेम के भीतर मॉडरेशन के उपयोग के लिए, हमने मॉडरेटर की लगभग 10 हज़ार पुरानी कार्रवाइयों और नीति-परिणामों पर सुपरवाइज़्ड फाइन-ट्यूनिंग का उपयोग करके Qwen3-0.6B क्लासिफ़ायर को फाइन-ट्यून किया. यह मॉडल इस कार्य में हमारे द्वारा जाँचे गए प्रत्येक आधारभूत मॉडल से काफ़ी बेहतर है. इसने 15% की तुलना में 57% सटीकता हासिल की (gpt-oss-safeguard-120B का आँकड़ा GPT-4.1-nano के प्रदर्शन-अनुपात से अनुमानित), यानी 42 प्रतिशत अंक या लगभग 280% की बढ़ोतरी. ये परिणाम OpenAI के उस मार्गदर्शन के अनुरूप हैं कि लेबल किए गए उदाहरणों पर प्रशिक्षित छोटे, समर्पित क्लासिफ़ायर विशिष्ट डोमेन में सुरक्षा मॉडल से बेहतर प्रदर्शन कर सकते हैं.
निष्कर्ष स्पष्ट है: जब नीतियाँ सूक्ष्म हों और उनमें कई सीमांत मामले हों, तो छोटा, डोमेन के अनुरूप बनाया गया मॉडल ही सर्वोत्तम मानक रहता है. फाइन-ट्यूनिंग की प्रक्रिया आपकी नीति और सीमांत मामलों को सीधे पैरामीटर में समाहित कर देती है. इससे वास्तविक उत्पादन की अव्यवस्थित परिस्थितियों में व्यवहार अधिक स्थिर रहता है और विलंब व लागत भी बहुत कम होती है.
सुपरवाइज़्ड फाइन-ट्यूनिंग इसके लिए उपलब्ध कई तरीकों में से केवल एक है. मॉडल के व्यवहार को और बेहतर बनाने के लिए रीइंफ़ोर्समेंट लर्निंग या ऑन-पॉलिसी डिस्टिलेशन जैसी अन्य प्रभावशाली प्रशिक्षण तकनीकों का भी लाभ लिया जा सकता है.
फाइन-ट्यूनिंग के लिए आम तौर पर बहुत अधिक डेटा चाहिए. इस Qwen3-0.6B क्लासिफ़ायर की फाइन-ट्यूनिंग में इस्तेमाल किए गए डेटासेट को मानव मॉडरेटर ने स्वयं लेबल किया था, इसलिए यह सटीक और विश्वसनीय जानकारी का उत्कृष्ट स्रोत था.
कई परियोजनाओं की शुरुआत में समृद्ध डेटा का यह लाभ उपलब्ध नहीं होता. इसलिए हम फाइन-ट्यूनिंग को ऐसा अनुकूलन मानते हैं जिसे समाधान के विकास-चक्र में बाद में अपनाया जा सकता है. समाधान का स्वरूप स्थिर होने और वास्तविक उपयोगकर्ताओं का कुछ डेटा एकत्र हो जाने के बाद, डेवलपर अपने मॉडरेशन समाधान को अगले स्तर पर ले जाने के लिए लक्षित फाइन-ट्यूनिंग पर विचार कर सकते हैं.
gpt-oss-safeguard जैसे आधारभूत मॉडरेशन मॉडल नए और सशक्त निर्माण-घटक हैं. इनमें वास्तविक समय के अनुप्रयोगों का विलंब घटाते हुए मॉडरेशन सिस्टम के डिज़ाइन को सार्थक रूप से सरल बनाने की क्षमता है. इन्हें छोटे, आवश्यकतानुसार बनाए गए क्लासिफ़ायर के साथ जोड़कर ऐसा सिस्टम बनाया जा सकता है जो बड़े सामान्य मॉडलों वाले प्रॉम्प्ट-आधारित तरीके की तुलना में अधिक सुरक्षित और तेज़ हो तथा जिसमें कम गतिशील घटक हों.
यदि आप आज मॉडरेशन स्थापित या उन्नत कर रहे हैं, तो पहले gpt-oss-safeguard जैसे मॉडल अपनाएँ, प्रदर्शन मापें और जहाँ डेटा कमियाँ दिखाए वहाँ आवश्यकतानुसार बनाए गए क्लासिफ़ायरों के माध्यम से लक्षित सुधार जोड़ें, चाहे वे प्रॉम्प्ट-आधारित हों या फाइन-ट्यून किए गए.
और जानना चाहते हैं? हमें संदेश भेजें.