గత రెండేళ్లలో, లక్షలాది వినియోగదారులకు సురక్షితంగా విస్తరించిన పరిష్కారాలను మేము రూపొందించాం. వేగవంతమైన, ఖచ్చితమైన మోడరేషన్ వ్యవస్థల రూపకల్పన ఈ పనిలో కీలక భాగంగా ఉంది. అవాంఛిత ఉత్పాదనలు సమస్యగా మారకముందే వాటిని గుర్తించడం ద్వారా, సమర్థవంతమైన మోడరేషన్ తుది వినియోగదారులను హాని నుంచి కాపాడుతుంది, బ్రాండ్ భద్రతను నిర్ధారిస్తుంది, అత్యాధునిక AI పరిష్కారాలను కంపెనీలు నమ్మకంగా అమలు చేయడానికి వీలు కల్పిస్తుంది.
ఇటీవల, OpenAI తన GPT-OSS-Safeguard మోడళ్లను విడుదల చేసింది. ఇవి ఈ ఏడాది ప్రారంభంలో ప్రవేశపెట్టిన 20B, 120B OSS మోడళ్లకు సూక్ష్మంగా సర్దుబాటు చేసిన రూపాలు. ఈ మోడళ్లు అనుమితి సమయంలోనే వినియోగదారు విధానాన్ని నేరుగా అర్థం చేసుకోగలవు. తద్వారా కంటెంట్ మోడరేషన్కు అనువైన, శక్తిమంతమైన విధానాన్ని అందిస్తాయి. ఈ మోడళ్లు పరిశోధనాత్మక ప్రాథమిక ప్రదర్శన దశలో ఉన్నాయి కాబట్టి, కాలక్రమేణా మరింత మెరుగుపడతాయనడంలో సందేహం లేదు.
ఈ విడుదలకు ముందు మేము OpenAIతో కలిసి పనిచేసి, మోడల్ అభివృద్ధికి తోడ్పడేలా వాస్తవ పరిస్థితుల్లో మూల్యాంకనాలు నిర్వహించాం. ఈ వ్యాసంలో ఆ సహకారం ద్వారా పొందిన అవగాహనలను పంచుకుంటూ, వాస్తవ వినియోగంలోని AI వ్యవస్థల్లో మోడరేషన్ భవిష్యత్తుకు ఈ పురోగతులు ఏం సూచిస్తున్నాయో పరిశీలిస్తాం.
ప్రస్తుతం మోడరేషన్ పరిష్కారాలు సాధారణంగా అనువర్తనం చుట్టూ ఏర్పాటు చేసిన రక్షణ పొరలుగా ఉంటాయి. అధిక వినియోగం ఉండే, ప్రజలకు అందుబాటులోని అమలుల్లో మేము ఈ నమూనాను విస్తృతంగా ఉపయోగిస్తాం. దీని గురించి మరింత లోతుగా తెలుసుకోవడానికి మా బ్లాగును ఇక్కడ చూడండి.
ఇన్పుట్లను సమాంతరంగా వర్గీకరించండి (హానికరమైన ప్రాంప్ట్లను లోపలికి అనుమతించవద్దు): ప్రతి వినియోగదారు సందేశానికి లేబుల్ ఇవ్వడానికి చిన్న, అంశ-నిర్దిష్ట వర్గీకరణ మోడళ్లు ఏకకాలంలో పనిచేస్తాయి. అన్నింటినీ గుర్తించే ఒకే వర్గీకరణ మోడల్ కంటే, పరిమిత అంశంపై దృష్టి పెట్టే వర్గీకరణ మోడళ్లు కొలవగలిగే స్థాయిలో మరింత విశ్వసనీయంగా ఉన్నాయని గుర్తించాం. ప్రాంప్ట్లో జాగ్రత్తగా ఎంచుకున్న ఫ్యూ-షాట్ ఉదాహరణలు, “ఈ నాయకుడి చేతిలో నేను పదేపదే ఓడిపోతున్నాను” అనే పూర్తిగా హానిరహిత గేమ్ సందర్భానికి, వాస్తవ ప్రపంచ హాని సంకేతానికి మధ్య తేడాను గుర్తించడంలో సహాయపడతాయి.
సురక్షితం → సాధారణంగా ఉత్పత్తి చేయండి
జైల్బ్రేక్లు → విస్మరించండి లేదా బ్రాండ్ స్వరానికి అనుగుణమైన తిరస్కరణతో దారి మళ్లించండి
భద్రత లేదా శ్రేయస్సుకు ముప్పులు → సమగ్ర సందర్భంతో మానవ సమీక్షకు పంపండి
అవుట్పుట్లను వర్గీకరించండి (హానికరమైన సమాధానాన్ని పంపవద్దు): ప్రతి సంభావ్య ప్రతిస్పందనను అందించే ముందు మళ్లీ తనిఖీ చేస్తారు. ఇది మోడల్ ప్రవర్తనలో క్రమానుగత మార్పు, RAG డేటా కలుషితం, హానికరమైన కంటెంట్, PII బహిర్గతం లేదా సున్నితమైన సమాచారం లీక్ కావడం వంటి సూక్ష్మ విధానపరమైన అసాధారణ సందర్భాల నుంచి రక్షిస్తుంది. సమాధానానికి హెచ్చరిక గుర్తు పడితే, తర్వాత పశ్చాత్తాపపడే దాన్ని పంపకుండా, LLM ఉత్పత్తి చేసిన సమాధానం స్థానంలో సురక్షితమైన, బ్రాండ్కు అనుగుణమైన సందేశాన్ని ఉంచుతాం లేదా మానవ సమీక్షకు పంపుతాం.
వేగంగా, అందుబాటు ధరలో ఉండేలా చేయండి: ప్రాంప్ట్లను పునర్వినియోగ నిర్మాణ భాగాలుగా రూపొందించడం ద్వారా ప్రాంప్ట్ భాగాలు, వర్గీకరణ మోడల్ ఫ్యూ-షాట్ ఉదాహరణలు, సాధారణ సంభాషణ ప్రారంభాలను తాత్కాలికంగా నిల్వ చేయవచ్చు. ఈ విధానం మీ రక్షణ నియమాల ఆలస్యాన్ని, వ్యయాన్ని రెండింటినీ తగ్గిస్తుంది.
భద్రతను ఉత్పత్తి అనుభవంలో భాగంగా పరిగణించండితిరస్కరణలు, హెచ్చరికలు సందర్భానికి తగిన స్వరంలో రాయాలి. ఉదాహరణకు, ఆటలకు సరదాగా, ఆర్థిక సేవలకు లాంఛనంగా ఉండాలి. వినియోగదారు అనుభవం వారి ఉద్దేశాన్ని గౌరవిస్తే, రక్షణ నియమాలకు ఆమోదం పెరిగి, జైల్బ్రేక్ ప్రయత్నాలు తగ్గుతాయి.
పర్యవేక్షించండి, రెడ్ టీమింగ్ నిర్వహించండి, ఫలితాలతో వ్యవస్థను మెరుగుపరచండినిరంతర రెడ్ టీమింగ్, ప్రత్యక్ష భద్రతా సూచిక ఫలకాలు వినియోగదారులపై ప్రభావం పడకముందే పనితీరు క్షీణతను గుర్తించడంలో సహాయపడతాయి. అదనపు ఫ్యూ-షాట్ ఉదాహరణలు లేదా దారిమళ్లింపు నియమాలను అందించడం ద్వారా ఏదైనా కొత్త దాడి నమూనాను గుర్తించేలా మోడల్కు నేర్పవచ్చు. దీంతో అనువర్తన పనితీరుపై రాజీపడకుండానే, కాలక్రమేణా వ్యవస్థను ఛేదించడం మరింత కష్టమవుతుంది.
సమర్థవంతమైన రక్షణ నియమాలను నిర్మించడం, నిర్వహించడం కష్టం.
ఆచరణలో, స్పష్టంగా నిర్వచించిన విధానాన్ని రూపొందించడానికి వ్యాపారంలోని కీలక భాగస్వాములు, డెవలపర్లు జాగ్రత్తగా సహకరించాలి. విధానాన్ని నిర్వచించిన తర్వాత, వ్యవస్థ రూపకల్పనను, దాని ప్రవర్తనను నిర్మించి తగినట్లు సర్దుబాటు చేయాలి.
gpt-oss-safeguard వంటి స్వేచ్ఛగా అందుబాటులో ఉండే భద్రతా రీజనింగ్ మోడళ్ల ఆవిర్భావం ఈ ప్రక్రియలోని కొన్ని సమస్యలను పరిష్కరించగలదు. ఇవి కంటెంట్ మోడరేషన్కు సులభంగా ఉపయోగించగల, బహుముఖ ప్రాథమిక వేదికను అందిస్తాయి.
నేటి మోడరేషన్ వ్యవస్థల నిర్మాణంలో సాధారణంగా ఎదురయ్యే కొన్ని సవాళ్లను పరిష్కరించడం Gpt-oss-safeguard లక్ష్యం. ఈ చిన్న, ప్రత్యేక మోడళ్లు అనుమితి సమయంలో లక్ష్య విధానంపై రీజనింగ్ చేసేలా సూక్ష్మంగా సర్దుబాటు చేయబడ్డాయి. ఇవి జైల్బ్రేక్లు, PII బహిర్గతం, ఇతర విధాన ఉల్లంఘనలు వంటి హానికరమైన లేదా సున్నితమైన కంటెంట్ను గుర్తిస్తాయి.
వర్గీకరణ ప్రక్రియలో రీజనింగ్ను చేర్చడం ద్వారా, ఛేదించడం కష్టమైన, మరింత ఖచ్చితమైన, దృఢమైన మోడరేషన్ను ఇవి అందిస్తాయి. GPT-OSS 20B, 120Bలకు ప్రత్యేక భద్రతా రూపాలైన ఈ మోడళ్లు, అవసరానుకూల విధాన నిర్వచనాల ద్వారా చాలా తక్కువ ఏర్పాటు శ్రమతో అత్యాధునిక భద్రతా పనితీరును అందిస్తాయి.
వాస్తవ వినియోగాన్ని ప్రతిబింబించే అనేక పనుల్లో gpt-oss-safeguard 20B, 120Bలను మూల్యాంకనం చేశాం. వాటిలో తక్షణ స్వర సహాయకం, గేమ్లో ఆటగాళ్ల సహాయక బాట్, ముందస్తు చాట్ మోడరేషన్ వ్యవస్థ, బహుభాషా విషపూరిత కంటెంట్ తనిఖీ ఉన్నాయి. చివరిది స్పానిష్, ఫ్రెంచ్, ఇటాలియన్, పోర్చుగీస్, రష్యన్, టర్కిష్ భాషలను కలిగి ఉంది.
ఆలస్యానికి సున్నితమైన స్వర మోడరేషన్: ప్రతిస్పందనను విశ్లేషించి వర్గీకరించాల్సిన సంభాషణలోని తక్షణ వర్గీకరణ పరీక్షల్లో, ఉదాహరణకు గేమ్ సంభాషణ మోడరేషన్లో, gpt-oss-safeguard-20B చాలా తక్కువ ఆలస్యంతో పనిచేస్తూ GPT-OSS-20B, GPT-5-Mini మధ్య ఖచ్చితత్వ వ్యత్యాసంలో సుమారు 80% తగ్గించింది. పనితీరు 0.45 నుంచి 0.71కు పెరిగి, 0.78కు చేరువైంది.
ఆటగాళ్ల సహాయ అభ్యర్థనల ఉన్నతస్థాయి బదిలీ: ఆటగాళ్ల సహాయ అభ్యర్థనల ప్రాధాన్య వర్గీకరణలో, gpt-oss-safeguard-20B పనితీరు 0.57 నుంచి 0.66కు పెరిగి, 0.67 పనితీరు గల GPT-5-Miniతో పోలిస్తే GPT-OSS-20b నుంచి ఉన్న వ్యత్యాసంలో సుమారు 90% తగ్గించింది. ఇది పరీక్షించిన మోడళ్లలో అత్యుత్తమ సమగ్ర ఖచ్చితత్వాన్ని, హానిరహిత కంటెంట్పై 88% గుర్తింపు రేటును, ప్రమాదానికి గురయ్యే వినియోగదారుల గుర్తింపులో 87% ఖచ్చితత్వాన్ని కూడా సాధించింది. మానవ సమీక్షకులపై భారాన్ని పెంచకుండా, జాగ్రత్తతో కూడిన అత్యంత విశ్వసనీయ ఉన్నతస్థాయి బదిలీలు కావాలంటే ఇది ఉపయోగకరం.
భారీ స్థాయిలో, విస్తృత విధానాలతో చాట్ మోడరేషన్: సమగ్ర విధాన పత్రం ప్రకారం గేమ్లోని సందేశాలకు ముందుగానే హెచ్చరిక గుర్తు పెట్టాల్సిన మా అత్యంత కఠిన మూల్యాంకనంలో, gpt-oss-safeguard OSS ప్రాథమిక మోడల్ను స్పష్టంగా అధిగమించింది. ఇది సుమారు 35% సాపేక్ష మెరుగుదల సాధించి, సుదీర్ఘ విధానాలను సమర్థంగా నిర్వహించింది. ఇది అధిక గుర్తింపు రేటు, ఖచ్చితత్వం అవసరమైన అత్యంత సున్నితమైన వినియోగ సందర్భం. గుర్తింపు రేటు చాలా తక్కువగా ఉంటే అనేక హానికరమైన సందేశాలు గుర్తించబడవు. ఖచ్చితత్వం తక్కువగా ఉంటే, అనేక అసంబద్ధ సందేశాలు మానవ మోడరేటర్ల సమీక్షకు వెళ్తాయి. దీంతో నిజంగా క్లిష్టమైన సందర్భాలపై వారు పెట్టాల్సిన శ్రద్ధ తగ్గుతుంది.
బహుభాషా పనితీరు: ఆరు భాషల్లో సమతుల్యమైన విషపూరిత కంటెంట్ డేటాసెట్పై gpt-oss-safeguard, GPT-5-Miniకు సమానంగా పనిచేసింది. ఖచ్చితత్వంలో సాధారణంగా 3-5 శాతం పాయింట్ల పరిధిలోనే తేడా ఉండగా, స్పానిష్లో gpt-oss-safeguard-120B స్వల్ప ఆధిక్యం సాధించింది. టర్కిష్ వంటి తక్కువ వనరులున్న భాషల్లో కొంచెం ఎక్కువ వ్యత్యాసాలను గమనించాం. అయితే మొత్తంగా బహుభాషా పనితీరు బలంగా ఉంది. 20B నుంచి 120Bకు మారినప్పుడు గుర్తింపు రేటులో స్థిరమైన మెరుగుదల కనిపించింది.
మోడరేషన్లో LLMలు సాంప్రదాయకంగా బలహీనంగా ఉండే PII డేటా వంటి విభాగాల్లో కూడా gpt-oss-safeguard మోడళ్లు బలమైన పనితీరు కనబరిచాయని గమనించాం. సాధారణ మోడళ్లు అమెరికా తరహా PII డేటాను గుర్తించడానికే ఎక్కువ మొగ్గు చూపుతూ, ఇతర భౌగోళిక ప్రాంతాల్లో బలహీనంగా పనిచేస్తాయి. విస్తృత ప్రయోజనాల LLMలు నిర్వహించలేని చిన్న విధాన ఉల్లంఘనలను గుర్తించేందుకు అవసరానుకూల సాధనాలపై ఆధారపడటాన్ని తగ్గించడం ద్వారా, మోడరేషన్ ఏర్పాట్లను సరళీకరించడంలో gpt-oss-safeguard ఉపయోగపడుతుందని మేము విశ్వసిస్తున్నాం.
మొత్తానికి, gpt-oss-safeguard-20B, gpt-oss-safeguard-120B వంటి “ప్రాథమిక మోడరేషన్ మోడళ్లు” వేగంగా ఎంతో మెరుగైన ఫలితాలను అందిస్తాయని మా మూల్యాంకనాలు నిర్ధారించాయి. అయితే, వ్యవస్థలకు అత్యున్నత స్థాయి భద్రత, నిర్దిష్టత అవసరమైనప్పుడు రంగానికి అనుగుణంగా సూక్ష్మంగా సర్దుబాటు చేసిన మోడళ్లే ఇప్పటికీ ప్రామాణికంగా నిలుస్తాయి.
గేమ్లో మోడరేషన్ వినియోగ సందర్భం కోసం, గతంలోని సుమారు 10 వేల మోడరేటర్ చర్యలు, విధాన ఫలితాలపై సూపర్వైజ్డ్ ఫైన్-ట్యూనింగ్ను ఉపయోగించి Qwen3-0.6B వర్గీకరణ మోడల్ను సూక్ష్మంగా సర్దుబాటు చేశాం. ఈ మోడల్ ఈ పనిపై మేము పరీక్షించిన ప్రతి ప్రాథమిక మోడల్ కంటే గణనీయంగా మెరుగ్గా పనిచేసింది. ఇది 15%తో పోలిస్తే 57% ఖచ్చితత్వాన్ని సాధించింది (gpt-oss-safeguard-120B; GPT-4.1-nano పనితీరు నిష్పత్తి ఆధారంగా అంచనా). అంటే 42 శాతం పాయింట్ల లేదా సుమారు 280% మెరుగుదల. లేబుల్ చేసిన ఉదాహరణలపై శిక్షణ పొందిన చిన్న, ప్రత్యేక వర్గీకరణ మోడళ్లు నిర్దిష్ట రంగాల్లో భద్రతా మోడళ్లను మించి పనిచేయగలవన్న OpenAI మార్గదర్శకానికి ఈ ఫలితాలు అనుగుణంగా ఉన్నాయి.
దీనిలోని సారాంశం స్పష్టం. విధానాలు సూక్ష్మంగా ఉండి, అసాధారణ సందర్భాలు ఎక్కువగా ఉన్నప్పుడు, రంగానికి అనుగుణంగా రూపొందించిన చిన్న మోడలే అత్యుత్తమ ప్రమాణంగా ఉంటుంది. సూక్ష్మ సర్దుబాటు ప్రక్రియ మీ విధానాన్ని, అసాధారణ సందర్భాలను నేరుగా పరామితుల్లో పొందుపరుస్తుంది. దీనివల్ల సంక్లిష్టమైన వాస్తవ వినియోగ పరిస్థితులన్నింటిలో ప్రవర్తన మరింత స్థిరంగా ఉండటంతో పాటు, ప్రతిస్పందన ఆలస్యం, వ్యయం చాలా తక్కువగా ఉంటాయి.
దీన్ని సాధించడానికి ఉన్న అనేక విధానాల్లో సూపర్వైజ్డ్ ఫైన్-ట్యూనింగ్ ఒకటి మాత్రమే. మోడల్ ప్రవర్తనను మరింత మెరుగుపరచడానికి రీఇన్ఫోర్స్మెంట్ లెర్నింగ్ లేదా ప్రస్తుత విధాన ఆధారిత స్వేదనం వంటి ఇతర శక్తిమంతమైన శిక్షణ పద్ధతులను కూడా ఉపయోగించవచ్చు.
సూక్ష్మ సర్దుబాటుకు సాధారణంగా అధిక పరిమాణంలో డేటా అవసరం. ఈ Qwen3-0.6B వర్గీకరణ మోడల్ సూక్ష్మ సర్దుబాటుకు ఉపయోగించిన డేటాసెట్ను మానవ మోడరేటర్లు స్వయంగా లేబుల్ చేశారు. అందువల్ల అది శుద్ధమైన, అత్యంత విశ్వసనీయమైన ప్రామాణిక సమాచార వనరుగా నిలిచింది.
అనేక ప్రాజెక్టుల్లో ప్రారంభం నుంచే ఇంత సమృద్ధమైన డేటా అందుబాటులో ఉండకపోవచ్చు. అందువల్ల, పరిష్కార అభివృద్ధి చక్రంలో తర్వాత చేపట్టగల మెరుగుదలగా సూక్ష్మ సర్దుబాటును మేము పరిగణిస్తాం. పరిష్కారం స్థిరమైన రూపు సంతరించుకుని, కొంత వాస్తవ వినియోగదారు డేటా సేకరించిన తర్వాత, మోడరేషన్ పరిష్కారాలను తదుపరి స్థాయికి తీసుకెళ్లేందుకు లక్షిత సూక్ష్మ సర్దుబాటును డెవలపర్లు పరిశీలించవచ్చు.
gpt-oss-safeguard వంటి ప్రాథమిక మోడరేషన్ మోడళ్లు శక్తిమంతమైన కొత్త నిర్మాణ భాగాలు. తక్షణ అనువర్తనాల్లో ఆలస్యాన్ని తగ్గిస్తూనే, మోడరేషన్ వ్యవస్థల రూపకల్పనను గణనీయంగా సరళీకరించే సామర్థ్యం వీటికి ఉంది. వీటిని చిన్న, అవసరానుకూల వర్గీకరణ మోడళ్లతో కలిపితే, పెద్ద సాధారణ మోడళ్లతో కూడిన ప్రాంప్ట్ ఆధారిత విధానం కంటే తక్కువ భాగాలతో మరింత సురక్షితమైన, వేగవంతమైన వ్యవస్థను నిర్మించవచ్చు.
మీరు ఇప్పుడు మోడరేషన్ వ్యవస్థను ఏర్పాటు చేస్తున్నా లేదా మెరుగుపరుస్తున్నా, ముందుగా gpt-oss-safeguard వంటి మోడళ్లతో ప్రారంభించండి. వాటి పనితీరును కొలిచి, డేటా లోపాలను చూపిన చోట అవసరానుకూల వర్గీకరణ మోడళ్లతో ప్రాంప్ట్ ఆధారిత లేదా సూక్ష్మంగా సర్దుబాటు చేసిన లక్షిత మెరుగుదలలను ప్రవేశపెట్టండి.
మరింత తెలుసుకోవాలనుకుంటున్నారా? మాకు సందేశం పంపండి.