आम लोगों के लिए उपलब्ध लार्ज लैंग्वेज मॉडल (LLM) अनुप्रयोग ब्रांडों के लिए प्रतिष्ठा और वित्तीय जोखिम पैदा कर सकते हैं.
हम LLM जेलब्रेक और LLM के अन्य अनचाहे व्यवहार से होने वाला नुकसान कम करने के लिए कई स्तरों वाले वर्गीकरण फ़िल्टर इस्तेमाल करते हैं.
हमने इसे बड़े पैमाने के एक सक्रिय अनुप्रयोग में लागू किया है, जिसे हर दिन 40,000 से अधिक और लगातार बढ़ते संदेश मिलते हैं.
पिछले एक वर्ष में हमने एक प्रमुख गेम डेवलपर के साथ मिलकर एक जनरेटिव एआई चैटबॉट तैनात किया, जो बच्चों सहित खिलाड़ियों से मिलने वाले प्रतिदिन लगभग 40,000 संदेशों को संभालता है. गति, सटीकता, सुरक्षा और मनोरंजन के बीच संतुलन आवश्यक है:
अपने ब्रांड का प्रतिनिधित्व करने वाला चैटबॉट बनाते समय केवल उसका सुरक्षित होना पर्याप्त नहीं है, उसकी आवाज़ भी प्रामाणिक रूप से आपकी होनी चाहिए.
किसी गेम कंपनी के लिए इसका अर्थ सुरक्षा को मनोरंजन और उपयोगकर्ताओं के उत्साह से जोड़ना है, खासकर कम उम्र के दर्शकों के लिए.
आधुनिक जनरेटिव एआई अनुप्रयोगों की नींव में मौजूद LLM बहुत लचीले होते हैं, इसीलिए वे कई समस्याओं पर अच्छी तरह लागू होते हैं, लेकिन उन पर पर्याप्त सीमाएं नहीं होतीं. इसका अर्थ है कि वे अक्सर तय दायरे से भटक सकते हैं और कई तरह के टेक्स्ट दे सकते हैं, जिनमें से कुछ अनुपयुक्त हो सकते हैं.
किसी LLM को सीधे जनता के लिए उपलब्ध कराने पर अप्रत्याशित व्यवहार होना तय है और उचित सुरक्षा उपाय न होने पर ये जोखिम पैदा हो सकते हैं:
“जेलब्रेक”, जिनमें उपयोगकर्ता जानबूझकर चैटबॉट से हानिकारक या प्रतिबंधित सामग्री बनवाने के लिए हेरफेर करते हैं. एक मज़ेदार जानकारी: कोई भी इस वेबसाइट पर जाकर खेल-खेल में LLM जेलब्रेक आज़मा सकता है.; या
अनजाने में अरुचिकर, आपत्तिजनक या खतरनाक सामग्री देना. कई मामलों में इससे उपयोगकर्ता की सेहत खतरे में पड़ सकती है या अनुप्रयोग प्रदाता को वित्तीय अथवा ब्रांड-संबंधी नुकसान हो सकता है.
LLM के अनचाहे उपयोग से जुड़ी समाचार सुर्खियां:
ये घटनाएं दिखाती हैं कि जनरेटिव एआई प्रणालियों में सुरक्षा बनाना और उसे बनाए रखना वैकल्पिक नहीं है. कम उम्र के बच्चों के मामले में यह विशेष रूप से सच है. केवल अस्वीकरणों पर निर्भर नहीं रहा जा सकता, सामग्री को उपयुक्त बनाए रखने के लिए मज़बूत सुरक्षा सीमाएं आवश्यक हैं.
ग्राहकों के लिए बनाई गई हमारी आरएजी (पुनर्प्राप्ति-संवर्धित सृजन) प्रणालियों की तरह, हम प्रदर्शन को उच्च बनाए रखते हुए जेलब्रेक के जोखिम घटाने के लिए कई एआई घटकों का उपयोग करते हैं.
हमारी प्रणाली की संरचना का सरल आरेख
प्रणाली की सुरक्षा सुनिश्चित करने के लिए हम इनपुट और आउटपुट, दोनों पर LLM वर्गीकारक इस्तेमाल करते हैं:
इनपुट वर्गीकरण (एक साथ संचालित)
हमने उपयोगकर्ताओं के प्रश्नों को लेबल करने के लिए LLM स्ट्रक्चर्ड आउटपुट के साथ Pydantic स्कीमा इस्तेमाल किए, जैसे SAFE, SUSPICIOUS, CHILD_HARM_RISK और VIOLENT आदि. इसमें जेलब्रेक या प्रतिबंधित व्यवहार पहचानने वाले संकेतक भी शामिल थे.
अलग-अलग विषयों के लिए कई वर्गीकारकों ने एक ही विशाल “सब कुछ पकड़ने वाले” वर्गीकारक की तुलना में कहीं बेहतर प्रदर्शन किया.
वर्गीकारक “यह किरदार मुझे बार-बार मार देता है” (गेम के संदर्भ में) और “मेरे माता-पिता मुझे चोट पहुंचा रहे हैं” (बच्चे को नुकसान का संकेत) में अंतर कर सकें, इसके लिए बड़ी संख्या में फ्यू-शॉट उदाहरण बेहद महत्वपूर्ण थे.
ग्राहक और उनकी विशेषज्ञ विश्वास एवं सुरक्षा टीमों के साथ निकट सहयोग से यह सुनिश्चित हुआ कि हमारे वर्गीकारक उच्च-जोखिम वाले संदेशों का आकलन उसी तरह करें, जैसा वे वास्तविक जीवन में करते हैं.
जवाब तैयार करना
इनपुट सुरक्षित माने जाने पर मुख्य LLM जवाब तैयार करता है.
अन्यथा संदेश को अनदेखा किया जा सकता है, जैसे जेलब्रेक के मामले में, या सुरक्षा समस्या का संकेत मिलने पर किसी व्यक्ति के पास भेजा जा सकता है.
आउटपुट वर्गीकरण
अंतिम रूप से भेजने से पहले हम अपने अनुप्रयोग में मॉडल के जवाब का वर्गीकरण करते हैं.
कुछ जवाब इंटरनेट से जुटाए गए डेटा पर आरएजी तकनीकें लागू करके बनाए जा सकते हैं, इसलिए यह चरण हमें डेटा विषाक्तता से बचाता है.
अगर उसमें प्रतिबंधित सामग्री होती है, तो प्रणाली हस्तक्षेप करके उसे एक सामान्य संदेश से बदल देती है. व्यवहार में ऐसा बहुत कम हुआ है, लेकिन एजेंट का व्यवहार उपयुक्त बना रहे, यह सुनिश्चित करने के लिए यह एक अतिरिक्त एहतियाती परत है.
गति और किफ़ायत बनाए रखने के लिए:
हम चुनिंदा फ्यू-शॉट उदाहरणों के साथ अक्सर इस्तेमाल होने वाले प्रॉम्प्ट और संवादों के कुछ हिस्से संग्रहित करते हैं.
इस कैशिंग से हम हर बार संदर्भ दोबारा बनाए बिना LLM वर्गीकारकों को तेज़ी और कम लागत में लागू कर सकते हैं.
Anthropic के एक हालिया अध्ययन में संवैधानिक वर्गीकारकों का वर्णन किया गया है. यह प्रणाली दुर्भावनापूर्ण या असुरक्षित अनुरोधों का पता लगाने के लिए “संवैधानिक” नियमों से प्रशिक्षित अतिरिक्त वर्गीकारकों पर निर्भर करती है. उन्होंने बताया:
हज़ारों घंटों की मानव रेड टीमिंग के विरुद्ध उच्च मज़बूती.
अनावश्यक रूप से मना करने की न्यूनतम दर और गणना पर मध्यम अतिरिक्त भार.
हम ऐसे भविष्य की कल्पना करते हैं जहां ये संवैधानिक तरीके पारंपरिक वर्गीकरण परतों के पूरक बन सकें या उनकी जगह भी ले सकें और बदलती जेलब्रेक रणनीतियों के विरुद्ध अधिक व्यापक सुरक्षा दें.
समानांतर और हल्के फ़िल्टर
वर्गीकरण की परतें दुर्भावनापूर्ण प्रश्नों को सृजनात्मक केंद्र तक पहुंचने से रोकती हैं और यह सुनिश्चित करती हैं कि खराब आउटपुट कभी उपयोगकर्ताओं तक न पहुंचे.
उपयोगकर्ता अनुभव महत्वपूर्ण है
मनोरंजक, कहानी की दुनिया से जुड़ी चेतावनियों और चंचल ढंग से मना करने पर ध्यान देने से उपयोगकर्ता प्रणाली की सीमाएं अधिक आसानी से स्वीकार करते हैं.
परीक्षण और निगरानी में कोई कसर न छोड़ें
नियमित रेड टीमिंग और खिलाड़ियों के व्यवहार की लगातार निगरानी से कमज़ोरियों को व्यापक खिलाड़ी समुदाय के सामने आने से पहले पहचानने में मदद मिलेगी. इसके बाद इन्हें फ्यू-शॉट वर्गीकारक प्रॉम्प्ट में वापस शामिल करके भविष्य में इनके इस्तेमाल को रोका जा सकता है. फ़िलहाल यह प्रक्रिया हाथ से की जाती है, लेकिन इसे स्वचालित किया जा सकता है.
चाहे आप गेम कंपनी हों, बैंक हों या सरकारी विभाग, बड़े पैमाने पर ग्राहक सेवा चैटबॉट लागू करते समय आपको उपयोगकर्ता-केंद्रित डिज़ाइन और विश्वसनीयता, दोनों को लक्ष्य बनाना होगा.
हम उन संगठनों और ब्रांडों के लिए ग्राहक-सामना समाधान बनाते हैं, जहां:
सुरक्षा सर्वोपरि है—ऐसे चैटबॉट जो उपयोगकर्ताओं को उपयोगी अनुभव देते हैं, लेकिन उन्हें हानिकारक सामग्री से सख़्ती से बचाते भी हैं.
प्रतिष्ठा सुरक्षित रहती है—हम सुरक्षा की कई परतें बनाते हैं, जो उपयोगकर्ताओं द्वारा प्रणाली को उसकी सीमाओं से आगे धकेलने की कोशिश के बावजूद ब्रांड की प्रतिष्ठा अक्षुण्ण रखती हैं.
नियम आपके विकल्प सीमित करते हैं—हम अनुपालन के नवीनतम दिशानिर्देशों से अवगत रहते हैं, ताकि आप अपने अनुप्रयोग के जेलब्रेक होने की चिंता किए बिना समाधानों को बड़े पैमाने पर लागू कर सकें.