خلال العامين الماضيين، بنينا حلولًا توسعت بأمان لخدمة ملايين المستخدمين. شكّل تصميم أنظمة إشراف سريعة ودقيقة جزءًا أساسيًا من هذا العمل. يتيح الإشراف الفعال للشركات نشر حلول ذكاء اصطناعي متطورة بثقة، عبر حماية المستخدمين النهائيين من الضرر وضمان سلامة العلامة التجارية برصد المخرجات غير المرغوبة قبل أن تصبح مشكلة.
أطلقت OpenAI مؤخرًا نماذج GPT-OSS-Safeguard، وهي إصدارات مضبوطة بدقة من نموذجي OSS ذوي 20B و120B معلمة اللذين طُرحا في وقت سابق من هذا العام. يمكن لهذه النماذج تفسير سياسة المستخدم مباشرة في وقت الاستدلال، ما يوفر نهجًا مرنًا وقويًا للإشراف على المحتوى. هذه النماذج متاحة في إصدار بحثي تجريبي، ولا شك أنها ستواصل التحسن بمرور الوقت.
تعاونّا مع OpenAI قبل هذا الإصدار، وأجرينا تقييمات واقعية للمساهمة في تطوير النموذج. نشارك في هذا المقال رؤى مستخلصة من ذلك التعاون، ونستكشف ما تعنيه هذه التطورات لمستقبل الإشراف في أنظمة الذكاء الاصطناعي قيد الإنتاج.
تأخذ حلول الإشراف اليوم عادةً شكل طبقات حماية تحيط بالتطبيق. نستخدم هذا النمط بكثرة في عمليات النشر واسعة النطاق والموجهة للجمهور. للتعمق أكثر، يمكنك الاطلاع على تدوينتنا حول هذا الموضوع من هنا.
صنّف المدخلات بالتوازي، ولا تسمح بدخول المطالبات الضارة: تعمل مصنّفات صغيرة ومتخصصة في موضوعات محددة بالتزامن لتصنيف كل رسالة من المستخدم. وجدنا أن المصنّفات ضيقة النطاق أكثر موثوقية بصورة قابلة للقياس من مصنّف واحد شامل. يمكن لأمثلة قليلة الأمثلة مختارة بعناية في المطالبة أن تساعد على التمييز بين “I keep getting killed by this boss” في سياق لعبة، وهو قول غير ضار تمامًا، وبين إشارة إلى ضرر في العالم الحقيقي.
آمن ← أنشئ الرد بصورة طبيعية
محاولات تجاوز إجراءات الحماية ← تجاهلها أو حوّل مسارها برفض يتسق مع هوية العلامة التجارية
مخاطر السلامة أو الرفاه ← صعّدها إلى مشرف بشري مع سياق وافٍ
صنّف المخرجات، ولا ترسل إجابة سيئة: تُفحص كل إجابة مرشحة مجددًا قبل تسليمها. يوفر ذلك حماية من انحراف النموذج، وتسميم بيانات التوليد المعزز بالاسترجاع (RAG)، والحالات الحدّية الدقيقة للسياسات، مثل المحتوى الضار أو كشف معلومات التعريف الشخصية أو تسريب المعلومات الحساسة. إذا رُصدت مشكلة، نستبدل بالإجابة التي أنشأتها النماذج اللغوية الكبيرة (LLM) رسالة آمنة ومتسقة مع العلامة التجارية، أو نصعّدها إلى مشرف بشري بدلًا من إرسال شيء سنندم عليه.
اجعله سريعًا وميسور التكلفة: يتيح تصميم المطالبات كلَبِنات قابلة لإعادة الاستخدام تخزين أجزاء المطالبة وأمثلة المصنّف قليلة الأمثلة وبدايات الحوارات الشائعة مؤقتًا. يتيح هذا النهج خفض زمن الاستجابة وتكلفة ضوابط الحماية معًا.
تعامل مع السلامة باعتبارها جزءًا من تجربة المنتج تُكتب رسائل الرفض والتحذيرات بصوت العلامة التجارية، كأن تكون مرحة في الألعاب ورسمية في الخدمات المالية. عندما تحترم تجربة المستخدم مقصده، يزداد تقبّل ضوابط الحماية وتنخفض محاولات تجاوزها.
راقب واختبر المخاطر وأغلق حلقة التحسين يساعد اختبار تقييم المخاطر المستمر ولوحات متابعة السلامة المباشرة على رصد التراجعات قبل أن تؤثر في المستخدمين. يمكننا تعليم النموذج أي أنماط هجوم جديدة بإضافة أمثلة قليلة الأمثلة و/أو قواعد توجيه، ليصبح اختراق النظام أصعب بمرور الوقت من دون المساس بأداء التطبيق.
يصعب بناء ضوابط حماية فعالة وصيانتها.
يتطلب ذلك عمليًا تعاونًا دقيقًا بين أصحاب المصلحة الرئيسيين في الشركة والمطورين لصياغة سياسة واضحة المعالم. وبعد تحديد السياسة، يجب بناء تصميم النظام وسلوكه وضبطهما.
قد يسهم ظهور نماذج مفتوحة للاستدلال المتعلق بالسلامة، مثل gpt-oss-safeguard، في معالجة بعض صعوبات هذه العملية، عبر توفير أساس أكثر جاهزية للاستخدام وتنوعًا للإشراف على المحتوى.
يهدف Gpt-oss-safeguard إلى معالجة بعض التحديات الشائعة في بناء أنظمة الإشراف الحالية. تُضبط هذه النماذج الصغيرة والمتخصصة بدقة للاستدلال استنادًا إلى سياسة مستهدفة وقت التشغيل، بحثًا عن محتوى ضار أو حساس، مثل محاولات تجاوز إجراءات الحماية وكشف معلومات التعريف الشخصية وغيرها من انتهاكات السياسات.
ومن خلال دمج الاستدلال في عملية التصنيف، توفر هذه النماذج إشرافًا أدق وأكثر متانة ويصعب التحايل عليه. وبصفتها إصدارات متخصصة في السلامة من GPT-OSS 20B و120B، فإنها تحقق أداءً متقدمًا في السلامة، ولا تتطلب سوى قدر ضئيل من الإعداد بفضل تعريفات السياسات المخصصة.
قيّمنا gpt-oss-safeguard 20B و120B عبر عدة مهام تحاكي بيئات الإنتاج: مساعد صوتي آني، وروبوت لدعم اللاعبين داخل الألعاب، ونظام استباقي للإشراف على المحادثات، وفحص للسمّية بلغات متعددة هي الإسبانية والفرنسية والإيطالية والبرتغالية والروسية والتركية.
الإشراف الصوتي الحساس لزمن الاستجابة: في اختباراتنا الصوتية الآنية، أي التصنيف المباشر داخل محادثة يلزم فيها تحليل الرد وتحديد أولويته، كما في الإشراف على محادثات اللعب، سدّ gpt-oss-safeguard-20B نحو 80% من فجوة الدقة بين GPT-OSS-20B وGPT-5-Mini، محققًا 0.71 مقابل 0.78 بعد ارتفاعه من 0.45، مع زمن استجابة أقل بكثير.
تصعيد حالات دعم اللاعبين: في فرز طلبات دعم اللاعبين، سدّ gpt-oss-safeguard-20B نحو 90% من الفجوة بين GPT-OSS-20b وGPT-5-Mini، محققًا 0.66 مقابل 0.67 بعد ارتفاعه من 0.57. وحقق أيضًا أفضل دقة كلية ضمن المجموعة، واستدعاءً بنسبة 88% للمحتوى غير الضار، ودقة بنسبة 87% في اكتشاف المستخدمين المعرّضين للخطر؛ وهي نتائج مفيدة للتصعيدات المتحفظة والموثوقة من دون إغراق المراجعين البشريين.
الإشراف واسع النطاق على المحادثات ذات السياسات الكثيفة: في تقييمنا الأصعب، الذي يتطلب من نظام الإشراف رصد رسائل الألعاب استباقيًا وفق وثيقة سياسات كثيفة، تفوق gpt-oss-safeguard بوضوح على خط أساس OSS، محققًا تحسنًا نسبيًا بنحو 35%، وتعامل بفعالية مع السياسات الطويلة. هذه حالة استخدام شديدة الحساسية تتطلب مستويات عالية من الاستدعاء والدقة. إذا انخفض الاستدعاء كثيرًا، ستفوت على النظام رسائل ضارة عديدة. كما أن انخفاض الدقة سيؤدي إلى إحالة رسائل كثيرة غير ذات صلة إلى المشرفين البشريين، ما يشتت انتباههم عن الحالات الصعبة فعلًا.
الأداء متعدد اللغات: على مجموعة بيانات متوازنة للسمّية بست لغات، اقترب أداء gpt-oss-safeguard من GPT-5-Mini، إذ تراوح فارق الدقة عادةً بين 3 و5 نقاط مئوية، بينما تفوق gpt-oss-safeguard-120B قليلًا في الإسبانية. لاحظنا فجوات أكبر قليلًا في اللغات ذات الموارد الأقل، مثل التركية، لكن النمط العام أظهر أداءً قويًا عبر اللغات، مع مكاسب ثابتة في الاستدعاء عند الانتقال من 20B إلى 120B.
لاحظنا أيضًا أن نماذج gpt-oss-safeguard تحقق أداءً قويًا في جوانب تضعف فيها النماذج اللغوية الكبيرة (LLM) عادةً عند الإشراف، مثل بيانات التعريف الشخصية؛ إذ تميل النماذج الشائعة إلى اكتشاف البيانات المصممة وفق الأنماط الأمريكية على نحو أفضل، بينما يضعف أداؤها في المناطق الجغرافية الأخرى. وبناءً على ذلك، نعتقد أن gpt-oss-safeguard سيفيد في تبسيط إعدادات الإشراف عبر تقليل الاعتماد على أدوات مخصصة لرصد الانتهاكات البسيطة للسياسات التي تعجز النماذج اللغوية الكبيرة (LLM) الأوسع نطاقًا عن التعامل معها.
أثبتت تقييماتنا أن «نماذج الإشراف الأساسية» مثل gpt-oss-safeguard-20B وgpt-oss-safeguard-120B تتيح لك تحقيق الكثير بسرعة. لكن النماذج المضبوطة بدقة لنطاقات محددة تظل المعيار الأعلى عندما تتطلب الأنظمة أعلى مستويات السلامة والدقة التخصصية.
في حالة استخدام الإشراف داخل الألعاب، ضبطنا بدقة مصنّف Qwen3-0.6B باستخدام الضبط الدقيق تحت الإشراف، استنادًا إلى نحو 10 آلاف إجراء سابق للمشرفين ونتائج السياسات. يتفوق هذا النموذج بفارق كبير على كل نموذج أساسي اختبرناه في هذه المهمة، إذ حقق دقة قدرها 57% مقابل 15% لنموذج gpt-oss-safeguard-120B، وفق تقدير مستند إلى نسبة أداء GPT-4.1-nano، أي بزيادة 42 نقطة ونحو 280%. تتوافق هذه النتائج مع إرشادات OpenAI التي تفيد بأن المصنّفات الأصغر والمخصصة، والمدرّبة على أمثلة مصنفة، قد تتفوق على نماذج الحماية في النطاقات المتخصصة.
الخلاصة واضحة: عندما تكون السياسات دقيقة التفاصيل وتكثر فيها الحالات الحدّية، يظل النموذج الصغير المضبوط لنطاق محدد هو المعيار الذهبي. تدمج عملية الضبط الدقيق سياستك وحالاتها الحدّية مباشرة في معلمات النموذج، ما يمنح سلوكًا أكثر اتساقًا في بيئات الإنتاج المعقدة، بزمن استجابة وتكلفة متناهيي الصغر.
الضبط الدقيق تحت الإشراف ليس سوى أحد الأساليب الممكنة لتحقيق ذلك. ويمكن أيضًا الاستفادة من تقنيات تدريب قوية أخرى، مثل التعلم بالتعزيز أو التقطير وفق السياسة، لتحسين سلوك النموذج بدرجة أكبر.
يتطلب الضبط الدقيق عادةً قدرًا كبيرًا من البيانات. كانت مجموعة البيانات المستخدمة لضبط مصنّف Qwen3-0.6B بدقة مصنفة يدويًا بواسطة مشرفين بشريين، ولذلك مثّلت مصدرًا مرجعيًا نقيًا وموثوقًا.
قد لا تتوفر هذه الميزة المتمثلة في ثراء البيانات منذ البداية في كثير من المشاريع. لذلك نميل إلى اعتبار الضبط الدقيق تحسينًا يمكن تطبيقه في مرحلة لاحقة من دورة تطوير الحل. بعد استقرار بنية الحل وجمع قدر من بيانات المستخدمين الفعلية، يمكن للمطورين الاستعانة بالضبط الدقيق الموجّه للارتقاء بحلول الإشراف إلى مستوى أعلى.
تمثل نماذج الإشراف الأساسية مثل gpt-oss-safeguard لبنات بناء جديدة وقوية. ويمكنها تبسيط تصميم أنظمة الإشراف بدرجة ملموسة، مع خفض زمن الاستجابة في التطبيقات الآنية. وعند دمجها مع مصنّفات صغيرة ومخصصة، يمكنك بناء نظام أكثر أمانًا وسرعة وأقل تعقيدًا من نهج قائم على المطالبات ويستخدم نماذج عامة كبيرة.
إذا كنت تنشئ نظام إشراف أو تحدّثه اليوم، ففكر في البدء بنماذج مثل gpt-oss-safeguard، ثم قِس الأداء وأضف تحسينات موجّهة عبر مصنّفات مخصصة، قائمة على المطالبات أو مضبوطة بدقة، حيث تكشف البيانات عن فجوات.
هل ترغب في معرفة المزيد؟ أرسل إلينا رسالة.