ارزیابی‌ها: گذار از آزمایش هوش مصنوعی به بهره‌برداری مطمئن

• اگرچه مدل‌های پایه بهبود یافته‌اند، تحول اصلی که استفاده مطمئن در محیط عملیاتی را ممکن کرده، حاصل شیوه‌های منضبط ارزیابی است.

• ارزیابی‌های درست‌طراحی‌شده به مدیران محصول، مسئولان راهبری هوش مصنوعی و مدیران ارشد فناوری کمک می‌کنند عامل‌های هوش مصنوعی را با ایمنی و در مقیاس وسیع مستقر کنند و هوش مصنوعی را از ابزاری تفننی و منزوی به مزیتی رقابتی تبدیل کنند.

• این اطمینان از ارزیابی رفتار عامل هوش مصنوعی در برابر پرسش‌های واقعی کاربران، موارد مرزی و سناریوهای تخصصی بازتاب‌دهنده فضای واقعی کسب‌وکار شما حاصل می‌شود؛ نه از یک معیار عمومی که می‌گوید «این مدل بهترین است».

• هدف، توجیه این اطمینان با نتایج قابل‌اندازه‌گیری است. موفقیت یعنی تعریف "خوب" با معیارهایی عینی و سنجش‌پذیر که با نیازهای کسب‌وکار و میزان تحمل ریسک شما همسو باشند؛ خواه دقت در واقعیت‌ها باشد، خواه لحن مناسب، سرعت یا صرفه اقتصادی.

• با گنجاندن ارزیابی در سراسر سیستم، از ابزارگذاری و ثبت رویداد گرفته تا آزمون A/B و حفاظ‌ها، و ایجاد توازن میان دقت و کارایی، تیم‌ها می‌توانند سریع‌تر و مطمئن‌تر استقرار دهند.

بیشتر کسب‌وکارها مشکلی ندارند که کارکنانشان با ChatGPT یا Gemini کار و آزمایش کنند. اما به‌کارگیری مدل‌های زبانی بزرگ در فرایندها یا محیط‌های حساس چندان رایج نبوده است.

دلایل آن اغلب موجه بوده‌اند: کیفیت یکنواخت نبوده و خطر توهم یا رفتار نامطلوب بر مزایای بالقوه این فناوری می‌چربیده است.

این موازنه ریسک و منفعت در یک سال گذشته به‌طور محسوسی تغییر کرده است. بخشی از این تغییر را می‌توان به بهبود عملکرد مدل‌های پایه نسبت داد، اما بخش بزرگی از آن حاصل افزایش نظم در ارزیابی‌هاست. ارزیابی‌ها به ما و مشتریانمان اطمینان می‌دهند که عامل‌های مقیاس‌پذیر و روبه‌مشتری را ظرف چند هفته مستقر کنیم.

این راهنما مبانی ارزیابی و چگونگی طراحی، پیاده‌سازی و بهره‌برداری از آن برای موارد استفاده عملیاتی را توضیح می‌دهد.

هدف ارزیابی یافتن مدلی بی‌نقص نیست؛ هدف ایجاد اطمینانی موجه است که مدل شما مطابق نیازهای کسب‌وکار، انتظارات کاربران و میزان تحمل ریسک سازمانتان رفتار می‌کند.

اساس هر راهبرد ارزیابی یک پرسش ساده است: «خوب» چه شکلی است؟ پاسخ باید مشخص باشد. برای یک سازمان، «خوب» شاید به معنای دقت در واقعیت‌ها با خطای بسیار محدود باشد؛ سازمانی دیگر ممکن است سرعت، صرفه اقتصادی یا لحنی متمایز را در اولویت بگذارد. تمام محدودیت‌های کاری شما، از داده‌های مجاز تا الزامات قانونی، بر این تعریف اثر می‌گذارند.

مهم‌تر از همه، 'خوب' باید مؤلفه‌هایی واقعاً سنجش‌پذیر داشته باشد. اگر موفقیت به معنای ارائه راهنمایی مالی مفید است، مفیدبودن باید با ویژگی‌هایی مانند صحت واقعیت‌ها، هشدارهای مناسب، استدلال شخصی‌سازی‌شده و مرزهای ایمن بیان شود. پس از تعریف سنجش‌پذیر «خوب»، پرسش بعدی این است که نتایج را چگونه تحلیل و تفسیر خواهید کرد. عمل‌کردن بر اساس این نتایج است که ارزیابی را از مجموعه‌ای قضاوت موردی به یک روش تبدیل می‌کند.

هر خط لوله ارزیابی بر سه ستون به‌هم‌پیوسته استوار است:

1. ورودی‌ها/معیارها: نمونه‌های واقعی و نماینده برای سنجش عملکرد عمومی و مجموعه‌داده‌های داخلیِ گزینش‌شده برای آزمودن کارایی در حوزه تخصصی.

2. رفتار مدل: نحوه فراخوانی مدل، مانند تولید تقویت‌شده با بازیابی، خلاصه‌سازی، بازیابی اطلاعات ساخت‌یافته و استفاده از ابزار.

3. سنجه‌ها: چگونگی اندازه‌گیری و تفسیر عملکرد.

ورودی‌ها باید نماینده دنیایی باشند که سیستم شما با آن روبه‌رو می‌شود. معنادارترین بینش‌ها از نمونه‌های واقعی به دست می‌آیند: پرسش‌های مشتریان، سناریوهای مالی یا موارد خاص صنعت شما. فقط با آزمودن این موارد می‌توانید دریابید آیا مدل واقعاً ظرافت‌های موردنیاز کاربران را درک می‌کند و پاسخ‌گوی نیاز کسب‌وکار است یا نه.

رفتار مدل، از نحوه ارائه اعلان و هماهنگ‌سازی بازیابی یا ابزارها گرفته تا شیوه ارائه زمینه، به‌اندازه خود مدل اهمیت دارد. دو مدل یکسان بسته به نحوه استقرار می‌توانند رفتارهایی کاملاً متفاوت داشته باشند. بنابراین این لایه نیز باید در طراحی ارزیابی گنجانده شود.

در نهایت به سنجه‌ها می‌رسیم. اعداد به‌تنهایی به‌ندرت تمام واقعیت را نشان می‌دهند، اما سنجه‌های مناسب رفتار سیستم را قابل‌تفسیر می‌کنند. تأخیر، دقت، ایمنی، انسجام، سوگیری، هزینه و رضایت کاربر در کنار هم تصویری چندبعدی از سیستم در محیط عملیاتی می‌سازند. هنر کار در انتخاب سنجه‌هایی است که با شاخص‌های کلیدی عملکرد پروژه یا کسب‌وکار همسو باشند و مهم‌ترین ویژگی‌ها برای کاربران را روشن کنند. سنجه‌های ساده‌تر اغلب دقیق‌تر و کم‌هزینه‌ترند و انتخاب سنجه نامناسب می‌تواند تیم‌ها را گمراه کند. برای انتخاب سنجه این‌گونه بیندیشید:

نمونه‌هایی از انتخاب سنجه مناسب:

• چت‌بات خدمات مشتری: نرخ حل مشکل در نخستین تماس (آیا مشکل کاربر بدون ارجاع حل شد؟)، میانگین زمان رسیدگی، امتیاز رضایت کاربر و نرخ ارجاع به عامل‌های انسانی

• ابزار پژوهش مالی: دقت استناد (درصد ادعاهای دارای منبع معتبر)، صحت واقعیت‌ها در مقایسه با مرجع قطعی، ارتباط نتایج بازیابی (آیا اسناد درست را یافت؟) و انسجام استدلال با امتیازدهی متخصصان حوزه

• دستیار تولید کد: صحت نحو، نرخ قبولی آزمون‌ها، تعداد آسیب‌پذیری‌های امنیتی و زمان رسیدن به راه‌حل عملی

نمونه‌هایی از انتخاب سنجه نامناسب:

• استفاده صرف از طول پاسخ به‌عنوان نماینده کیفیت (طولانی‌تر ≠ بهتر)

• سنجش سرعت بدون درنظرگرفتن بده‌بستان آن با دقت

• پیگیری امتیاز اطمینان مدل بدون اعتبارسنجی آن در برابر صحت واقعی

• اتکای صرف به پرپلکسیتی داخلی مدل بدون اعتبارسنجی از دید کاربر

خطاهای رایج در انتخاب سنجه که باید از آن‌ها پرهیز کرد:

• سنجه‌های متعارض: بهینه‌سازی هم‌زمان سرعت و جامعیت بدون توجه به بده‌بستان میان آن‌ها

• بیش‌برازش با معیارها: کسب امتیاز ۹۵٪ در مجموعه آزمون، اما شکست در محیط عملیاتی به‌دلیل رفتار متفاوت کاربران واقعی

برای یکی از مشتریان حوزه خدمات مالی با مقررات سخت‌گیرانه، دقت راهکار تحقیق عمیق اهمیتی حیاتی داشت. مجموعه‌داده‌های پرسش‌وپاسخِ تدوین‌شده به دست متخصصان را با مجموعه‌داده‌های تولیدشده به کمک ابزار ترکیب کردیم تا هم دقت و هم توانایی سیستم در انتخاب ابزار و بازیابی اطلاعات درست را بسنجیم و تصویری متوازن از دقت و کیفیت استدلال به دست آوریم. نکته اصلی، سنجش چند بُعد بود: صحت واقعیت‌ها با اعتبارسنجی متخصص، کیفیت بازیابی با دقت و فراخوانی اسناد مرتبط، و انسجام استدلال با ارزیابی ساخت‌یافته جریان منطقی.

زمان مناسب استفاده از الگوهای زبانی بزرگ (LLM) به‌عنوان داور برای سنجش کیفیت ظریف

در روش «الگوهای زبانی بزرگ (LLM) به‌عنوان داور»، یک مدل هوش مصنوعی دوم نقش ارزیاب را دارد و بازبینی انسانی با امتیازدهی کیفی خودکار و مقیاس‌پذیر جایگزین می‌شود. هنگامی که سنجه‌های ساده‌تر دقت لازم را فراهم می‌کنند، اغلب از روش «الگوهای زبانی بزرگ (LLM) به‌عنوان داور» نابجا استفاده می‌شود. این روش زمانی مفید است که بررسی‌های قطعی نتوانند کیفیت را ثبت کنند؛ مثلاً وقتی سنجه معنایی است، مانند مفیدبودن، اتکا به منبع، کیفیت استدلال، لحن یا تفسیر خط‌مشی، و امتیازدهی قطعی ممکن نیست. ممکن است برای انواع متعدد اعلان و مدل به بازخوردی مقیاس‌پذیر نیاز داشته باشید و لازم باشد یک شیوه‌نامه روشن و الگویی برای خروجی ساخت‌یافته تعریف کنید. برای بهره‌گیری مؤثر از آن، این مراحل را دنبال کنید:

• ابعاد شیوه‌نامه را صریح تعریف کنید: صحت، اتکا به منبع، رعایت خط‌مشی، قابلیت اقدام و لحن.

• برای پاسخ‌های داور از خروجی های دارای ساختار (الگوی JSON) استفاده کنید.

• برای تحلیل شکست، هم امتیازهای قبولی دودویی و هم متن تشخیصی را ثبت کنید.

• در هر چرخه انتشار، خروجی‌های داور را با نمونه‌های برچسب‌گذاری‌شده انسانی کالیبره کنید.

• در حوزه‌های حساس از دو داور یا بررسی‌های دوره‌ای اجماع استفاده کنید.

• تغییر تدریجی داور و نرخ اختلاف‌نظر را در گذر زمان پیگیری کنید.

مجموعه‌داده معیار، مجموعه‌ای ثابت و گزینش‌شده از نمونه‌های آزمایشی با پاسخ‌های مشخص است که برای ارزیابی یکسان مدل‌ها و مقایسه منصفانه نتایج نسخه‌ها به کار می‌رود. این مجموعه معمولاً شامل ورودی‌ها مانند پرسش‌های کاربران، خروجی‌های موردانتظار یا قضاوت‌های مرجع، و معیارها یا برچسب‌های ارزیابی برای امتیازدهی است. آزمون‌های معیار عمومی برای مقایسه عملکرد پیشرفته‌ترین مدل‌ها به کار می‌روند و هنگام طراحی سیستم می‌توانند برای شناسایی اولیه مدل‌های مناسب مفید باشند.

بااین‌حال، برای سیستم خود نمی‌توانید این معیارها را نماینده عملکرد در بستر کسب‌وکارتان بدانید، زیرا مشکلات شناخته‌شده‌ای دارند:

• آلودگی: ممکن است مدل‌ها با داده‌های معیار آموزش دیده باشند؛ ارزیابی با همان مجموعه‌داده مانند نمره‌دادن با برگه تقلب است.

• اشباع: همه مدل‌های برتر تقریباً به سقف امتیاز رسیده‌اند؛ بنابراین بهبود یا افت عملکرد به چند واحد درصد محدود می‌شود و اغلب در محدوده نوسان طبیعی نتایج آزمون است.

• دامنه محدود: داده‌های معیار بازتاب‌دهنده وظایف واقعی شما نیستند و به‌شدت گزینش و پاک‌سازی شده‌اند. برخی حتی به‌دست مدل‌های زبانی بزرگ تولید شده‌اند و پیچیدگی و موارد مرزی داده‌های شما، مانند غلط‌های تایپی، عبارت‌های نامعمول و تصاویر مخدوش را بازتاب نمی‌دهند.

دانش‌آموز از برنامه می‌خواهد برای حل مسائل متنی کمک کند.

نمونه‌ای از معیار عمومی قابل‌استفاده: GSM8K (استدلال ریاضی مقطع دبستان)

• مجموعه دشوارترِ اختیاری: MATH.

چرا این معیار مفید است:

• می‌توان سریع مقایسه کرد کدام مدل در استدلال عمومی ریاضی بهتر است،

• پیش از سرمایه‌گذاری برای ارزیابی کامل محصول، صافی اولیه خوبی است.

چرا همچنان به مجموعه‌داده خودتان نیاز دارید:

برنامه شما الزاماتی دارد که GSM8K نمی‌سنجد:

• واژگان برنامه درسی و ترتیب موضوعات شما،

• سبک توضیح متناسب با گروه سنی شما،

• نحوه رسیدگی به پرسش‌های مبهم یا پر از غلط تایپی دانش‌آموزان،

• قواعد خط‌مشی، مانند زمان ارائه راهنمایی در برابر پاسخ کامل.

اعتبارسنجی مؤثر به ایجاد معیارهای ارزیابی ویژه برنامه شما وابسته است. این مجموعه‌داده‌ها باید از تعاملات واقعی، موارد مرزی رایج و شیوه‌های محتمل شکست تشکیل شوند. هنگام پیاده‌سازی محصول یا فرایندی تازه، این کار ممکن است دشوار باشد. بااین‌حال، در بیشتر موارد می‌توان داده‌ها را از محصول موجود یا در نخستین فرصت، حتی در مرحله آزمون اولیه، گردآوری کرد. پس از توسعه برنامه، این معیارها باید همگام با محصول تکامل یابند و به‌مرور غنی‌تر و نماینده‌تر شوند.

ارتباط میان معیار ویژه برنامه و انتخاب مدل بسیار مهم است. معیار شما نه‌تنها نشان می‌دهد راهکار کار می‌کند یا نه، بلکه مشخص می‌کند کدام ترکیب اندازه مدل و روش‌های پس‌آموزش، عملکرد موردنیاز را با کمترین هزینه فراهم می‌کند. قدرتمندترین بهبودهای مدل‌های ازپیش‌آموزش‌دیده («PT» در ChatGPT) نه از آموزش مجدد، بلکه از روش‌های "پس‌آموزش" حاصل می‌شوند.

این روش‌ها بر شکل‌دهی به اطلاعات در دسترس مدل، ساختار آن اطلاعات و نحوه هدایت و هماهنگ‌سازی مدل هنگام استنتاج تمرکز دارند. روش‌های پس‌آموزش عبارت‌اند از:

• اعلان‌دهی زنجیره تفکر و تخصیص پویای توان پردازشی (تفکر بیشتر برای مسائل دشوارتر)

• خودسازگاری، که در آن چند خروجی تولید و بهترینشان انتخاب می‌شود

• ساخت و هماهنگ‌سازی زمینه، مانند تولید تقویت‌شده با بازیابی (RAG)، نمونه‌های چند نمونه و گردش‌کارهای عاملی

• استفاده از ابزار و دسترسی به دانش خارجی، که مدل را قادر می‌سازد فراتر از پارامترهای داخلی خود عمل کند

• راهبردهای بازنمایی و ذخیره دانش برای بازیابی و استدلال کارآمد روی داده‌های ساخت‌یافته و بدون ساختار

اگرچه این روش‌های پس‌آموزش می‌توانند عملکرد سیستم را به‌طور چشمگیری بهبود دهند، بده‌بستان‌هایی نیز ایجاد می‌کنند. هر لایه اضافی هماهنگ‌سازی، بازیابی یا استدلال، پیچیدگی سیستم، زمان استنتاج و هزینه عملیاتی را افزایش می‌دهد. بااین‌حال، اگر سنجیده به کار روند، ترکیب مناسب روش‌های پس‌آموزش اغلب امکان استفاده از مدل‌های کوچک‌تر، سریع‌تر و ارزان‌تر را بدون زیرپاگذاشتن الزامات عملکرد فراهم می‌کند. به‌جای افزایش اندازه مدل، عملکرد مطلوب با طراحی بهتر سیستم حاصل می‌شود.

یافتن این توازن ذاتاً به کاربرد بستگی دارد و باید با ارزیابی‌های ویژه برنامه شما، ترکیب بهینه روش‌ها را تعیین کرد. این ارزیابی‌ها نقطه‌ای را مشخص می‌کنند که هماهنگ‌سازی بیشتر دیگر بهبود معناداری ایجاد نمی‌کند؛ در نتیجه تیم‌ها می‌توانند حداقل پیچیدگی پس‌آموزش لازم برای عملکرد هدف را انتخاب کنند.

راهکار هوش مصنوعی باید به‌صورت یک سیستم کامل دیده شود: پایگاه‌های داده، APIها، رابط‌های کاربری، لایه‌های هماهنگ‌سازی، زیرساخت پایش و موارد دیگر. بنابراین ارزیابی باید تمام اجزای سامانه را پوشش دهد. برای آگاهی از مشکلات احتمالی و شتاب‌گرفتن مسئولانه، باید بخش‌های کلیدی سیستم را پایش کنید.

پایش بخش‌های کلیدی سیستم شامل این موارد است:

• ابزارگذاری خطوط لوله برای دستیابی به نتایج قابل‌اندازه‌گیری.

• ثبت آزمایش‌ها برای مشاهده اثر هر تغییر.

• استفاده از مقایسه‌های ساده A/B پیش از استقرار تغییرات عمده، برای بررسی پسرفت احتمالی.

تکرار مبتنی بر داده، بدون ایجاد نقاط کور، مسیر نمونه اولیه تا محیط عملیاتی را کوتاه می‌کند. ثبت رویداد و پایش برای درک نحوه استفاده واقعی از برنامه نیز اهمیت دارند. نمونه‌ای برای تضمین مشاهده‌پذیری:

• مرحله ۱: درخواست کاربر همراه با request_id، user_segment و intent وارد می‌شود.

• مرحله ۲: ردگیری، نسخه مدل، نسخه اعلان، اسناد بازیابی‌شده و فراخوانی ابزارها را ثبت می‌کند.

• مرحله ۳: داور الگوهای زبانی بزرگ (LLM) به پاسخ امتیاز می‌دهد (correctness، groundedness، policy_risk).

• مرحله ۴: موتور قواعد آستانه‌ها را ارزیابی می‌کند.

• مرحله ۵: اگر آستانه نقض شد، هشدار فعال می‌شود و درخواست به مسیر جایگزین/بازبینی انسانی می‌رود.

• مرحله ۶: شکست به صف بررسی اولیه و سپس به فهرست کارهای آتی معیار افزوده می‌شود.

کاربران واقعی به‌ندرت دقیقاً مطابق انتظار طراحان رفتار می‌کنند. برخی دستورالعمل‌ها را اشتباه متوجه می‌شوند. برخی دیگر عمداً نقاط ضعف را می‌آزمایند. این موارد مرزی ناهنجاری نیستند، بلکه نشانه‌هایی بسیار ارزشمندند. خط لوله ارزیابیِ درست‌پیاده‌سازی‌شده آن‌ها را ثبت و تحلیل می‌کند و در آزمون‌های آینده به کار می‌گیرد. تکرار سریع و بدون نقطه کور تنها زمانی ممکن است که ارزیابی در تار و پود سیستم باشد، نه اینکه پس از توسعه به آن اضافه شود.

توصیه می‌کنیم حفاظ‌ها و پایش را از روز نخست در سیستم بگنجانید:

• سنجه‌ها و پسرفت‌های مدل را مرتب با معیار ویژه برنامه خود پیگیری کنید.

• موارد مرزی یا ورودی‌های خصمانه را ثبت و بررسی کنید و آن‌ها را به مجموعه‌داده معیار ویژه برنامه خود بیفزایید.

• مطمئن شوید این سنجه‌های ارزیابی با شاخص‌های کلیدی عملکرد اصلی شما همسو هستند.

• مجموعه‌داده و معیار خود را مرتب به چالش بکشید تا مطمئن شوید خطرهای تازه یا سوگیری‌ها را نادیده نمی‌گیرید.

• برای افت سنجه‌ها هشدار خودکار تنظیم کنید؛ مثلاً اگر دقت به کمتر از ۸۵٪ رسید، بازبینی آغاز شود.

• برای تصمیم‌های حساس مانند مشاوره حقوقی، راهنمایی پزشکی و تراکنش‌های مالی، فرایند بازبینی انسانی داشته باشید.

هر بار اجرای معیار، توان پردازشی و انرژی مصرف می‌کند. هر آزمایش تکراری هزینه را افزایش می‌دهد. ارزیابی مسئولانه باید میان دقت و کارایی توازن برقرار کند.

برای جلوگیری از افزایش مهارنشدنی مصرف انرژی و هزینه می‌توان اقداماتی عملی انجام داد:

• هرجا ممکن است از مدل‌های کوچک‌تر استفاده کنید؛ آزمایش‌های اولیه را روی مدل‌های ارزان‌تر اجرا کنید و تنها پس از اعتبارسنجی رویکرد، مقیاس را افزایش دهید.

• اعلان‌ها و فراخوانی‌های API را در حافظه نهان ذخیره کنید.

• زمان‌بندی را با توجه به مصرف انرژی انجام دهید؛ مانند پردازش دسته‌ای، نمونه‌های Spot و اولویت منعطف.

• مصرف توان پردازشی را در کنار عملکرد پیگیری کنید.

همچنین مراقب مقررات نوظهور هوش مصنوعی باشید. حتی در نبود قانون اختصاصی، چارچوب‌های موجود و اقدامات لازم همچنان کاربرد دارند، از جمله:

حفاظت از داده‌ها:

• اطمینان حاصل کنید مجموعه‌داده‌های معیار بدون رضایت معتبر حاوی اطلاعات قابل‌شناسایی اشخاص (PII) نباشند.

• برای پرسش‌های ثبت‌شده، خط‌مشی‌های نگهداری داده اجرا کنید.

• سازوکارهایی برای درخواست حذف داده فراهم کنید.

برابری و سوگیری:

• عملکرد را در گروه‌های جمعیتی مختلف بیازمایید.

• هنگام ایجاد معیار، گروه‌های متنوع را در نظر بگیرید.

حقوق بشر و شفافیت:

• محدودیت‌های مدل را به‌روشنی برای کاربران مستند کنید.

• برای تصمیم‌های حساس توضیح ارائه دهید.

• برای کاربردهای حیاتی امکان نظارت انسانی فراهم کنید.

ارزیابی رویدادی یک‌باره نیست، بلکه سیستمی در حال تکامل است. در حوزه‌ای که به‌سرعت تغییر می‌کند، مزیت شما به سرعت آزمودن، آموختن و سازگارشدن بستگی دارد تا مدل‌ها و راهکارهای تازه را مؤثرتر مستقر کنید.

با تبدیل ارزیابی به فعالیتی محوری در مهندسی و مدیریت محصول، تیم‌ها می‌توانند سریع‌تر و ایمن‌تر نوآوری کنند. ابتدا تعریف کنید «خوب» در بستر کاربرد هوش مصنوعی شما چه معنایی دارد، سپس سکوی ارزیابی را راه‌اندازی و تکامل دهید تا معیاری ویژه برنامه خود داشته باشید که در هر تکرار، از آمادگی آن برای محیط عملیاتی مطمئن شوید.