Vlerësimet: nga eksperimentet me IA te prodhimi me besim

• Ndonëse modelet bazë janë përmirësuar, ndryshimi i vërtetë që mundëson përdorimin me besim në prodhim vjen nga praktikat rigoroze të vlerësimit

• Vlerësimet e hartuara mirë i ndihmojnë menaxherët e produkteve, drejtuesit e qeverisjes së IA-së dhe drejtorët e teknologjisë t’i vendosin agjentët e IA-së në shkallë të gjerë e në mënyrë të sigurt, duke e kthyer IA-në nga një lodër e izoluar në avantazh konkurrues.

• Ky besim vjen nga vlerësimi i sjelljes së agjentit të IA-së përkundrejt pyetjeve reale të përdoruesve, rasteve skajore dhe skenarëve specifikë të fushës që pasqyrojnë kontekstin real të biznesit tuaj, jo nga një standard publik që thotë: “ky model është më i miri”

• Synimi është që ky besim të përligjet me rezultate të matshme. Suksesi nënkupton përkufizimin e asaj që është "e mirë" me terma konkretë e të matshëm, në përputhje me nevojat e biznesit dhe tolerancën tuaj ndaj rrezikut—qoftë saktësia faktike, toni i përshtatshëm, shpejtësia apo efikasiteti i kostos.

• Duke e integruar vlerësimin në të gjithë sistemin (instrumentim, regjistrim, testim A/B, masa mbrojtëse) dhe duke baraspeshuar rigorozitetin me efikasitetin, ekipet do të arrijnë vendosje më të shpejta dhe qëndrueshmëri më të lartë.

Shumica e bizneseve nuk e kanë problem që punonjësit e tyre të eksperimentojnë me ChatGPT ose Gemini. Por përdorimi i LLM-ve në procese pune ose mjedise me rrezik të lartë ka qenë më pak i zakonshëm.

Arsyet për këtë shpesh kanë qenë të përligjura: cilësia ka qenë e paqëndrueshme dhe rreziku i halucinacioneve apo sjelljeve të padëshiruara ka tejkaluar përfitimet e mundshme të teknologjisë.

Ky raport mes rrezikut dhe përfitimit ka ndryshuar ndjeshëm gjatë vitit të fundit. Ndonëse kjo pjesërisht lidhet me përmirësimin e performancës së modeleve bazë, një pjesë e madhe vjen nga disiplina në rritje rreth vlerësimit (ose “evals”). Vlerësimet na japin neve dhe klientëve tanë besimin për të vendosur brenda pak javësh agjentë në shkallë të gjerë dhe përballë klientëve.

Ky udhëzues do të shpjegojë elementet themelore të vlerësimeve, si të hartohen, zbatohen dhe përdoren për raste prodhimi.

Synimi i vlerësimit nuk është gjetja e një modeli të përsosur, por krijimi i një besimi të përligjur se modeli juaj sillet në përputhje me nevojat e biznesit, pritshmëritë e përdoruesve dhe tolerancën e organizatës ndaj rrezikut.

Në themel të çdo strategjie vlerësimi qëndron një pyetje e thjeshtë: Si duket diçka “e mirë”? Përgjigjja duhet të jetë specifike. Për një organizatë, diçka “e mirë” mund të nënkuptojë saktësi faktike brenda kufijve të rreptë; për një tjetër, përparësi mund të kenë shpejtësia, efikasiteti i kostos ose një ton dallues komunikimi. Çdo kufizim me të cilin punoni, nga të dhënat që mund të përdoren deri te detyrimet rregullatore, ndikon në këtë përkufizim.

Mbi të gjitha, 'e mira' duhet të ketë përbërës që mund t’i matni realisht. Nëse sukses do të thotë ofrimi i udhëzimeve të dobishme financiare, dobishmëria duhet të shprehet përmes atributeve: saktësi faktike, deklarata të përshtatshme kufizuese, arsyetim i personalizuar dhe kufij të sigurt. Pasi “e mira” të jetë përkufizuar me terma të matshëm, pyetja tjetër është si do t’i analizoni dhe interpretoni rezultatet. Veprimi mbi bazën e këtyre rezultateve e shndërron vlerësimin në metodë, në vend të gjykimeve të thjeshta.

Çdo proces vlerësimi mbështetet në tri shtylla të ndërlidhura:

1. Inputet/Standardet krahasuese: Shembuj përfaqësues nga bota reale për performancën e përgjithshme dhe grupe të dhënash të kuruara brenda organizatës për të testuar zbatueshmërinë në fushë.

2. Sjellja e modelit: Si thirret modeli (gjenerim i pasuruar me rikthim, përmbledhje, rikthim i strukturuar informacioni, përdorim mjetesh).

3. Metrikat: Si e matni dhe interpretoni performancën.

Inputet duhet të përfaqësojnë botën me të cilën do të përballet sistemi juaj. Njohuritë më domethënëse vijnë nga shembuj realë: pyetjet e klientëve tuaj, skenarët financiarë ose rastet specifike të sektorit. Vetëm duke testuar me këto raste mund të kuptoni nëse modeli i kap vërtet nuancat që u duhen përdoruesve dhe plotëson nevojën e biznesit.

Sjellja e modelit—si formulohet kërkesa, si orkestrohen rikthimi ose përdorimi i mjeteve dhe si i jepet konteksti—ka po aq rëndësi sa vetë modeli. Dy modele identike mund të sillen shumë ndryshe, në varësi të mënyrës së vendosjes. Prandaj, kjo shtresë duhet të përfshihet në hartimin e vlerësimit tuaj.

Në fund, kemi metrikat. Vetëm numrat rrallëherë tregojnë gjithë historinë, por metrikat e zgjedhura mirë e bëjnë sjelljen e sistemit të interpretueshme. Vonesa, saktësia, siguria, koherenca, njëanshmëria, kostoja dhe kënaqësia e përdoruesit krijojnë së bashku një pamje shumëdimensionale të sistemit në prodhim. Mjeshtëria qëndron në zgjedhjen e metrikave që përputhen me KPI-të e projektit ose biznesit dhe nxjerrin në pah cilësitë më të rëndësishme për përdoruesit. Metrikat më të thjeshta shpesh janë më të sakta e më pak të kushtueshme, ndërsa zgjedhjet e dobëta mund t’i çorientojnë ekipet. Ja si duhet menduar për zgjedhjen e metrikave:

Shembuj të zgjedhjeve të mira të metrikave:

• Robot bashkëbisedues për shërbimin ndaj klientit: Shkalla e zgjidhjes në kontaktin e parë (a u zgjidh problemi i përdoruesit pa përshkallëzim?), koha mesatare e trajtimit, rezultati i kënaqësisë së përdoruesit, shkalla e përshkallëzimit te agjentët njerëzorë

• Mjet kërkimi financiar: Saktësia e citimeve (% e pretendimeve me burime të sakta), saktësia faktike e verifikuar kundrejt të vërtetës bazë, rëndësia e rikthimit (a i gjeti dokumentet e duhura?), koherenca e arsyetimit e vlerësuar nga ekspertë të fushës

• Asistent për gjenerimin e kodit: Saktësia sintaksore, shkalla e kalimit të testeve, numri i cenueshmërive të sigurisë, koha deri te zgjidhja funksionale

Shembuj të zgjedhjeve të dobëta të metrikave:

• Përdorimi vetëm i gjatësisë së përgjigjes si tregues i cilësisë (më e gjatë ≠ më e mirë)

• Matja e shpejtësisë pa marrë parasysh kompromiset me saktësinë

• Gjurmimi i rezultateve të besueshmërisë së modelit pa i verifikuar kundrejt saktësisë reale

• Mbështetja vetëm te perpleksiteti i brendshëm i modelit, pa verifikim nga përdoruesit

Gabime të zakonshme me metrikat që duhen shmangur:

• Metrika kundërthënëse: Optimizimi njëkohësisht për shpejtësi dhe gjithëpërfshirje, pa pranuar kompromisin

• Mbi-përshtatja me standardet krahasuese: Arritja e 95% në grupin e testimit, por dështimi në prodhim sepse përdoruesit realë sillen ndryshe

Për një klient të shërbimeve financiare me rregullim të rreptë, saktësia e zgjidhjes së kërkimit të thelluar ishte parësore. Hartuam grupe të dhënash QA të krijuara nga ekspertët dhe i ndërthurëm me grupe të gjeneruara nga mjete, për të vlerësuar saktësinë, përzgjedhjen e mjeteve të duhura dhe rikthimin e informacionit të duhur, duke krijuar një pamje të baraspeshuar të saktësisë dhe cilësisë së arsyetimit. Çelësi ishte matja e disa dimensioneve: saktësia faktike (verifikimi nga ekspertët), cilësia e rikthimit (precizioni/mbulimi i dokumenteve përkatëse) dhe koherenca e arsyetimit (vlerësimi i strukturuar i rrjedhës logjike).

Kur duhet përdorur LLM-ja si gjykatës për cilësi me nuanca

LLM-ja si gjykatës përdor një model të dytë IA-je si vlerësues, duke zëvendësuar shqyrtimin njerëzor me vlerësim cilësie të automatizuar dhe të shkallëzueshëm. LLM-ja si gjykatës shpesh keqpërdoret kur metrika më të thjeshta mund të japin saktësinë e nevojshme. Mund të jetë e dobishme kur kontrollet përcaktuese nuk e kapin dot cilësinë, si kur metrika është semantike (dobishmëria, mbështetja në burime, cilësia e arsyetimit, toni, interpretimi i politikave) dhe vlerësimi përcaktues nuk është i mundur. Mund t’ju duhet feedback i shkallëzueshëm për shumë variante kërkesash/modelesh, si dhe të përcaktoni një rubrikë të qartë dhe skemë outputi të strukturuar. Që kjo të funksionojë për ju, ndiqni këta hapa:

• Përcaktoni shprehimisht dimensionet e rubrikës: saktësinë, mbështetjen në burime, pajtueshmërinë me politikat, zbatueshmërinë dhe tonin.

• Përdorni outpute të strukturuara (skemë JSON) për përgjigjet e gjykatësit.

• Regjistroni si rezultatet binare të pragut, ashtu edhe tekstin diagnostikues për analizën e dështimeve.

• Kalibroni outputet e gjykatësit kundrejt mostrave të etiketuara nga njerëzit në çdo cikël publikimi.

• Përdorni dy gjykatës ose kontrolle periodike konsensusi për fushat me rrezik të lartë.

• Gjurmoni me kalimin e kohës devijimin e gjykatësit dhe shkallën e mospajtimit.

Grupi i të dhënave të standardit krahasues është një koleksion fiks e i kuruar shembujsh testimi me përgjigje të njohura, që përdoret për të vlerësuar modelet vazhdimisht dhe për të krahasuar drejt rezultatet ndërmjet versioneve. Zakonisht përfshin inpute (p.sh., pyetje përdoruesish), outpute të pritshme ose gjykime referimi, si dhe kritere/etiketa vlerësimi për pikëzim. Testet e standardeve publike përdoren për të krahasuar performancën e modeleve më të përparuara dhe mund të shërbejnë si pikënisje gjatë hartimit të sistemit, për të përcaktuar se cili model mund të jetë kandidat i mirë.

Megjithatë, për sistemin tuaj nuk mund të mbështeteni tek këto standarde si tregues i performancës në kontekstin e biznesit, sepse ato kanë probleme të njohura:

• Kontaminimi: Modelet mund të jenë trajnuar me të dhënat e standardit; vlerësimi me të njëjtin grup është si të vësh nota duke pasur fletën e përgjigjeve.

• Ngopja: Të gjitha modelet kryesore tashmë arrijnë rezultate maksimale, ndaj përmirësimi/përkeqësimi kufizohet në pak pikë përqindjeje dhe shpesh mbetet brenda ndryshueshmërisë natyrore të rezultateve të testit.

• Fushëveprim i ngushtë: Të dhënat e standardit nuk pasqyrojnë detyrat tuaja reale; ato janë kuruar dhe pastruar shumë. Disa madje gjenerohen nga LLM dhe nuk pasqyrojnë kompleksitetin e rastet skajore të të dhënave tuaja (gabime shkrimi, formulime të pazakonta, imazhe me zhurmë).

Një nxënës i kërkon aplikacionit ndihmë për zgjidhjen e problemave me tekst.

Shembull i një standardi publik që mund të përdorni: GSM8K (arsyetim matematikor i nivelit fillor)

• Grup më i vështirë, sipas dëshirës: MATH.

Pse është i dobishëm ky standard krahasues:

• Krahason shpejt se cili model është më i mirë në arsyetimin e përgjithshëm matematikor,

• Është një filtër i mirë fillestar para se të investoni në vlerësime të plota të produktit.

Pse ju duhet gjithsesi grupi juaj i të dhënave:

Aplikacioni juaj ka kërkesa që GSM8K nuk i teston:

• Terminologjinë e kurrikulës suaj dhe renditjen e temave,

• Stilin e shpjegimit për grupmoshën tuaj,

• Si të trajtohen pyetjet e paqarta ose me shumë gabime shkrimi të nxënësve,

• Rregullat e politikave (p.sh., kur të jepen udhëzime dhe kur përgjigje të plota).

Verifikimi efektiv varet nga krijimi i standardeve të vlerësimit specifike për aplikacionin tuaj. Këto grupe të dhënash duhet të vijnë nga ndërveprime reale, raste tipike skajore dhe mënyra të mundshme dështimi. Kjo mund të jetë detyrë e vështirë kur zbatohet një produkt ose proces i ri. Megjithatë, në shumicën e rasteve të dhënat mund të mblidhen nga një produkt ekzistues ose sa më herët, madje gjatë fazës fillestare të testimit. Pas zhvillimit të aplikacionit, këto standarde duhet të zhvillohen bashkë me produktin, duke u pasuruar dhe duke u bërë më përfaqësuese me kalimin e kohës.

Lidhja mes standardit specifik për aplikacionin dhe përzgjedhjes së modelit është thelbësore. Standardi juaj tregon jo vetëm nëse zgjidhja funksionon, por edhe cili kombinim i madhësisë së modelit dhe teknikave pas trajnimit jep performancën e nevojshme me koston më efikase. Përmirësimet më të fuqishme të modeleve të paratrajnuara (“PT” te ChatGPT) nuk vijnë nga ritrajnimi, por nga metodat e "pas-trajnimit".

Këto metoda përqendrohen te formësimi i informacionit ku modeli ka qasje, mënyra e strukturimit të tij dhe mënyra si udhëhiqet e orkestrohet modeli gjatë inferencës. Teknika pas trajnimit si:

• Formulimi i kërkesave me zinxhir mendimi dhe ndarja dinamike e fuqisë përpunuese (mendo më gjatë për probleme më të vështira)

• Vetëkonsistenca, ku gjenerohen disa outpute dhe zgjidhet më i miri

• Ndërtimi dhe orkestrimi i kontekstit, si Gjenerimi i Pasuruar me Rikthim (RAG), shembujt me pak shembuj dhe proceset agjentike të punës

• Përdorimi i mjeteve dhe qasja në njohuri të jashtme, që i mundësojnë modelit të veprojë përtej parametrave të vet të brendshëm

• Strategjitë e përfaqësimit dhe ruajtjes së njohurive, të hartuara për rikthim dhe arsyetim efikas mbi të dhëna të strukturuara e të pastrukturuara

Ndonëse këto teknika pas trajnimit mund ta përmirësojnë ndjeshëm performancën e sistemit, ato sjellin edhe kompromise. Çdo shtresë shtesë orkestrimi, rikthimi ose arsyetimi rrit kompleksitetin e sistemit, kohën e inferencës dhe koston operative. Megjithatë, kur zbatohet me kujdes, kombinimi i duhur i teknikave pas trajnimit shpesh mundëson përdorimin e modeleve më të vogla, më të shpejta e më të lira, duke plotësuar kërkesat e performancës. Në vend që të rritet madhësia e modelit, performanca arrihet përmes projektimit më të mirë të sistemit.

Gjetja e këtij ekuilibri varet nga aplikacioni dhe duhet të mbështetet në vlerësimet specifike për të, për të përcaktuar kombinimin optimal të teknikave. Ato ju lejojnë të gjeni pikën ku orkestrimi shtesë nuk sjell më përfitime domethënëse, duke u mundësuar ekipeve të zgjedhin nivelin minimal të kompleksitetit pas trajnimit që nevojitet për performancën e synuar.

Një zgjidhje IA-je duhet parë si një sistem i plotë: baza të dhënash, API, ndërfaqe përdoruesi, shtresa orkestrimi, infrastrukturë monitorimi e të tjera. Prandaj, vlerësimi duhet të shtrihet në të gjithë arkitekturën. Duhet të monitoroni pjesët kyçe të sistemit për të ruajtur dukshmërinë mbi problemet e mundshme dhe për të përshpejtuar me përgjegjësi.

Monitorimi i pjesëve kyçe të sistemit nënkupton:

• Instrumentimin e proceseve për rezultate të matshme.

• Regjistrimin e eksperimenteve për të parë efektin e çdo ndryshimi.

• Përdorimin e krahasimeve të thjeshta A/B përpara vendosjes së ndryshimeve të mëdha, për të testuar regresionet e mundshme.

Përsëritja e bazuar në të dhëna shkurton rrugën nga prototipi në prodhim, pa pika të verbra. Regjistrimi dhe monitorimi janë gjithashtu të rëndësishëm për të kuptuar përdorimin real të aplikacionit. Ja një shembull për të garantuar vëzhgueshmërinë:

• Hapi 1: Kërkesa e përdoruesit hyn me request_id, user_segment, intent.

• Hapi 2: Gjurmimi regjistron versionin e modelit, versionin e kërkesës, dokumentet e rikthyera dhe thirrjet e mjeteve.

• Hapi 3: Gjykatësi LLM vlerëson përgjigjen (saktësinë, mbështetjen në burime, policy_risk).

• Hapi 4: Motori i rregullave vlerëson pragjet.

• Hapi 5: Nëse shkelet pragu, aktivizohet sinjalizimi + kalimi te zgjidhja rezervë/shqyrtimi njerëzor.

• Hapi 6: Dështimi shtohet në radhën e klasifikimit dhe më pas në listën e standardit krahasues.

Përdoruesit realë rrallë sillen pikërisht siç presin projektuesit. Disa do t’i keqkuptojnë udhëzimet. Të tjerë do t’i vënë qëllimisht në provë pikat e dobëta. Këto raste skajore nuk janë anomali, por sinjale të paçmueshme. Një proces vlerësimi i zbatuar mirë i regjistron, i analizon dhe i përfshin ato në testet e ardhshme. Përsëritja e shpejtë pa pika të verbra është e mundur vetëm kur vlerësimi është pjesë e sistemit, jo një shtesë pas zhvillimit.

Rekomandojmë integrimin e masave mbrojtëse dhe monitorimit që nga dita e parë:

• Gjurmoni rregullisht metrikat dhe regresionet e modelit me standardin krahasues specifik për aplikacionin tuaj.

• Regjistroni dhe shqyrtoni rastet skajore ose inputet kundërshtuese (dhe shtojini në grupin e të dhënave të standardit krahasues të aplikacionit).

• Sigurohuni që këto metrika vlerësimi të përputhen me KPI-të tuaja kryesore.

• Vëreni rregullisht në provë grupin e të dhënave dhe standardin krahasues, për t’u siguruar se nuk po shpërfillni rreziqe të reja dhe nuk ndikoheni nga njëanshmëritë.

• Zbatoni sinjalizime automatike për përkeqësimin e metrikave (p.sh., nëse saktësia bie nën 85%, aktivizoni shqyrtimin).

• Ruani një proces shqyrtimi njerëzor për vendime me rrezik të lartë (këshilla ligjore, udhëzime mjekësore, transaksione financiare).

Çdo ekzekutim i standardit krahasues konsumon fuqi përpunuese dhe energji. Çdo eksperiment i panevojshëm rrit koston. Vlerësimi i përgjegjshëm duhet të baraspeshojë rigorozitetin me efikasitetin.

Mund të ndërmerren disa hapa praktikë për të frenuar rritjen e energjisë dhe kostove:

• Përdorni modele më të vogla kur është e mundur, kryeni eksperimentet fillestare në modele më të lira dhe kaloni në shkallë më të madhe vetëm pasi të keni verifikuar qasjen.

• Ruani në memorien specifike kërkesat dhe thirrjet API.

• Përdorni planifikim të ndërgjegjshëm për energjinë (përpunim në grup, instanca spot, përparësi fleksibël).

• Gjurmoni përdorimin e fuqisë përpunuese krahas performancës.

Po aq e rëndësishme është të ndiqni rregulloret e reja për IA-në. Edhe kur nuk ka ligj të posaçëm, zbatohen ende kuadret ekzistuese dhe hapat e nevojshëm, si:

Mbrojtja e të dhënave:

• Sigurohuni që grupet e të dhënave të standardit krahasues të mos përmbajnë PII pa pëlqimin e duhur

• Zbatoni politika të ruajtjes së të dhënave për pyetjet e regjistruara

• Ofroni mekanizma për kërkesat e fshirjes së të dhënave

Barazia dhe njëanshmëria:

• Testoni performancën në grupe të ndryshme demografike

• Përfshini përfaqësim të larmishëm në krijimin e standardit krahasues

Të drejtat e njeriut dhe transparenca:

• Dokumentoni qartë për përdoruesit kufizimet e modelit

• Jepni shpjegime për vendimet me rrezik të lartë

• Mundësoni mbikëqyrje njerëzore për aplikacionet kritike

Vlerësimi nuk është një ngjarje e vetme, por një sistem në zhvillim. Në një fushë që ndryshon shpejt, avantazhi juaj qëndron te shpejtësia me të cilën mund të testoni, mësoni dhe përshtateni, që modelet dhe zgjidhjet e reja t’i vendosni në mënyrë më efikase.

Duke e integruar vlerësimin si veprimtari thelbësore të inxhinierisë dhe menaxhimit të produktit, ekipet mund të sjellin risi më shpejt dhe më sigurt. Filloni duke përcaktuar si duket diçka e mirë në kontekstin e aplikacionit tuaj të IA-së, ngrini një platformë vlerësimi dhe zhvillojeni për të krijuar një standard krahasues specifik për aplikacionin, i cili në çdo përsëritje ju jep besim se është gati për prodhim.