Գնահատումներ․ ԱԲ փորձերից դեպի վստահ արտադրական կիրառում

• Թեև հիմնարար մոդելները կատարելագործվել են, արտադրական միջավայրում դրանց վստահ կիրառումը հնարավոր դարձնող իրական տեղաշարժը պայմանավորված է գնահատման կանոնակարգված գործելակերպով։

• Լավ մշակված գնահատումներն օգնում են պրոդուկտի ղեկավարներին, ԱԲ կառավարման պատասխանատուներին և տեխնիկական տնօրեններին անվտանգ ու լայնածավալ ներդնել ԱԲ ագենտներ՝ ԱԲ-ն մեկուսացված խաղալիքից վերածելով մրցակցային առավելության։

• Այդ վստահությունը ձևավորվում է՝ ԱԲ ագենտի վարքագիծը գնահատելով իրական օգտատերերի հարցումների, սահմանային դեպքերի և ձեր բիզնեսի իրական համատեքստն արտացոլող ոլորտային սցենարների հիման վրա, այլ ոչ թե «այս մոդելը լավագույնն է» պնդող հանրային հենանիշով։

• Նպատակն այդ վստահությունը չափելի արդյունքներով հիմնավորելն է։ Հաջողության համար պետք է "լավը" սահմանել հստակ, չափելի չափանիշներով, որոնք համապատասխանում են ձեր բիզնեսի կարիքներին և ռիսկի հանդուրժողականությանը՝ լինի դա փաստացի ճշգրտություն, պատշաճ տոն, արագություն, թե ծախսարդյունավետություն։

• Գնահատումը ձեր ամբողջ համակարգում ներդնելով (չափիչ գործիքներ, մատյանների վարում, A/B թեստավորում, պաշտպանիչ սահմանափակումներ) և խստությունն արդյունավետության հետ հավասարակշռելով՝ թիմերը կարող են ավելի արագ ու հուսալիորեն իրականացնել ներդրումները։

Բիզնեսների մեծ մասը դեմ չէ, որ աշխատակիցները փորձարկեն ChatGPT-ը կամ Gemini-ն։ Սակայն բարձր ռիսկայնությամբ աշխատանքային հոսքերում կամ միջավայրերում LLM-ների կիրառումը շատ ավելի հազվադեպ է։

Դրա պատճառները հաճախ հիմնավոր են եղել․ որակը եղել է անկայուն, իսկ հորինված պատասխանների կամ անցանկալի վարքագծի ռիսկը գերազանցել է տեխնոլոգիայի հնարավոր օգուտները։

Վերջին տարում ռիսկի և օգուտի այդ հավասարակշռությունը զգալիորեն փոխվել է։ Թեև դա մասամբ կարելի է վերագրել հիմնարար մոդելների արդյունավետության աճին, զգալի դեր ունի նաև գնահատման (կամ «evals»-ի) առավել կանոնակարգված գործելակերպը։ Գնահատումները մեզ և մեր հաճախորդներին վստահություն են տալիս՝ ընդամենը մի քանի շաբաթում ներդնելու լայնածավալ և հաճախորդների հետ աշխատող ագենտներ։

Այս ուղեցույցը ներկայացնում է գնահատումների հիմունքները և բացատրում, թե ինչպես դրանք նախագծել, իրականացնել ու գործարկել արտադրական կիրառությունների համար։

Գնահատման նպատակը կատարյալ մոդել գտնելը չէ, այլ հիմնավորված վստահություն ձևավորելը, որ ձեր մոդելի վարքագիծը համապատասխանում է բիզնեսի կարիքներին, օգտատերերի ակնկալիքներին և կազմակերպության ռիսկի հանդուրժողականությանը։

Գնահատման ցանկացած ռազմավարության հիմքում մի պարզ հարց է․ Ի՞նչ է նշանակում «լավ»։ Պատասխանը պետք է հստակ լինի։ Մի կազմակերպության համար «լավը» կարող է նշանակել խիստ թույլատրելի շեղումներով փաստացի ճշգրտություն, իսկ մյուսի համար առաջնային կարող են լինել արագությունը, ծախսարդյունավետությունը կամ առանձնահատուկ ոճը։ Այս սահմանման վրա ազդում են ձեր աշխատանքի բոլոր սահմանափակումները՝ օգտագործելի տվյալներից մինչև կիրառելի կարգավորող պարտավորությունները։

Կարևոր է, որ 'լավը' բաղկացած լինի իրապես չափելի տարրերից։ Եթե հաջողությունը նշանակում է օգտակար ֆինանսական խորհրդատվություն տրամադրել, ապա օգտակարությունը պետք է արտահայտվի հատկանիշներով՝ փաստացի ճշտություն, պատշաճ պատասխանատվության սահմանափակումներ, անհատականացված դատողություն և անվտանգության հստակ սահմաններ։ Երբ «լավը» սահմանված է չափելի չափանիշներով, հաջորդ հարցն այն է, թե ինչպես եք վերլուծելու և մեկնաբանելու արդյունքները։ Հենց այս արդյունքների հիման վրա գործելն է գնահատումը մեթոդի վերածում՝ պարզ դատողական որոշումների փոխարեն։

Գնահատման յուրաքանչյուր գործընթաց հիմնված է երեք փոխկապակցված հենասյուների վրա․

1. Մուտքային տվյալներ/հենանիշներ․ իրական աշխարհը ներկայացնող օրինակներ՝ ընդհանուր արդյունավետության համար, և խնամքով կազմված ներքին տվյալակազմեր՝ տվյալ ոլորտում կիրառելիությունը ստուգելու համար։

2. Մոդելի վարքագիծ․ ինչպես է կանչվում մոդելը (որոնմամբ ընդլայնված գեներացում, ամփոփում, կառուցվածքային տեղեկությունների որոնում, գործիքների կիրառում)։

3. Չափորոշիչներ․ ինչպես եք չափում և մեկնաբանում արդյունավետությունը։

Մուտքային տվյալները պետք է ներկայացնեն այն աշխարհը, որին առնչվելու է ձեր համակարգը։ Ամենաարժեքավոր եզրահանգումները տալիս են իրական օրինակները՝ հաճախորդների հարցումները, ֆինանսական սցենարները կամ ոլորտին հատուկ դեպքերը։ Միայն դրանցով փորձարկելով կարող եք հասկանալ՝ արդյոք մոդելն իսկապես ընկալում է օգտատերերին անհրաժեշտ նրբությունները և բավարարում բիզնեսի կարիքը։

Մոդելի վարքագիծը՝ ինչպես է կազմվում դրա հարցումը, կազմակերպվում որոնումը կամ գործիքների կիրառումը և տրամադրվում համատեքստը, նույնքան կարևոր է, որքան հենց մոդելը։ Երկու նույնական մոդել կարող են խիստ տարբեր վարքագիծ դրսևորել՝ կախված ներդրման եղանակից։ Ուստի այս շերտը ևս պետք է ներառվի գնահատման նախագծում։

Վերջապես՝ չափորոշիչները։ Թվերը հազվադեպ են պատմում ամբողջ պատկերը, սակայն ճիշտ ընտրված չափորոշիչները համակարգի վարքագիծը հասկանալի են դարձնում։ Արձագանքման ուշացումը, ճշգրտությունը, անվտանգությունը, կապակցվածությունը, կողմնակալությունը, արժեքը և օգտատերերի գոհունակությունը միասին արտադրական համակարգի բազմաչափ պատկերն են ստեղծում։ Հմտությունը ձեր նախագծի կամ բիզնեսի KPI-ներին համապատասխանող և օգտատերերի համար ամենակարևոր հատկանիշները բացահայտող չափորոշիչներ ընտրելու մեջ է։ Պարզ չափորոշիչները հաճախ ավելի ճշգրիտ և էժան են, իսկ վատ ընտրությունը կարող է մոլորեցնել թիմերին։ Չափորոշիչներն ընտրելիս առաջնորդվեք հետևյալով․

Չափորոշիչների հաջող ընտրության օրինակներ․

• Հաճախորդների սպասարկման չաթբոտ․ առաջին իսկ կապով լուծման ցուցանիշ (օգտատիրոջ խնդիրը լուծվե՞լ է առանց վերաուղղման), մշակման միջին տևողություն, օգտատերերի գոհունակության գնահատական, մարդկանց՝ ագենտների վերաուղղման ցուցանիշ։

• Ֆինանսական ուսումնասիրության գործիք․ հղումների ճշգրտություն (պատշաճ աղբյուրով հիմնավորված պնդումների տոկոսը), ստուգված փաստերի համեմատությամբ հաստատված ճշտություն, որոնման համապատասխանություն (ճիշտ փաստաթղթերը գտնվե՞լ են), ոլորտի փորձագետների գնահատած դատողության կապակցվածություն։

• Կոդի գեներացման օգնական․ շարահյուսական ճշտություն, թեստերի անցման ցուցանիշ, անվտանգության խոցելիությունների քանակ, աշխատող լուծում ստանալու ժամանակ։

Չափորոշիչների անհաջող ընտրության օրինակներ․

• Որպես որակի ցուցիչ՝ միայն պատասխանի երկարության օգտագործում (երկար ≠ ավելի լավ)

• Արագության չափում՝ առանց ճշգրտության հետ փոխզիջումները հաշվի առնելու

• Մոդելի վստահության գնահատականներին հետևում՝ առանց դրանք իրական ճշտությամբ վավերացնելու

• Բացառապես մոդելի ներքին պերպլեքսիային ապավինում՝ առանց օգտատիրոջ տեսանկյունից վավերացման

Չափորոշիչների տարածված թակարդներ, որոնցից պետք է խուսափել․

• Հակասող չափորոշիչներ․ արագությունն ու համապարփակությունը միաժամանակ օպտիմալացնել՝ չընդունելով դրանց միջև փոխզիջումը։

• Հենանիշներին գերհարմարեցում․ թեստային տվյալակազմում հասնել 95%-ի, բայց ձախողվել արտադրական միջավայրում, քանի որ իրական օգտատերերն այլ կերպ են վարվում։

Խիստ կարգավորվող ֆինանսական ծառայություններ մատուցող մեր հաճախորդներից մեկի համար խորքային ուսումնասիրության լուծման ճշգրտությունն առաջնային էր։ Մենք համադրեցինք փորձագետների կազմած հարցուպատասխանի տվյալակազմերն ու գործիքներով ստեղծված տվյալակազմերը՝ գնահատելու ճշտությունը, ճիշտ գործիք ընտրելու և անհրաժեշտ տեղեկությունը գտնելու համակարգի կարողությունը։ Դա հավասարակշռված պատկեր տվեց ճշգրտության և դատողության որակի մասին։ Գլխավորը մի քանի հարթություն չափելն էր՝ փաստացի ճշգրտություն (փորձագիտական վավերացում), որոնման որակ (համապատասխան փաստաթղթերի ճշտություն/ամբողջականություն) և դատողության կապակցվածություն (տրամաբանական ընթացքի կառուցվածքային գնահատում)։

Երբ կիրառել LLM-ը որպես դատավոր՝ նրբերանգային որակը գնահատելու համար

«LLM-ը որպես դատավոր» մոտեցման դեպքում երկրորդ ԱԲ մոդելն է կատարում գնահատումը՝ մարդկային ստուգումը փոխարինելով մասշտաբավորվող, ավտոմատ գնահատմամբ։ «LLM-ը որպես դատավոր» մոտեցումը հաճախ չարաշահվում է այն դեպքերում, երբ պարզ չափորոշիչներն արդեն տալիս են անհրաժեշտ ճշգրտությունը։ Այն կարող է օգտակար լինել, երբ որոշակի կանոններով ստուգումները չեն կարող որսալ որակը․ օրինակ՝ երբ չափորոշիչը իմաստային է (օգտակարություն, աղբյուրներով հիմնավորվածություն, դատողության որակ, տոն, քաղաքականության մեկնաբանում), և որոշակի կանոններով գնահատումն անհնար է։ Կարող է անհրաժեշտ լինել մասշտաբավորվող հետադարձ կապ ստանալ հարցման/մոդելի բազմաթիվ տարբերակների համար և սահմանել հստակ գնահատման սանդղակ ու կառուցվածքային արդյունքի սխեմա։ Այն արդյունավետ կիրառելու համար հետևեք այս քայլերին․

• Հստակ սահմանեք գնահատման սանդղակի չափումները՝ ճշտություն, աղբյուրներով հիմնավորվածություն, քաղաքականությանը համապատասխանություն, գործնական կիրառելիություն, տոն։

• Դատավորի պատասխանների համար օգտագործեք կառուցվածքային արդյունքներ (JSON սխեմա)։

• Ձախողումները վերլուծելու համար պահպանեք թե՛ երկուական շեմային գնահատականները, թե՛ ախտորոշիչ տեքստը։

• Յուրաքանչյուր թողարկման փուլում դատավորի արդյունքները չափաբերեք մարդկանց պիտակավորած նմուշներով։

• Բարձր ռիսկայնությամբ ոլորտներում կիրառեք երկու դատավոր կամ պարբերական համաձայնության ստուգումներ։

• Ժամանակի ընթացքում հետևեք դատավորի շեղմանը և անհամաձայնության ցուցանիշին։

Հենանիշային տվյալակազմը հայտնի պատասխաններով թեստային օրինակների հաստատուն, խնամքով կազմված հավաքածու է, որն օգտագործվում է մոդելները հետևողականորեն գնահատելու և տարբերակների արդյունքներն արդարացիորեն համեմատելու համար։ Այն սովորաբար ներառում է մուտքային տվյալներ (օրինակ՝ օգտատերերի հարցումներ), ակնկալվող արդյունքներ կամ համեմատական գնահատականներ և միավորներ նշանակելու գնահատման չափանիշներ/պիտակներ։ Հանրային հենանիշային թեստերն օգտագործվում են առաջատար մոդելների արդյունավետությունը համեմատելու համար և կարող են սկզբնական կողմնորոշիչ լինել համակարգը նախագծելիս ու կիրառման համար հարմար մոդել ընտրելիս։

Սակայն ձեր սեփական համակարգի արդյունավետությունը բիզնեսի համատեքստում գնահատելիս չեք կարող ապավինել այս հենանիշներին, քանի որ դրանք հայտնի խնդիրներ ունեն․

• Աղտոտում․ մոդելները կարող են ուսուցված լինել հենանիշային տվյալներով, ուստի նույն տվյալակազմով գնահատելը նման է հուշաթերթիկով քննություն ստուգելուն։

• Հագեցվածություն․ բոլոր առաջատար մոդելներն արդեն հասնում են գրեթե առավելագույն միավորների, ուստի բարելավումը կամ վատթարացումը սահմանափակվում է մի քանի տոկոսային կետով և հաճախ տեղավորվում թեստի արդյունքների բնական տատանումների մեջ։

• Նեղ շրջանակ․ հենանիշային տվյալները չեն արտացոլում ձեր իրական առաջադրանքները․ դրանք մանրակրկիտ ընտրված և մաքրված են։ Որոշները նույնիսկ գեներացված են LLM-ով և չեն արտացոլում ձեր տվյալների բարդությունն ու սահմանային դեպքերը՝ տառասխալներ, արտահայտման անսովոր ձևեր, աղմկոտ պատկերներ։

Աշակերտը հավելվածին խնդրում է օգնել լուծել տեքստային խնդիրներ։

Հանրային հենանիշի օրինակ՝ GSM8K (դպրոցական մաթեմատիկական դատողություն)

• Ընտրովի ավելի բարդ հավաքածու՝ MATH։

Ինչու է այս հենանիշն օգտակար․

• Հնարավորություն է տալիս արագ համեմատելու, թե որ մոդելն է ավելի լավ ընդհանուր մաթեմատիկական դատողության մեջ,

• Լավ սկզբնական զտիչ է՝ նախքան պրոդուկտի ամբողջական գնահատման մեջ ներդրում կատարելը։

Ինչու ձեզ, այնուամենայնիվ, սեփական տվյալակազմ է պետք․

Ձեր հավելվածն ունի պահանջներ, որոնք GSM8K-ը չի ստուգում․

• Ձեր ուսումնական ծրագրի ձևակերպումներն ու թեմաների հերթականությունը,

• Ձեր տարիքային խմբին համապատասխան բացատրության ոճը,

• Ինչպես վարվել երկիմաստ կամ բազմաթիվ տառասխալներով աշակերտական հարցերի դեպքում,

• Քաղաքականության կանոնները (օրինակ՝ երբ հուշել, իսկ երբ տալ ամբողջական պատասխանը)։

Արդյունավետ վավերացման հիմքը ձեր հավելվածին հատուկ գնահատման հենանիշների ստեղծումն է։ Այս տվյալակազմերը պետք է կազմվեն իրական փոխազդեցություններից, բնորոշ սահմանային դեպքերից և հավանական ձախողման սցենարներից։ Նոր պրոդուկտ կամ գործընթաց ներդնելիս սա կարող է բարդ առաջադրանք լինել։ Սակայն շատ դեպքերում հնարավոր է տվյալներ հավաքել գործող պրոդուկտից կամ սկսել հնարավորինս վաղ՝ նույնիսկ սկզբնական թեստավորման փուլում։ Հավելվածը մշակելուց հետո այս հենանիշները պետք է զարգանան պրոդուկտի հետ՝ ժամանակի ընթացքում դառնալով ավելի հարուստ և ներկայացուցչական։

Ձեր հավելվածին հատուկ հենանիշի և մոդելի ընտրության միջև կապը վճռորոշ է։ Հենանիշը ցույց է տալիս ոչ միայն լուծման աշխատունակությունը, այլև մոդելի չափի և հետուսուցման մեթոդների այն համադրությունը, որն առավել ծախսարդյունավետ կերպով ապահովում է ձեզ անհրաժեշտ արդյունավետությունը։ Նախապես ուսուցված մոդելների ամենազգալի բարելավումները (ChatGPT-ի «PT»-ն) ստացվում են ոչ թե վերաուսուցումից, այլ "հետուսուցման" մեթոդներից։

Այս մեթոդները կենտրոնանում են այն բանի վրա, թե ինչ տեղեկություն է հասանելի մոդելին, ինչպես է այն կառուցված, և ինչպես է մոդելն ուղղորդվում ու կառավարվում եզրակացության փուլում։ Հետուսուցման մեթոդներ, ինչպիսիք են՝

• Մտքերի շղթայի հարցումներ և հաշվարկային ռեսուրսների դինամիկ բաշխում (բարդ խնդիրների դեպքում՝ ավելի երկար մտածել)

• Ինքնահամաձայնեցում, երբ ստեղծվում են մի քանի արդյունքներ, և ընտրվում է լավագույնը

• Համատեքստի կառուցում և կառավարում, օրինակ՝ որոնմամբ ընդլայնված գեներացում (RAG), մի քանի հարցումներով օրինակներ և ագենտային աշխատանքային հոսքեր

• Գործիքների կիրառում և արտաքին գիտելիքի հասանելիություն, որոնք մոդելին թույլ են տալիս գործել իր ներքին պարամետրերից դուրս

• Գիտելիքի ներկայացման և պահպանման ռազմավարություններ՝ կառուցվածքային ու չկառուցված տվյալներից արդյունավետ որոնման և դրանց շուրջ դատողության համար

Թեև հետուսուցման այս մեթոդները կարող են զգալիորեն բարելավել համակարգի արդյունավետությունը, դրանք նաև փոխզիջումներ են պահանջում։ Կառավարման, որոնման կամ դատողության յուրաքանչյուր լրացուցիչ շերտ մեծացնում է համակարգի բարդությունը, եզրակացության ժամանակը և գործառնական ծախսը։ Սակայն ճիշտ կիրառման դեպքում հետուսուցման մեթոդների համապատասխան համադրությունը հաճախ թույլ է տալիս օգտագործել ավելի փոքր, արագ և էժան մոդելներ՝ միաժամանակ բավարարելով արդյունավետության պահանջները։ Մոդելի չափը մեծացնելու փոխարեն արդյունավետությունն ապահովվում է համակարգի ավելի լավ նախագծմամբ։

Այս հավասարակշռությունը կախված է կոնկրետ հավելվածից, և մեթոդների օպտիմալ համադրությունը պետք է որոշվի հավելվածին հատուկ գնահատումներով։ Դրանք թույլ կտան գտնել այն կետը, որից հետո լրացուցիչ կառավարումն այլևս էական օգուտ չի տալիս, և ընտրել նպատակային արդյունավետության համար անհրաժեշտ հետուսուցման բարդության նվազագույն մակարդակը։

ԱԲ լուծումը պետք է դիտարկել որպես ամբողջական համակարգ՝ տվյալների բազաներ, API-ներ, օգտատիրոջ միջերեսներ, կառավարման շերտեր, մշտադիտարկման ենթակառուցվածք և այլն։ Ուստի գնահատումը պետք է ընդգրկի տեխնոլոգիական ամբողջ շղթան։ Համակարգի հիմնական մասերը պետք է մշտադիտարկել՝ հնարավոր խնդիրները տեսադաշտում պահելու և պատասխանատու կերպով արագ գործելու համար։

Համակարգի հիմնական մասերի մշտադիտարկումը ենթադրում է․

• Չափելի արդյունքներ ստանալու համար գործընթացներում չափիչ գործիքների ներդրում։

• Փորձերի գրանցում, որպեսզի տեսնեք յուրաքանչյուր փոփոխության ազդեցությունը։

• Խոշոր փոփոխությունները ներդնելուց առաջ պարզ A/B համեմատությունների կիրառում՝ հնարավոր հետընթացը ստուգելու համար։

Տվյալների վրա հիմնված կրկնափուլերը կրճատում են նախատիպից արտադրական միջավայր անցնելու ճանապարհը՝ չթողնելով աննկատ խնդիրներ։ Գրանցումն ու մշտադիտարկումը կարևոր են նաև հավելվածի իրական կիրառությունը հասկանալու համար։ Ահա դիտարկելիությունն ապահովող օրինակ․

• Քայլ 1․ օգտատիրոջ հարցումը մուտք է գործում request_id, user_segment, intent տվյալներով։

• Քայլ 2․ հետագծումը գրանցում է մոդելի տարբերակը, հարցման տարբերակը, որոնված փաստաթղթերը և գործիքների կանչերը։

• Քայլ 3․ LLM դատավորը գնահատում է պատասխանը (correctness, groundedness, policy_risk)։

• Քայլ 4․ կանոնների շարժիչը գնահատում է շեմերը։

• Քայլ 5․ եթե շեմը խախտվել է, ստեղծվում է ահազանգ, իսկ հարցումն ուղղվում է պահուստային տարբերակին կամ մարդու ստուգմանը։

• Քայլ 6․ ձախողումն ավելացվում է առաջնահերթացման հերթին, ապա՝ հենանիշի առաջադրանքների ցանկին։

Իրական օգտատերերը հազվադեպ են վարվում ճիշտ այնպես, ինչպես ակնկալում են նախագծողները։ Ոմանք սխալ կհասկանան հրահանգները։ Մյուսները միտումնավոր կփորձարկեն թույլ կողմերը։ Այս սահմանային դեպքերը շեղումներ չեն, այլ անգնահատելի ազդակներ։ Ճիշտ իրականացված գնահատման գործընթացը հավաքում ու վերլուծում է դրանք և ներառում հետագա թեստերում։ Առանց կույր գոտիների արագ կրկնափուլեր հնարավոր են միայն այն դեպքում, երբ գնահատումը համակարգի անբաժանելի մասն է, ոչ թե մշակումից հետո ավելացված բաղադրիչ։

Խորհուրդ ենք տալիս հենց առաջին օրվանից ներդնել պաշտպանիչ սահմանափակումներ և մշտադիտարկում․

• Հավելվածին հատուկ հենանիշով կանոնավոր հետևեք մոդելի չափորոշիչներին և հետընթացին։

• Հավաքեք ու վերանայեք սահմանային դեպքերը կամ հակառակորդային մուտքային տվյալները և ավելացրեք դրանք հավելվածին հատուկ հենանիշային տվյալակազմում։

• Համոզվեք, որ գնահատման այս չափորոշիչները համապատասխանում են ձեր հիմնական KPI-ներին։

• Պարբերաբար քննադատաբար ստուգեք ձեր տվյալակազմն ու հենանիշը՝ համոզվելու, որ չեք անտեսում նոր ռիսկերը և չեք ենթարկվում կողմնակալությունների։

• Ներդրեք չափորոշիչների վատթարացման ավտոմատ ահազանգեր (օրինակ՝ եթե ճշգրտությունն իջնի 85%-ից ցածր, գործարկեք ստուգում)։

• Բարձր ռիսկայնությամբ որոշումների համար պահպանեք մարդկային ստուգման գործընթացը (իրավաբանական խորհրդատվություն, բժշկական ցուցումներ, ֆինանսական գործարքներ)։

Հենանիշի յուրաքանչյուր գործարկում սպառում է հաշվարկային ռեսուրսներ և էներգիա։ Յուրաքանչյուր ավելորդ փորձ մեծացնում է ծախսը։ Պատասխանատու գնահատումը պետք է հավասարակշռի խստությունն ու արդյունավետությունը։

Էներգիայի սպառումն ու ծախսերը վերահսկելու համար կարելի է ձեռնարկել հետևյալ գործնական քայլերը․

• Հնարավորության դեպքում օգտագործեք փոքր մոդելներ․ սկզբնական փորձերը կատարեք ավելի էժան մոդելներով և մեծացրեք մասշտաբը միայն մոտեցումը վավերացնելուց հետո։

• Քեշավորեք հարցումներն ու API կանչերը։

• Կիրառեք էներգիայի սպառումը հաշվի առնող ժամանակացույց (փաթեթային մշակում, spot instances, flex priority)։

• Արդյունավետության հետ մեկտեղ հետևեք հաշվարկային ռեսուրսների օգտագործմանը։

Միաժամանակ հետևեք ԱԲ ոլորտում ձևավորվող նոր կարգավորումներին։ Նույնիսկ հատուկ օրենքի բացակայության դեպքում գործող շրջանակներն ու անհրաժեշտ քայլերը շարունակում են կիրառվել, օրինակ՝

Տվյալների պաշտպանություն․

• Համոզվեք, որ հենանիշային տվյալակազմերը առանց պատշաճ համաձայնության չեն պարունակում անձը նույնականացնող տվյալներ (PII)

• Գրանցված հարցումների համար ներդրեք տվյալների պահպանման քաղաքականություններ

• Տվյալների ջնջման հարցումների համար տրամադրեք համապատասխան մեխանիզմներ

Հավասարություն և կողմնակալություն․

• Փորձարկեք արդյունավետությունը ժողովրդագրական տարբեր խմբերում

• Հենանիշը կազմելիս ապահովեք տարբեր խմբերի ներկայացվածությունը

Մարդու իրավունքներ և թափանցիկություն․

• Օգտատերերի համար հստակ փաստագրեք մոդելի սահմանափակումները

• Բարձր ռիսկայնությամբ որոշումների համար տրամադրեք բացատրություններ

• Կարևոր կիրառությունների համար ապահովեք մարդկային վերահսկողություն

Գնահատումը մեկանգամյա իրադարձություն չէ, այլ զարգացող համակարգ։ Արագ զարգացող ոլորտում ձեր առավելությունը կախված է նրանից, թե որքան արագ կարող եք փորձարկել, սովորել և հարմարվել՝ մոդելներն ու նոր լուծումներն ավելի արդյունավետ ներդնելու համար։

Գնահատումը որպես ինժեներական և պրոդուկտի կառավարման հիմնական աշխատանք ներդնելով՝ թիմերը կարող են ավելի արագ և անվտանգ նորարարել։ Նախ սահմանեք, թե ինչ է նշանակում լավ արդյունք ձեր ԱԲ հավելվածի համատեքստում, ստեղծեք գնահատման հարթակ և շարունակաբար զարգացրեք այն, որպեսզի ունենաք հավելվածին հատուկ հենանիշ, որն ամեն կրկնափուլում վստահություն կտա արտադրական պատրաստվածության հարցում։