ግምገማዎች፦ ከAI ሙከራዎች ወደ ልበ ሙሉ ምርት

• መሠረታዊ ሞዴሎች ቢሻሻሉም፣ በልበ ሙሉነት በምርት ላይ ለመጠቀም ያስቻለው ዋና ለውጥ ሥርዓት ያለው የግምገማ አሠራር ነው።

• በሚገባ የተነደፉ ግምገማዎች የምርት አስተዳዳሪዎች፣ የAI አስተዳደር መሪዎችና CTOዎች የAI ወኪሎችን በስፋትና በደህንነት እንዲያሰማሩ ያግዛሉ፤ AIንም በተናጠል ከሚጠቀሙበት መጫወቻ ወደ ውድድር ብልጫ ይለውጣሉ።

• ይህ ልበ ሙሉነት የሚመጣው የAI ወኪልን ባህሪ ከእውነተኛ የተጠቃሚ ጥያቄዎች፣ ከወሰን ሁኔታዎችና የንግድዎን እውነታ ከሚያንጸባርቁ የዘርፍ ሁኔታዎች አንጻር በመገምገም እንጂ፣ «ይህ ሞዴል ምርጥ ነው» ከሚል የሕዝብ መለኪያ አይደለም።

• ግቡ ይህን ልበ ሙሉነት በሚለኩ ውጤቶች ማረጋገጥ ነው። ስኬት ማለት "ጥሩ" የሚባለውን ከንግድ ፍላጎትዎና ከአደጋ የመቀበል አቅምዎ ጋር በሚጣጣሙ ተጨባጭና ሊለኩ በሚችሉ ቃላት መግለጽ ነው፤ ይህም የመረጃ ትክክለኛነት፣ ተገቢ የንግግር ቃና፣ ፍጥነት ወይም ወጪ ቆጣቢነት ሊሆን ይችላል።

• ግምገማን በመላው ስርዓትዎ ውስጥ በማካተት—መለኪያ መግጠም፣ መዝግቦ መያዝ፣ A/B ሙከራና የደህንነት ገደቦች—እንዲሁም ጥብቅነትን ከቅልጥፍና ጋር በማመጣጠን፣ ቡድኖች ፈጣን ስርጭትና ጠንካራ አፈጻጸም ያገኛሉ።

አብዛኞቹ ድርጅቶች ሠራተኞቻቸው ChatGPT ወይም Geminiን እየሞከሩ ቢጠቀሙ አይጨነቁም። ሆኖም LLMዎችን ከፍተኛ አደጋ ባላቸው የሥራ ፍሰቶች ወይም ሁኔታዎች ላይ ማዋል ብዙም የተለመደ አይደለም።

ምክንያቶቹም ብዙ ጊዜ ተገቢ ነበሩ፤ ጥራቱ ወጥነት አልነበረውም፣ የሐሰት መረጃ የማመንጨት ወይም የማይፈለግ ባህሪ አደጋም ቴክኖሎጂው ከሚያቀርበው ጥቅም በልጦ ነበር።

ባለፈው ዓመት ይህ የአደጋና የጥቅም ሚዛን በከፍተኛ ሁኔታ ተለውጧል። የዚህ አንድ ክፍል ከመሠረታዊ ሞዴሎች አፈጻጸም መሻሻል ጋር ቢያያዝም፣ አብዛኛው ለውጥ በግምገማዎች (ወይም “evals”) ዙሪያ እያደገ ካለው ሥርዓታማነት የመጣ ነው። ግምገማዎች እኛና ደንበኞቻችን በጥቂት ሳምንታት ውስጥ በስፋት የሚሠሩና ደንበኛን በቀጥታ የሚያገለግሉ ወኪሎችን በልበ ሙሉነት እንድናሰማራ ያስችሉናል።

ይህ መመሪያ የግምገማዎችን መሠረታዊ ክፍሎች፣ አነዳደፋቸውን፣ አተገባበራቸውንና ለምርት ጥቅም አስተዳደራቸውን ያብራራል።

የግምገማ ግብ ፍጹም ሞዴል ማግኘት ሳይሆን፣ ሞዴልዎ ከንግድ ፍላጎትዎ፣ ከተጠቃሚዎችዎ ግምትና ከድርጅትዎ የአደጋ መቀበል አቅም ጋር በሚጣጣም መንገድ እንደሚሠራ በማስረጃ የተደገፈ ልበ ሙሉነት መፍጠር ነው።

የማንኛውም የግምገማ ስትራቴጂ መሠረት ቀላል ጥያቄ ነው፦ “ጥሩ” የሚባለው ምን ይመስላል? መልሱ ግልጽና ዝርዝር መሆን አለበት። ለአንድ ድርጅት “ጥሩ” ማለት በጥብቅ የስህተት ወሰን ውስጥ ያለ የመረጃ ትክክለኛነት ሊሆን ይችላል፤ ሌላው ደግሞ ፍጥነትን፣ ወጪ ቆጣቢነትን ወይም ልዩ የንግግር ቃናን ቅድሚያ ሊሰጥ ይችላል። ከሚጠቀሙት ውሂብ ጀምሮ እስከሚመለከቱዎት የደንብ ግዴታዎች ድረስ ያሉ ሁሉም ገደቦች ይህን ትርጉም ይቀርጹታል።

ከሁሉም በላይ፣ 'ጥሩ' የሚለው በተግባር ሊለኩ የሚችሉ ክፍሎች ሊኖሩት ይገባል። ስኬት ጠቃሚ የፋይናንስ ምክር መስጠት ከሆነ፣ ጠቃሚነቱ በባህሪያት መገለጽ አለበት፦ የመረጃ ትክክለኛነት፣ ተገቢ የኃላፊነት ማስተባበያዎች፣ ለግለሰቡ የተበጀ ማመዛዘንና አስተማማኝ ወሰኖች። ‘ጥሩ’ የሚለው ሊለኩ በሚችሉ ቃላት ከተገለጸ በኋላ፣ ቀጣዩ ጥያቄ ውጤቶቹን እንዴት እንደሚተነትኑና እንደሚተረጉሙ ነው። በእነዚህ ውጤቶች ላይ እርምጃ መውሰድ ነው ግምገማን ከተራ ፍርድ ወደ ዘዴ የሚለውጠው።

እያንዳንዱ የግምገማ ሂደት በሦስት ተያያዥ ምሰሶዎች ላይ ይመሠረታል፦

1. ግብዓቶች/መለኪያዎች፦ አጠቃላይ አፈጻጸምን የሚወክሉ የእውነተኛው ዓለም ምሳሌዎችና ለዘርፉ ተግባራዊነትን ለመፈተሽ በውስጥ የተዘጋጁ የውሂብ ስብስቦች።

2. የሞዴል ባህሪ፦ ሞዴሉ እንዴት እንደሚጠራ (በመረጃ ሰርስሮ ማግኘት የተጠናከረ ማመንጨት፣ ማጠቃለል፣ የተዋቀረ መረጃ ማግኘት፣ መሣሪያ መጠቀም)።

3. መለኪያዎች፦ አፈጻጸምን እንዴት እንደሚለኩና እንደሚተረጉሙ።

ግብዓቶቹ ስርዓትዎ የሚያጋጥመውን ዓለም መወከል አለባቸው። ትርጉም ያላቸው ግንዛቤዎች የሚገኙት ከእውነተኛ ምሳሌዎች ነው፦ ከደንበኞችዎ ጥያቄዎች፣ ከፋይናንስ ሁኔታዎች ወይም ለኢንዱስትሪው ከተለዩ ጉዳዮች። ሞዴሉ ተጠቃሚዎችዎ የሚፈልጉትን ስውር ልዩነት በእውነት መረዳቱንና የንግድ ፍላጎቱን ማሟላቱን ማወቅ የሚቻለው በእነዚህ በመፈተሽ ብቻ ነው።

ሞዴሉ እንዴት እንዲሠራ እንደሚታዘዝ፣ መረጃ ማግኘት ወይም የመሣሪያ አጠቃቀም እንዴት እንደሚቀናጅ፣ ዐውድስ እንዴት እንደሚሰጠው ያሉ ባህሪያት ልክ እንደ ሞዴሉ ራሱ አስፈላጊ ናቸው። ሁለት ተመሳሳይ ሞዴሎች በአሰማራራቸው ሁኔታ ምክንያት እጅግ ተለያይተው ሊሠሩ ይችላሉ። ስለዚህ ይህ ንብርብር በግምገማ ንድፍዎ ውስጥ መካተት አለበት።

በመጨረሻም መለኪያዎች አሉ። ቁጥሮች ብቻቸውን ሙሉውን ታሪክ አይናገሩም፤ በሚገባ የተመረጡ መለኪያዎች ግን የስርዓቱን ባህሪ ለመተርጎም ያስችላሉ። የምላሽ ጊዜ፣ ትክክለኛነት፣ ደህንነት፣ ወጥነት፣ አድልዎ፣ ወጪና የተጠቃሚ እርካታ በአንድነት በምርት ላይ ስላለ ስርዓት ባለብዙ ገጽታ ምስል ይሰጣሉ። ዋናው ጥበብ ከፕሮጀክትዎ ወይም ከንግድዎ KPIዎች ጋር የሚጣጣሙና ለተጠቃሚዎችዎ በጣም አስፈላጊ የሆኑ ጥራቶችን የሚያሳዩ መለኪያዎችን መምረጥ ነው። ቀላል መለኪያዎች ብዙ ጊዜ ይበልጥ ትክክለኛና አነስተኛ ወጪ ያላቸው ሲሆኑ፣ የተሳሳተ ምርጫ ቡድኖችን ሊያሳስት ይችላል። መለኪያ ሲመርጡ እንዲህ ያስቡ፦

ጥሩ የመለኪያ ምርጫዎች ምሳሌዎች፦

• የደንበኛ አገልግሎት ቻትቦት፦ በመጀመሪያው ግንኙነት የመፍትሔ መጠን (የተጠቃሚው ችግር ወደ ላይ ሳይተላለፍ ተፈታ?)፣ አማካይ የአስተናጋጅ ጊዜ፣ የተጠቃሚ እርካታ ነጥብ፣ ወደ ሰው ወኪሎች የማስተላለፍ መጠን

• የፋይናንስ ምርምር መሣሪያ፦ የማጣቀሻ ትክክለኛነት (በአግባቡ ምንጭ ያላቸው የይገባኛል ጥያቄዎች %)፣ ከተረጋገጠ እውነት ጋር የተፈተሸ የመረጃ ትክክለኛነት፣ የማግኘት አግባብነት (ትክክለኛዎቹን ሰነዶች አገኘ?)፣ በዘርፍ ባለሙያዎች የተመዘነ የማመዛዘን ወጥነት

• የኮድ ማመንጫ ረዳት፦ የአገባብ ትክክለኛነት፣ የፈተና ማለፊያ መጠን፣ የደህንነት ተጋላጭነቶች ብዛት፣ የሚሠራ መፍትሔ ለማግኘት የፈጀ ጊዜ

ደካማ የመለኪያ ምርጫዎች ምሳሌዎች፦

• የምላሹን ርዝመት ብቻ የጥራት ምትክ መለኪያ አድርጎ መጠቀም (ረዘም ያለ ≠ የተሻለ)

• ከትክክለኛነት ጋር ያለውን የሚዛን ልውውጥ ሳያጤኑ ፍጥነትን መለካት

• የሞዴሉን የልበ ሙሉነት ነጥቦች ከትክክለኛው ውጤት ጋር ሳያረጋግጡ መከታተል

• ተጠቃሚን በሚመለከት ማረጋገጫ ሳይኖር በሞዴሉ ውስጣዊ perplexity ላይ ብቻ መመካት

መወገድ ያለባቸው የተለመዱ የመለኪያ ወጥመዶች፦

• የሚጋጩ መለኪያዎች፦ የሚዛን ልውውጡን ሳይገነዘቡ ፍጥነትንና ሁሉን አቀፍነትን በአንድ ጊዜ ለማሻሻል መሞከር

• ከመለኪያዎች ጋር ከመጠን በላይ መላመድ፦ በፈተና ስብስብዎ 95% ማሳካት፣ እውነተኛ ተጠቃሚዎች ግን የተለየ ባህሪ ስላላቸው በምርት ላይ መውደቅ

ከፍተኛ ቁጥጥር ለሚደረግበት አንድ የፋይናንስ አገልግሎት ደንበኛችን፣ በጥልቅ ምርምር መፍትሔው ውስጥ ትክክለኛነት ከሁሉ በላይ ነበር። በባለሙያዎች የተዘጋጁ የQA ውሂብ ስብስቦችን በመሣሪያ ከተመነጩ ስብስቦች ጋር አጣምረን ነደፍን። ይህም ትክክለኛነትን፣ ስርዓቱ ተገቢዎቹን መሣሪያዎች የመምረጥና ትክክለኛውን መረጃ የማግኘት ብቃቱን እንድንገመግምና ስለትክክለኛነትና የማመዛዘን ጥራት ሚዛናዊ እይታ እንድናገኝ አስችሎናል። ቁልፉ ብዙ ገጽታዎችን መለካት ነበር፦ የመረጃ ትክክለኛነት (የባለሙያ ማረጋገጫ)፣ የማግኘት ጥራት (የአግባብነት ሰነዶች precision/recall) እና የማመዛዘን ወጥነት (የሎጂካዊ ፍሰት የተዋቀረ ግምገማ)።

ስውር የጥራት ልዩነቶችን ለመገምገም LLM-as-a-judge መቼ መጠቀም እንደሚገባ

LLM-as-a-judge ሁለተኛ AI ሞዴልን እንደ ገምጋሚ ይጠቀማል፤ የሰው ግምገማንም በስፋት በሚሠራ ራስ-ሰር የጥራት ነጥብ ይተካል። ቀላል መለኪያዎች የሚፈልጉትን ትክክለኛነት ማቅረብ ሲችሉ፣ LLM-as-a-judge ብዙ ጊዜ አላግባብ ይጠቀማል። የተወሰኑ ሕጋዊ ፍተሻዎች ጥራትን መያዝ በማይችሉበት ሁኔታ ጠቃሚ ሊሆን ይችላል፤ ለምሳሌ መለኪያው ትርጉማዊ ሲሆን—ጠቃሚነት፣ በማስረጃ መደገፍ፣ የማመዛዘን ጥራት፣ ቃና፣ የፖሊሲ ትርጓሜ—እና በቋሚ ደንብ ነጥብ መስጠት በማይቻልበት ጊዜ። በብዙ የእርምጃ/ሞዴል ልዩነቶች ላይ በስፋት የሚሠራ ግብረመልስ፣ እንዲሁም ግልጽ የውጤት መስፈርትና የተዋቀረ የውጤት እቅድ ማውጣት ሊያስፈልግዎት ይችላል። ለእርስዎ እንዲሠራ እነዚህን ደረጃዎች ይከተሉ፦

• የውጤት መስፈርቱን ገጽታዎች በግልጽ ይወስኑ፦ ትክክለኛነት፣ በማስረጃ መደገፍ፣ የፖሊሲ ተገዢነት፣ ተግባራዊነት፣ ቃና።

• ለገምጋሚ ምላሾች የተዋቀሩ ውጤቶችን (JSON እቅድ ማውጣት) ይጠቀሙ።

• ለውድቀት ትንተና ሁለትዮሽ የመግቢያ ነጥቦችንና የምርመራ ጽሑፍን ይመዝግቡ።

• በእያንዳንዱ የልቀት ዙር የገምጋሚውን ውጤቶች ሰዎች ምልክት ከሰጧቸው ናሙናዎች ጋር ያስተካክሉ።

• ከፍተኛ አደጋ ላላቸው ዘርፎች ሁለት ገምጋሚዎችን ወይም ወቅታዊ የስምምነት ፍተሻዎችን ይጠቀሙ።

• የገምጋሚውን ለውጥና የአለመስማማት መጠን በጊዜ ሂደት ይከታተሉ።

የመለኪያ ውሂብ ስብስብ ሞዴሎችን በወጥነት ለመገምገምና በተለያዩ ስሪቶች መካከል ውጤቶችን በፍትሐዊነት ለማነጻጸር የሚያገለግል፣ መልሶቹ የሚታወቁ ቋሚና በጥንቃቄ የተዘጋጀ የፈተና ምሳሌዎች ስብስብ ነው። ብዙውን ጊዜ ግብዓቶችን (ለምሳሌ፣ የተጠቃሚ ጥያቄዎች)፣ የሚጠበቁ ውጤቶችን ወይም የማጣቀሻ ፍርዶችን፣ እንዲሁም ነጥብ ለመስጠት የግምገማ መስፈርቶችን/መለያዎችን ያካትታል። የሕዝብ መለኪያ ፈተናዎች ዘመናዊ የሞዴል አፈጻጸምን ለማነጻጸር ያገለግላሉ፤ ስርዓትዎን ሲነድፉም የትኛው ሞዴል ጥሩ እጩ ሊሆን እንደሚችል ለመለየት እንደ መነሻ ማጣቀሻ ጠቃሚ ናቸው።

ሆኖም ለራስዎ ስርዓት፣ እነዚህ መለኪያዎች የታወቁ ችግሮች ስላሏቸው በንግድዎ ዐውድ የአፈጻጸም ምትክ መለኪያ አድርገው ሊመኩባቸው አይችሉም፦

• ብክለት፦ ሞዴሎች በመለኪያ ውሂብ ላይ ሰልጥነው ሊሆኑ ይችላሉ፤ በዚያው ስብስብ ላይ መገምገም የመልስ ወረቀት እያዩ ነጥብ እንደመስጠት ነው።

• ሙሌት፦ ሁሉም ከፍተኛ ሞዴሎች ከፍተኛውን ነጥብ ደርሰዋል፤ ስለዚህ የአፈጻጸም መሻሻል/መቀነስ በጥቂት መቶኛ ነጥቦች የተገደበ ሲሆን፣ ብዙ ጊዜም በፈተና ውጤቶች ተፈጥሯዊ መለዋወጥ ውስጥ ይወድቃል።

• ጠባብ ወሰን፦ የመለኪያ ውሂብ እውነተኛ ተግባሮችዎን አያንጸባርቅም፤ በከፍተኛ ጥንቃቄ የተመረጠና የጸዳ ነው። አንዳንዶቹ በLLM የተመነጩ ናቸው፤ ስለዚህ በውሂብዎ ውስጥ ያሉትን ውስብስብነትና የወሰን ሁኔታዎች—የትየባ ስህተቶች፣ ያልተለመዱ አገላለጾች፣ የተዛቡ ምስሎች—አያንጸባርቁም።

አንድ ተማሪ የቃላት ሒሳብ ጥያቄዎችን ለመፍታት መተግበሪያውን እርዳታ ይጠይቃል።

ሊጠቀሙበት የሚችሉት የሕዝብ መለኪያ ምሳሌ፦ GSM8K (የመሠረተ ትምህርት ቤት የሒሳብ ማመዛዘን)

• አማራጭ ከባድ ስብስብ፦ MATH።

ይህ መለኪያ ጠቃሚ የሆነበት ምክንያት፦

• በአጠቃላይ የሒሳብ ማመዛዘን የትኛው ሞዴል የተሻለ እንደሆነ በፍጥነት ማነጻጸር፣

• በሙሉ የምርት ግምገማዎች ላይ ኢንቨስት ከማድረግ በፊት ጥሩ የመጀመሪያ ማጣሪያ ነው።

አሁንም የራስዎ የውሂብ ስብስብ የሚያስፈልግዎት ለምንድን ነው፦

መተግበሪያዎ GSM8K የማይፈትናቸው መስፈርቶች አሉት፦

• የሥርዓተ ትምህርትዎ የቃላት አጠቃቀምና የርዕሶች ቅደም ተከተል፣

• ለዕድሜ ቡድንዎ የሚስማማ የማብራሪያ ዘይቤ፣

• አሻሚ ወይም በትየባ ስህተት የተሞሉ የተማሪዎች ጥያቄዎችን እንዴት መያዝ እንደሚገባ፣

• የፖሊሲ ደንቦች (ለምሳሌ፣ ፍንጭ መቼ እንደሚሰጥና ሙሉ መልስ መቼ እንደሚሰጥ)።

ውጤታማ ማረጋገጫ ለመተግበሪያዎ የተለዩ የግምገማ መለኪያዎችን በመፍጠር ላይ ይመረኮዛል። እነዚህ የውሂብ ስብስቦች ከእውነተኛ መስተጋብሮች፣ ከተለመዱ የወሰን ሁኔታዎችና ሊከሰቱ ከሚችሉ የውድቀት መንገዶች መሰብሰብ አለባቸው። አዲስ ምርት ወይም ሂደት ሲተገበር ይህ ከባድ ተግባር ሊሆን ይችላል። ሆኖም በአብዛኞቹ ሁኔታዎች ውሂብን ካለ ምርት ወይም በተቻለ ፍጥነት፣ በመጀመሪያው የፈተና ደረጃም ቢሆን፣ መሰብሰብ ይቻላል። መተግበሪያዎ ከተሠራ በኋላ፣ እነዚህ መለኪያዎች ከምርትዎ ጋር አብረው ማደግ፣ በጊዜ ሂደትም ይበልጥ የበለጸጉና ወካይ መሆን አለባቸው።

ለመተግበሪያዎ በተለየው መለኪያና በሞዴል ምርጫ መካከል ያለው ግንኙነት ወሳኝ ነው። መለኪያዎ መፍትሔው የሚሠራ መሆኑን ብቻ ሳይሆን፣ የትኛው የሞዴል መጠንና ከሥልጠና በኋላ የሚተገበሩ ዘዴዎች ጥምረት የሚፈልጉትን አፈጻጸም በዝቅተኛ ወጪ እንደሚያቀርብም ያሳያል። ቀድሞ ለሰለጠኑ ሞዴሎች እጅግ ኃይለኛ ማሻሻያዎች—በChatGPT ውስጥ ያለው ‘PT’—የሚመጡት እንደገና ከማሠልጠን ሳይሆን፣ "ከሥልጠና በኋላ" ከሚተገበሩ ዘዴዎች ነው።

እነዚህ ዘዴዎች ሞዴሉ የትኛውን መረጃ ማግኘት እንደሚችል፣ መረጃው እንዴት እንደሚዋቀር፣ እንዲሁም በውሳኔ ጊዜ ሞዴሉ እንዴት እንደሚመራና እንደሚቀናጅ በመቅረጽ ላይ ያተኩራሉ። ከሥልጠና በኋላ የሚተገበሩ ዘዴዎች፦

• በተከታታይ ሀሳብ እርምጃ መስጠትና ተለዋዋጭ የማስላት ኃይል መመደብ (ለከባድ ችግሮች የበለጠ ማሰብ)

• ራስን መደገፍ፤ ብዙ ውጤቶች ተመንጭተው ምርጡ ይመረጣል

• እንደ Retrieval-Augmented Generation (RAG)፣ እጥር ምጥን ምሳሌዎችና ወኪል-ተኮር የሥራ ፍሰቶች ያሉ የዐውድ ግንባታና ቅንጅት

• የመሣሪያ አጠቃቀምና የውጭ ዕውቀት ተደራሽነት፤ ይህም ሞዴሉ ከውስጣዊ መለኪያዎቹ ባሻገር እንዲሠራ ያስችለዋል

• በተዋቀረና ባልተዋቀረ ውሂብ ላይ ቀልጣፋ መረጃ ማግኘትንና ማመዛዘንን ለማስቻል የተነደፉ የዕውቀት ውክልናና ማከማቻ ስትራቴጂዎች

እነዚህ ከሥልጠና በኋላ የሚተገበሩ ዘዴዎች የስርዓቱን አፈጻጸም በእጅጉ ሊያሻሽሉ ቢችሉም፣ የሚዛን ልውውጦችንም ያመጣሉ። እያንዳንዱ ተጨማሪ የቅንጅት፣ የመረጃ ማግኘት ወይም የማመዛዘን ንብርብር የስርዓቱን ውስብስብነት፣ የውሳኔ ጊዜና የሥራ ማስኬጃ ወጪ ይጨምራል። ሆኖም በጥንቃቄ ሲተገበሩ፣ ትክክለኛው የዘዴዎች ጥምረት የአፈጻጸም መስፈርቶችን እያሟሉ በአነስተኛ፣ ፈጣንና ርካሽ ሞዴሎች ላይ መመካትን ብዙ ጊዜ ያስችላል። የሞዴሉን መጠን ከማሳደግ ይልቅ፣ አፈጻጸሙ በተሻለ የስርዓት ንድፍ ይሳካል።

ይህን ሚዛን ማግኘት በባህሪው ለመተግበሪያው የተለየ ሲሆን፣ የዘዴዎችን ተስማሚ ጥምረት ለመወሰን ለመተግበሪያዎ በተለዩ ግምገማዎች ላይ መመሥረት አለበት። እነዚህ ግምገማዎች ተጨማሪ ቅንጅት ትርጉም ያለው ጥቅም መስጠቱን የሚያቆምበትን ነጥብ እንዲለዩ ያስችሉዎታል፤ ቡድኖችም ለታለመው አፈጻጸም የሚያስፈልገውን አነስተኛውን የከሥልጠና-በኋላ ውስብስብነት መምረጥ ይችላሉ።

የAI መፍትሔን እንደ አንድ ሙሉ ስርዓት ማየት ያስፈልጋል፦ የውሂብ ጎታዎች፣ APIዎች፣ የተጠቃሚ በይነገጾች፣ የቅንጅት ንብርብሮች፣ የክትትል መሠረተ ልማትና ሌሎችም። ስለዚህ ግምገማው መላውን የቴክኖሎጂ ክምችት መሸፈን አለበት። ሊከሰቱ የሚችሉ ችግሮችን በግልጽ ለማየትና በኃላፊነት ፍጥነትን ለመጨመር የስርዓቱን ቁልፍ ክፍሎች መከታተል አለብዎት።

የስርዓቱን ቁልፍ ክፍሎች መከታተል ማለት፦

• ሊለኩ የሚችሉ ውጤቶችን ለማግኘት የሥራ ሂደቶችዎን በመለኪያዎች ማስታጠቅ።

• የእያንዳንዱን ማስተካከያ ተጽዕኖ ማየት እንዲችሉ ሙከራዎችን መመዝገብ።

• ከፍተኛ ለውጦችን ከማሰማራትዎ በፊት ሊከሰቱ የሚችሉ የአፈጻጸም መቀነሶችን ለመፈተሽ ቀላል የA/B ንጽጽሮችን መጠቀም።

በውሂብ የሚመራ ተደጋጋሚ ማሻሻያ፣ የማይታዩ ችግሮችን ሳይተው ከመጀመሪያ ንድፍ ወደ ምርት የሚወስደውን መንገድ ያሳጥራል። የመተግበሪያውን የእውነተኛ ዓለም አጠቃቀም ለመረዳትም መዝግቦ መያዝና መከታተል አስፈላጊ ናቸው። ሁኔታውን በግልጽ ለመከታተል የሚረዳ ምሳሌ ይኸውልዎት፦

• ደረጃ 1፦ የተጠቃሚ ጥያቄ ከrequest_id፣ user_segment፣ intent ጋር ይገባል።

• ደረጃ 2፦ Trace የሞዴል ስሪትን፣ የእርምጃ ስሪትን፣ የተገኙ ሰነዶችንና የመሣሪያ ጥሪዎችን ይመዘግባል።

• ደረጃ 3፦ LLM ገምጋሚው ለምላሹ ነጥብ ይሰጣል (correctness፣ groundedness፣ policy_risk)።

• ደረጃ 4፦ የደንብ ሞተሩ የወሰን እሴቶችን ይገመግማል።

• ደረጃ 5፦ የወሰን እሴቱ ከተጣሰ፣ ማንቂያ ይላካል + ወደ fallback/የሰው ግምገማ ይመራል።

• ደረጃ 6፦ ውድቀቱ ወደ triage ወረፋ፣ ከዚያም ወደ መለኪያ የሥራ ዝርዝር ይጨመራል።

እውነተኛ ተጠቃሚዎች ንድፍ አውጪዎች እንደሚጠብቁት በትክክል የሚሠሩት አልፎ አልፎ ነው። አንዳንዶቹ መመሪያዎችን በተሳሳተ መንገድ ይረዳሉ። ሌሎች ደግሞ ደካማ ነጥቦችን ሆን ብለው ይፈትሻሉ። እነዚህ የወሰን ሁኔታዎች ልዩ ክስተቶች ሳይሆኑ እጅግ ጠቃሚ ምልክቶች ናቸው። በሚገባ የተተገበረ የግምገማ ሂደት እነዚህን ይመዘግባል፣ ይተነትናል፣ ከዚያም ወደፊት በሚደረጉ ፈተናዎች ውስጥ ያካትታቸዋል። የማይታዩ ችግሮች የሌሉበት ፈጣን ማሻሻያ የሚቻለው ግምገማ ከልማት በኋላ እንደ ተጨማሪ ሲጣበቅ ሳይሆን፣ በስርዓቱ ውስጥ ከመጀመሪያው ሲካተት ብቻ ነው።

ከመጀመሪያው ቀን ጀምሮ የደህንነት ገደቦችንና ክትትልን እንዲያካትቱ እንመክራለን፦

• ለመተግበሪያዎ የተለየውን መለኪያ በመጠቀም የሞዴሉን መለኪያዎችና የአፈጻጸም መቀነሶች በመደበኛነት ይከታተሉ።

• የወሰን ሁኔታዎችን ወይም ጥቃታዊ ግብዓቶችን ይመዝግቡና ይገምግሙ (ለመተግበሪያዎ የተለየው የመለኪያ ውሂብ ስብስብ ውስጥም ያክሏቸው)።

• እነዚህ የግምገማ መለኪያዎች ከዋና KPIዎችዎ ጋር መጣጣማቸውን ያረጋግጡ።

• አዳዲስ አደጋዎችን ችላ እንዳላሉ ወይም ለአድልዎ እንዳልተጋለጡ ለማረጋገጥ የውሂብ ስብስብዎንና መለኪያዎን በየጊዜው ይፈትኑ።

• መለኪያዎች ሲቀንሱ ራስ-ሰር ማንቂያዎችን ይተግብሩ (ለምሳሌ፣ ትክክለኛነት ከ85% በታች ከወረደ ግምገማ ይጀመር)።

• ከፍተኛ አደጋ ላላቸው ውሳኔዎች—የሕግ ምክር፣ የሕክምና መመሪያ፣ የፋይናንስ ግብይቶች—የሰው ግምገማ ሂደት ይኑርዎት።

እያንዳንዱ የመለኪያ ሙከራ የማስላት ኃይልና ኤሌክትሪክ ይጠቀማል። እያንዳንዱ አላስፈላጊ ሙከራ ወጪን ይጨምራል። ኃላፊነት ያለው ግምገማ ጥብቅነትን ከቅልጥፍና ጋር ማመጣጠን አለበት።

የኃይል ፍጆታና ወጪዎች ከቁጥጥር ውጭ እንዳይሆኑ እነዚህን ተግባራዊ ደረጃዎች መውሰድ ይቻላል፦

• በሚቻልበት ጊዜ አነስተኛ ሞዴሎችን ይጠቀሙ፤ የመጀመሪያ ሙከራዎችን ወጪያቸው ዝቅተኛ በሆኑ ሞዴሎች ያካሂዱና አቀራረቡን ካረጋገጡ በኋላ ብቻ መጠኑን ያሳድጉ።

• እርምጃዎችንና የAPI ጥሪዎችን በcache ያከማቹ።

• የኃይል ፍጆታን ያገናዘበ የጊዜ ሰሌዳ ይጠቀሙ (በቡድን ማስኬድ፣ spot instances፣ flex priority)።

• የማስላት ሀብት አጠቃቀምን ከአፈጻጸም ጋር አብረው ይከታተሉ።

በተመሳሳይም እየወጡ ላሉ የAI ደንቦች ንቁ ይሁኑ። ለAI የተለየ ሕግ ባይኖርም፣ ያሉት ማዕቀፎችና አስፈላጊ ደረጃዎች አሁንም ይመለከታሉ፤ ለምሳሌ፦

የውሂብ ጥበቃ፦

• የመለኪያ ውሂብ ስብስቦች ተገቢ ፈቃድ ሳይኖር PII እንደማይዙ ያረጋግጡ

• ለተመዘገቡ ጥያቄዎች የውሂብ ማቆያ ፖሊሲዎችን ይተግብሩ

• ውሂብን ለማጥፋት ለሚቀርቡ ጥያቄዎች ዘዴዎችን ያቅርቡ

እኩልነትና አድልዎ፦

• በተለያዩ የሕዝብ ቡድኖች ላይ አፈጻጸሙን ይፈትኑ

• መለኪያዎችን ሲፈጥሩ የተለያዩ ቡድኖችን በቂ ውክልና ያካትቱ

ሰብአዊ መብቶችና ግልጽነት፦

• የሞዴሉን ገደቦች ለተጠቃሚዎች በግልጽ ይመዝግቡ

• ከፍተኛ አደጋ ላላቸው ውሳኔዎች ማብራሪያ ያቅርቡ

• ወሳኝ ለሆኑ መተግበሪያዎች የሰው ቁጥጥርን ያስችሉ

ግምገማ አንድ ጊዜ ብቻ የሚካሄድ ክስተት ሳይሆን እያደገ የሚሄድ ስርዓት ነው። በፍጥነት በሚለወጥ ዘርፍ፣ ብልጫዎ የሚመጣው ምን ያህል በፍጥነት መፈተሽ፣ መማርና መላመድ እንደሚችሉ ነው፤ ይህም ሞዴሎችንና አዳዲስ መፍትሔዎችን ይበልጥ ውጤታማ አድርገው እንዲያሰማሩ ያስችልዎታል።

ግምገማን እንደ ዋና የምሕንድስናና የምርት አስተዳደር ተግባር በማካተት፣ ቡድኖች በፍጥነትና በደህንነት ፈጠራን ማምጣት ይችላሉ። ለAI መተግበሪያዎ ዐውድ ጥሩ አፈጻጸም ምን እንደሚመስል በመግለጽ ይጀምሩ፣ የግምገማ መድረክ ያዘጋጁ፣ ከዚያም በእያንዳንዱ ዙር ለምርት ዝግጁነት ልበ ሙሉነት የሚሰጥዎት ለመተግበሪያዎ የተለየ መለኪያ እንዲኖርዎት ያሳድጉት።