Kuongeza vipimo si lazima kuboreshe uelewa. Dashibodi nyingi zina vipimo kadhaa vya tabia ileile ya msingi. Vipimo husaidia zaidi kubaini matatizo vikioanishwa kama jozi zinazokinzana: gharama na ubora, udhibiti na hisia za wateja, au usahihi na muda wa kusubiri.
Jozi zinazofaa hubadilika kadiri bidhaa ya AI inavyohama kutoka majaribioni hadi uzalishaji. Upimaji unapaswa kuongozwa na maamuzi ambayo timu inahitaji kufanya katika kila hatua.
Ufuatiliaji wa shughuli na upimaji wa kimkakati hutimiza malengo tofauti. Timu zinaweza kufuatilia mamia ya ishara za mfumo huku zikitumia jozi chache tu kuongoza maamuzi ya bidhaa.
Vipimo vikuu vinaweza kusimulia kisa kinachoshawishi huku vikiacha uamuzi muhimu wa bidhaa bila jibu.
Msaidizi wa AI wa Klarna ulihusishwa hadharani na utendaji mkubwa, gharama za chini na alama za kuridhika kwa wateja zilizolingana na za mawakala binadamu. Mwaka uliofuata, kampuni iliamua kuongeza upatikanaji wa usaidizi wa binadamu, huku afisa mkuu mtendaji akikiri kuwa upunguzaji wa gharama ulikuwa umepewa mkazo kupita kiasi.
Hili halikuwa kukataliwa kwa msaidizi wa AI wala teknolojia yake ya msingi. Lilikuwa ni marekebisho ya uwiano kati ya uendeshaji wa kiotomatiki na huduma inayotolewa na binadamu, kampuni ilipoendelea kujifunza kutokana na uendeshaji wa bidhaa hiyo. Kadiri uendeshaji wa kiotomatiki ulivyoanza kushughulikia zaidi maswali mengi na rahisi, mawakala wa kibinadamu ambao Klarna iliwahitaji walikuwa wale waliokuwa na ujuzi wa kushughulikia kesi tata na nyeti.
Baada ya kufafanua tangu mwanzo kile ambacho bidhaa inapaswa kufanikisha, mashirika mengi yanayounda bidhaa za AI hatimaye yatakabili swali lilelile: je, inafanya kazi kweli?
Jibu lisipokuwa wazi, mara nyingi silika huwa kuongeza vipimo zaidi. Vipimo vitatu huwa 10, kisha 10 huwa 30. Dashibodi huwa na taarifa nyingi zaidi, lakini uelewa wa timu huenda usiimarike.
Tatizo si ubora wa kila kipimo kila mara, bali uhusiano kati ya vipimo hivyo. Kuridhika kwa wateja, Alama ya Uwezekano wa Kupendekeza, maoni na viwango vya vidole juu vyote vinaweza kutoa ishara muhimu, lakini huenda vikaonyesha mabadiliko yanayofanana katika hisia za jumla. Vinapobadilika pamoja, vinathibitisha kuwa jambo limetokea bila kufafanua sababu yake.
Kwa hiyo, timu za AI zinapaswa kuangalia zaidi ya vipimo vinavyokubaliana na kutambua vile vinavyofichua matokeo yanayokinzana. Jozi hizi zinazokinzana hufichua na kusaidia kufuatilia athari za maafikiano yaliyo nyuma ya utendaji wa bidhaa, hivyo kuwezesha maamuzi bora.
Katika utekelezaji mmoja kabla ya uzinduzi, timu ya pamoja ilikuwa ikiunda wakala wa sauti wa AI wa wakati halisi kwa simu za usaidizi kwa wateja zinazoingia. Mojawapo ya maswali magumu zaidi halikuhusu uteuzi wa muundo wala uratibu. Lilikuwa jinsi shirika lingejua ikiwa bidhaa ilifanya kazi baada ya wateja kuanza kuitumia kwa kiwango kikubwa.
Mfumo wa awali ulitumia vipimo vitatu:
Kiwango cha udhibiti: mara ambazo AI hutatua simu bila kuihamishia kwa mtu.
Kiwango cha uhamishaji: mara ambazo simu huhamishiwa kwa wakala binadamu.
Kiwango cha utatuzi: mara ambazo suala la mteja hatimaye hutatuliwa.
Kila kipimo kilikuwa na mantiki. Hata hivyo, kwa pamoja havikuweza kujibu swali dhahiri: uhamishaji ukiongezeka, hilo linatuambia nini?
Timu iligawanya uhamishaji katika aina ndogo nane. Kisha ikaongeza vipimo vya kuachana na mchakato, safari na muda, alama za kuelewa lugha, na utatuzi kulingana na aina ya swali. Hatimaye mfumo ulikuwa na vipimo 31 katika makundi sita.
Uliweza kueleza uhamishaji kwa kina, lakini bado haukuweza kubaini chanzo chake kwa uhakika. Vipimo vingi vilikuwa tofauti ndogo za tabia ileile, kwa hivyo vilibadilika pamoja badala ya kupima maelezo yanayokinzana.
Dashibodi ilikuwa imekuwa ya uchunguzi badala ya utambuzi wa matatizo.
Timu haikuhitaji safu nyingine ya uchanganuzi. Ilihitaji vipimo vilivyowekeana mipaka.
Tunaviita jozi zinazokinzana: vipimo viwili ambapo kuboresha kimoja pekee kunaweza kudhuru matokeo yanayowakilishwa na kingine. Jina hili linaeleza hali ya kushindwa inayotokana na uboreshaji wa upande mmoja, wala si hali inayotakikana.
Pande zote mbili zikisalia imara, huenda bidhaa inafanya kazi kwa uendelevu. Zikitengana, mwelekeo wa tofauti hiyo husaidia timu kuamua eneo la kuchunguza.
Tulichokuwa nacho | Jozi inayokinzana | Kile ambacho jozi inaweza kufichua |
|---|---|---|
Kiwango cha uhamishaji kilichogawanywa katika aina ndogo nane | Kiwango cha uhamishaji ↔ muda hadi uhamishaji | Uhamishaji wa mara moja unaweza kuashiria tatizo la uaminifu au jinsi huduma inavyowasilishwa; uhamishaji wa baadaye unaweza kuashiria kuwa mfumo hauwezi kukamilisha jukumu. |
Kiwango cha udhibiti na kiwango cha utatuzi vilivyoripotiwa kando | Kiwango cha udhibiti ↔ hisia za mteja | Iwapo udhibiti unawakilisha utatuzi wa kuridhisha au mteja aliyeachana na jaribio. |
Kiwango cha utatuzi kwa aina ya nia | Kiwango cha utatuzi ↔ kina cha mazungumzo | Iwapo utatuzi wenye mafanikio ni wa ufanisi au unahitaji mazungumzo yanayochosha. |
Ili kuchunguza zaidi jinsi hili linavyofichuliwa na hatua ya kuchukua kutokana na maarifa haya, tuzingatie kiwango cha uhamishaji na muda hadi uhamishaji. Timu haitajua jinsi wateja wanavyotenda hadi simu halisi zianze kuingia, lakini inaweza kufafanua dhana zinazohitaji kupimwa.
Simu zaidi zikianza kuhamishwa na wateja wakaondoka kwenye huduma ya AI ndani ya sekunde 30 za kwanza, timu inapaswa kuchunguza uaminifu, ufichuzi, toni na mawasiliano ya mwanzo. Wateja wakihamisha simu baada ya kutumia dakika kadhaa kujaribu kutekeleza jukumu, huenda tatizo ni uwezo au upana wa mtiririko wa kazi.
Nambari kuu ya uhamishaji ni ileile. Uamuzi wa bidhaa ni tofauti.
Jozi muhimu haithibitishi chanzo peke yake. Hupunguza wigo wa uchunguzi na kuweka uamuzi unaofuata wazi zaidi.
Mfano wa Klarna uliotajwa awali unaonyesha jinsi kanuni hii inavyotumika wakati gharama na ubora wa huduma vinaathiriana. Unaonyesha jinsi mfumo wa uendeshaji unaotumia AI unavyoweza kubadilika kampuni inapofuatilia athari za maafikiano na kujifunza kutokana na utekelezaji wake.
Mnamo Februari 2024, kampuni iliripoti kuwa msaidizi wake wa AI alikuwa ameshughulikia mazungumzo milioni 2.3 katika mwezi wake wa kwanza, akafanya kazi sawa na ya mawakala 700 wa kudumu na kupata alama za kuridhika kwa wateja zilizolingana na za mawakala binadamu. Klarna ilikadiria kuwa msaidizi huyo angechangia ongezeko la faida la dola milioni 40 mwaka wa 2024. Haya yalikuwa matokeo yaliyoripotiwa na Klarna yenyewe, wala si tathmini huru.
Mnamo Mei 2025, afisa mkuu mtendaji wa Klarna alisema kampuni ilikuwa imeweka mkazo mkubwa mno katika kupunguza gharama za huduma kwa wateja na akaeleza mipango ya kuongeza upatikanaji wa usaidizi wa binadamu. Hili lilikuwa rekebisho la uwiano kati ya huduma ya kiotomatiki na ya binadamu, wala si kukataa msaidizi wa AI au teknolojia yake ya msingi.
Ushahidi wa umma unaonyesha kwa nini vipimo vya ufanisi vinapaswa kuzingatiwa pamoja na mahitaji ya wateja na miingiliano tofauti. Mfumo wa AI unaweza kufanya vizuri kwa wastani, huku baadhi ya hali ngumu, nyeti au zisizo za kawaida zikinufaika na njia inayofikika ya kupata usaidizi wa binadamu.
Kufuatilia pande zote mbili za uhusiano huo husaidia kampuni kuamua maeneo ambayo otomatiki huleta thamani, ambayo usaidizi wa binadamu bado ni muhimu na jinsi uwiano unavyopaswa kubadilika ushahidi mpya unapojitokeza.
Jozi nyingine zinazokinzana katika bidhaa za AI zinaweza kujumuisha:
Jozi inayokinzana | Hatari ambayo husaidia kufichua |
|---|---|
Usahihi wa jibu ↔ muda wa kusubiri jibu | Mfumo ulio sahihi kiufundi lakini wa polepole mno kwa mtiririko wa kazi. |
Ukamilishaji wa jukumu ↔ kiwango cha watumiaji kubatilisha | Mtiririko wa kazi wa AI unaokamilisha majukumu ambayo watumiaji huyafanya upya mara kwa mara. |
Gharama kwa kila mwingiliano ↔ ubora wa matokeo yaliyotathminiwa | Akiba inayopatikana kwa kuzorotesha uzoefu wa mteja au mfanyakazi. |
Matumizi ↔ muda wa kupata thamani | Ongezeko la usajili lisiloambatana na thamani kwa watumiaji. |
Lengo si kufanya vipimo vyote viwili viendelee kuongezeka milele. Ni kufanya afikiano lionekane kabla ya uboreshaji wa upande mmoja kuleta tatizo la kiutendaji.
Changamoto inayohusiana na hii ilijitokeza katika utekelezaji wa usaidizi kwa wachezaji katika kampuni ya michezo ya simu. Mfumo ulishughulikia masuala mengi kama vile kupoteza maendeleo, migogoro ya malipo na ufikiaji wa akaunti.
Vipimo vya ufanisi vilikuwa muhimu kwa sababu mfumo ulifanya kazi kwa kiwango kikubwa. Lakini usaidizi kwa wachezaji si foleni ya shughuli tu. Mara nyingi wachezaji hufika wakiwa wamekerwa kwa sababu jambo fulani tayari limeharibika kwingine katika uzoefu wao.
Hali hiyo ya mwanzo hubadilisha jinsi data ya kuridhika kwa wateja inavyopaswa kufasiriwa. Mchezaji ambaye suala lake limetatuliwa ipasavyo bado anaweza kuripoti kiwango cha chini cha kuridhika kwa sababu alipoteza maendeleo tangu mwanzo. Kusoma alama hiyo bila muktadha kunaweza kulaumu mwingiliano wa usaidizi kwa hasira iliyosababishwa mapema katika safari ya mteja.
Kwa hiyo, timu ilihitaji kutofautisha hisia za mwanzo za mteja na athari za huduma ya usaidizi. Swali lenye manufaa zaidi halikuwa, “Je, mchezaji alifurahi?” Lilikuwa, “Je, mwingiliano uliboresha hali ikilinganishwa na mahali mchezaji alipoanzia?”
Ulinganisho huo unaweza kusaidia kutenganisha kukerwa na bidhaa na ubora wa usaidizi, ikiwa timu ina njia ya kuaminika ya kupima yote mawili.
Bidhaa za AI hubadilika, lakini mara nyingi vipimo vyake hubaki vilevile.
Wakati wa majaribio, swali kuu linaweza kuwa iwapo mfumo unaaminika vya kutosha kuhalalisha uwekezaji unaoendelea:
Je, unakamilisha jukumu kuu kwa uaminifu?
Je, watumiaji wanauamini vya kutosha kuendelea?
Unatendaje nje ya hali zinazotokea mara nyingi?
Je, hitilafu zinaweza kutambuliwa na kurekebishwa kwa usalama?
Maswali hayo yanafaa jozi kama vile:
mafanikio ya jukumu kuu ↔ utendaji katika hali nadra;
kiwango cha otomatiki ↔ kiwango cha ubatilishaji wa binadamu; na
kasi ya ukamilishaji ↔ imani ya mtumiaji.
Bidhaa inapokuwa muhimu kwa shughuli, maswali hubadilika:
Je, inaweza kupanuka bila kupunguza ubora?
Je, faida zake za kiuchumi huimarika inapotumiwa?
Je, utendaji hubaki thabiti kadiri matumizi yanavyoongezeka?
Je, uingiliaji wa binadamu unafanyika katika maeneo yanayofaa?
Jozi husika zinaweza kuelekea kwenye:
gharama kwa kila mwingiliano ↔ ubora wa matokeo yaliyotathminiwa;
upana wa matumizi ↔ kina cha matumizi; na
kiwango cha otomatiki ↔ kukabiliwa na hatari za kiutendaji.
Vipimo vya awali si lazima viwe vibaya. Vinajibu maswali yaliyokuwa muhimu katika hatua ya awali.
Hatari hujitokeza wakati wa mpito. Vipimo vya majaribio mara nyingi huendelea kutumika kwa sababu timu zinajua jinsi ya kuviripoti na hakuna anayewajibika kuamua kuviondoa. Vipimo vilivyowahi kusaidia kujifunza vinaweza kugeuka hatua kwa hatua kuwa vipimo vya kujionyesha.
Kwa hivyo, jozi zinapaswa kuwa na mzunguko wa maisha. Timu zinapaswa kuzianzisha kwa ajili ya uamuzi maalumu, kukagua kama bado zinafichua afikiano muhimu, na kuziondoa bidhaa au uamuzi unapobadilika.
Mifumo ya AI inahitaji uangalizi wa kina, arifa, uhakikishaji wa ubora na tathmini. Kuondoa ishara hizo kungefanya iwe vigumu zaidi kuendesha bidhaa kwa usalama. Lakini ufuatiliaji wa shughuli si sawa na upimaji wa uongozi.
Ufuatiliaji husaidia timu kugundua matukio, kufuatilia hitilafu na kuelewa tabia ya mfumo. Vipimo vya maamuzi huwasaidia viongozi wa bidhaa na biashara kuamua iwapo wawekeze, waingilie kati, wabadili mwelekeo au wakubali afikiano.
Shirika linaweza kufuatilia mamia ya ishara za kiufundi na kiutendaji huku likipa kipaumbele jozi mbili au tatu tu zinazokinzana kwa uamuzi fulani wa bidhaa. Kuweka ngazi hiyo ya maamuzi ikiwa ndogo hurahisisha upangaji wa vipaumbele.
Marudio yanayofaa ya ukaguzi hutegemea bidhaa. Mfumo mpya au unaobadilika haraka unaweza kuhitaji ukaguzi wa maamuzi kila wiki, huku bidhaa iliyokomaa ikikaguliwa kila mwezi au kila robo mwaka. Kanuni ni muhimu kuliko kipindi: kagua jozi mara nyingi vya kutosha ili kuchukua hatua kabla afikiano haujawa ghali au hatari.
Jozi huwa muhimu tu shirika linapokubaliana kuhusu kitakachofanyika ikidorora.
Hilo linahitaji zaidi ya kubainisha kikomo hatari cha kutengana. Timu zinapaswa kuzingatia hali tatu:
Kushindwa kabisa: kipimo kimoja kinavuka kiwango kisichokubalika, bila kujali kingine.
Kutengana: kipimo kimoja kinaimarika huku kinachokisawazisha kikidorora.
Kudorora kwa pamoja: pande zote mbili zinashuka, hali inayoashiria tatizo pana la bidhaa au uendeshaji.
Kila jozi inapaswa kuwa na:
mhusika aliyetajwa;
uamuzi wazi inayounga mkono;
viwango au vigezo vya tathmini vilivyokubaliwa;
utaratibu wa uchunguzi; na
hatua mbalimbali zinazoweza kuchukuliwa.
Bila vipengele hivyo, shirika linatazama bidhaa badala ya kuisimamia.
Kabla ya kuongeza kipimo kingine, chagua uamuzi mmoja muhimu wa bidhaa na ujibu maswali haya. Andika majibu ili ukaguzi umalizike kwa hatua inayofuata iliyokubaliwa.
1. Tunahitaji vipimo hivi vitusaidie kufanya uamuzi gani?
Kuwa mahususi: je, tunaamua kupanua otomatiki, kubadilisha muundo au kuboresha uhamishaji kwa binadamu? Taja uamuzi kabla ya kuchagua vipimo.
2. Nambari hii ikiimarika, ni nini kinachoweza kuwa kibaya zaidi?
Tambua matokeo unayohitaji kulinda na kipimo kitakachofichua madhara. Kwa mfano, oanisha gharama kwa kila mwingiliano na ubora wa matokeo yaliyotathminiwa ili kubaini kama majibu ya bei nafuu bado yanafaa.
3. Nambari kuu zinaweza kuwa zinaficha nini?
Changanua vipimo vyote viwili kwa watumiaji, majukumu na kipindi kilekile, kisha utafute makundi yanayopata matokeo mabaya zaidi. Zingatia pia hali ya mwanzo: kuridhika kwa kiwango cha chini kunaweza kutokana na kukerwa kulikotangulia mwingiliano wa usaidizi.
4. Ni nini kitakachotufanya tuchukue hatua, na ni nani anayewajibika?
Weka vigezo vya kuchukua hatua kipimo kinapovuka kikomo kisichokubalika, kimoja kinapoimarika huku kingine kikizorota, au vyote vinapodorora. Kubalianeni kuhusu atakayechunguza, atakachokagua kwanza na wakati atakapowasilisha ripoti.
5. Je, jozi hii bado inafaa hatua ya sasa ya bidhaa?
Amua iwapo itaendelea kutumika, itabadilishwa au itaondolewa. Jaribio linaweza kulenga utegemezi wa jukumu na imani ya mtumiaji; huduma inayotumika inaweza kuhitaji uchunguzi wa karibu zaidi wa gharama na ubora. Weka tarehe ya kutathmini tena chaguo hilo.
Upimaji wa bidhaa za AI unapaswa kufanya zaidi ya kueleza utendaji. Unapaswa kufichua maafikiano ambayo shirika linafanya na kuweka uamuzi unaofuata wazi zaidi.