Iż-żieda ta’ metriċi mhux bilfors twassal għal fehim aħjar. Ħafna dashboards fihom diversi kejlijiet tal-istess imġiba sottostanti. Il-metriċi jgħinu aktar fid-dijanjożi meta jingħaqdu f’pari reċiprokament distruttivi: l-ispiża mal-kwalità, iż-żamma fis-sistema mas-sentiment, jew il-preċiżjoni mal-latenza.
Il-pari xierqa jinbidlu hekk kif prodott tal-AI jgħaddi mill-fażi pilota għall-użu fil-produzzjoni. Il-kejl għandu jkun ibbażat fuq id-deċiżjonijiet li t-tim jeħtieġ jieħu f’kull stadju.
Il-monitoraġġ operattiv u l-kejl strateġiku jaqdu skopijiet differenti. It-timijiet jistgħu jsegwu mijiet ta’ sinjali mis-sistema filwaqt li jużaw biss ftit pari biex jiggwidaw id-deċiżjonijiet dwar il-prodott.
Il-metriċi ewlenin jistgħu jagħtu stampa konvinċenti iżda xorta jħallu deċiżjoni importanti dwar il-prodott mingħajr tweġiba.
L-assistent tal-AI ta’ Klarna kien assoċjat pubblikament ma’ throughput ogħla, spejjeż aktar baxxi u punteġġi ta’ sodisfazzjon tal-klijenti komparabbli ma’ dawk tal-persunal uman. Is-sena ta’ wara, il-kumpanija ddeċidiet li żżid l-aċċess għall-appoġġ minn persuni, u l-kap eżekuttiv tagħha rrikonoxxa li kien ingħata wisq piż lit-tnaqqis fl-ispejjeż.
Dan ma kienx ifisser li l-kumpanija kienet qed twarrab l-assistent tal-AI jew it-teknoloġija li fuqu kien mibni. Kien aġġustament fil-bilanċ bejn l-awtomatizzazzjoni u s-servizz mogħti mill-persunal, hekk kif il-kumpanija tgħallmet mit-tħaddim tal-prodott. Hekk kif l-awtomatizzazzjoni bdiet tieħu ħsieb aktar mill-mistoqsijiet sempliċi u frekwenti, Klarna kellha bżonn persunal imħejji biex jittratta każijiet kumplessi u sensittivi.
Wara li jiddefinixxu mill-bidu x’għandu jikseb prodott, il-biċċa l-kbira tal-organizzazzjonijiet li jiżviluppaw prodotti tal-AI eventwalment jiltaqgħu mal-istess mistoqsija: tassew qed jaħdem?
Jekk it-tweġiba ma tkunx ċara, ħafna drabi l-ewwel reazzjoni tkun li jiżdiedu aktar metriċi. Tlieta jsiru 10, u mbagħad 10 isiru 30. Id-dashboard timtela b’aktar informazzjoni, iżda t-tim mhux bilfors jifhem aħjar x’qed jiġri.
Il-problema mhux dejjem tkun il-kwalità tal-kejlijiet individwali, iżda r-relazzjoni bejniethom. Is-sodisfazzjon tal-klijenti, il-punteġġ nett tal-promoturi, ir-reċensjonijiet u r-rati ta’ valutazzjonijiet pożittivi kollha jistgħu jipprovdu sinjali utli, iżda jistgħu jirriflettu bidliet simili fis-sentiment ġenerali. Meta jinbidlu flimkien, jikkonfermaw li ġrat xi ħaġa mingħajr ma neċessarjament jispjegaw għaliex.
Għalhekk, it-timijiet tal-AI għandhom iħarsu lil hinn minn metriċi li jikkonfermaw lil xulxin, u jidentifikaw kejlijiet li jikxfu riżultati f’kunflitt ma’ xulxin. Dawn il-pari reċiprokament distruttivi jikxfu l-impatt tal-kompromessi li jsawru l-prestazzjoni tal-prodott u jgħinu biex jiġi mmonitorjat, u b’hekk jippermettu deċiżjonijiet aħjar.
Fi proġett wieħed qabel it-tnedija, it-tim konġunt kien qed jiżviluppa aġent tal-vuċi tal-AI li jaħdem f’ħin reali biex iwieġeb it-telefonati tal-klijenti li jkollhom bżonn appoġġ. Waħda mill-aktar mistoqsijiet diffiċli ma kinitx dwar l-għażla tal-mudell jew l-orkestrazzjoni. Kienet dwar kif l-organizzazzjoni kienet se tkun taf jekk il-prodott kienx qed jaħdem ladarba l-klijenti jibdew jużawh fuq skala kbira.
Il-qafas inizjali kien juża tliet kejlijiet:
Rata ta’ żamma fis-sistema: kemm-il darba l-AI ssolvi l-kwistjoni f’telefonata mingħajr ma tittrasferiha lil persuna.
Rata ta’ eskalazzjoni: kemm-il darba telefonata tiġi ttrasferita lil membru tal-persunal.
Rata ta’ riżoluzzjoni: kemm-il darba l-problema tal-klijent tissolva fl-aħħar mill-aħħar.
Kull kejl kien raġonevoli. Flimkien, iżda, ma setgħux iwieġbu mistoqsija ovvja: jekk tiżdied l-eskalazzjoni, x’jgħidilna dan?
It-tim qasam l-eskalazzjoni fi tmien sottotipi. Imbagħad żied kejlijiet dwar l-abbandun, il-perkors tal-klijent u l-ħin, punteġġi għall-fehim tal-lingwa, u r-riżoluzzjoni skont it-tip ta’ mistoqsija. Eventwalment, il-qafas kien fih 31 metrika mifruxa fuq sitt kategoriji.
Seta’ jiddeskrivi l-eskalazzjoni fid-dettall, iżda xorta ma setax jidentifika l-kawża tagħha b’mod affidabbli. Il-biċċa l-kbira tal-metriċi kienu varjazzjonijiet tal-istess imġiba, għalhekk kienu jinbidlu flimkien minflok jittestjaw spjegazzjonijiet alternattivi.
Id-dashboard kienet saret għodda ta’ osservazzjoni aktar milli ta’ dijanjożi.
It-tim ma kellux bżonn jaqsam il-kejlijiet f’aktar dettall. Kellu bżonn metriċi li jrażżnu lil xulxin.
Dawn insejħulhom pari reċiprokament distruttivi: żewġ kejlijiet fejn it-titjib ta’ wieħed waħdu jista’ jagħmel ħsara lir-riżultat irrappreżentat mill-ieħor. L-isem jiddeskrivi x’jista’ jmur ħażin meta tiġi ottimizzata naħa waħda biss, mhux l-istat mixtieq.
Meta ż-żewġ naħat jibqgħu sejrin tajjeb, il-prodott jista’ jkun qed jaħdem b’mod sostenibbli. Meta jibdew jitbiegħdu minn xulxin, id-direzzjoni ta’ dik il-bidla tgħin lit-tim jiddeċiedi fejn għandu jinvestiga.
X’kellna | Par reċiprokament distruttiv | X’jista’ jikxef il-par |
|---|---|---|
Rata ta’ eskalazzjoni maqsuma fi tmien sottotipi | Rata ta’ eskalazzjoni ↔ ħin sal-eskalazzjoni | Eskalazzjoni immedjata tista’ tindika problema ta’ fiduċja jew ta’ kif jiġi ppreżentat is-servizz; eskalazzjoni aktar tard tista’ tindika li s-sistema ma tistax tlesti l-kompitu. |
Ir-rata ta’ żamma fis-sistema u r-rata ta’ riżoluzzjoni rrappurtati separatament | Rata ta’ żamma fis-sistema ↔ sentiment tal-klijenti | Jekk iż-żamma fis-sistema tirrappreżentax soluzzjoni sodisfaċenti jew klijent li jkun qata’ qalbu mit-tentattiv. |
Rata ta’ riżoluzzjoni skont it-tip ta’ intenzjoni | Rata ta’ riżoluzzjoni ↔ profondità tal-konverżazzjoni | Jekk soluzzjoni b’suċċess tinkisibx b’mod effiċjenti jew teħtieġ interazzjoni li tgħejji lill-klijent. |
Biex nidħlu aktar fil-fond dwar kif dan jidher u x'għandu jsir b'dan l-għarfien, ejjew nikkunsidraw ir-rata ta' eskalazzjoni u ż-żmien sal-eskalazzjoni. It-tim mhux se jkun jaf kif iġibu ruħhom il-klijenti sakemm jaslu telefonati reali, iżda jista' jiddefinixxi l-ipoteżijiet li jeħtieġ jittestja.
Jekk aktar telefonati jibdew jiġu eskalati u l-klijenti jitilqu mill-esperjenza tal-IA fl-ewwel 30 sekonda, it-tim għandu jinvestiga l-fiduċja, l-iżvelar, it-ton u l-interazzjonijiet tal-bidu. Jekk il-klijenti jeskalaw wara li jqattgħu diversi minuti jippruvaw iwettqu kompitu, il-problema aktar probabbli tkun il-kapaċità jew il-kopertura tal-fluss tax-xogħol.
In-numru ewlieni għall-eskalazzjoni huwa l-istess. Id-deċiżjoni dwar il-prodott hija differenti.
Par utli ma jipprovax il-kawża waħdu. Dan jirrestrinġi l-investigazzjoni u jagħmel id-deċiżjoni li jmiss aktar ċara.
L-eżempju ta’ Klarna introdott qabel juri kif dan il-prinċipju japplika meta l-ispiża u l-kwalità tas-servizz jinteraġixxu. Juri kif mudell operattiv abilitat bl-AI jista’ jevolvi hekk kif kumpanija tissorvelja l-impatt tal-kompromessi u titgħallem mill-implimentazzjoni tiegħu.
Fi Frar 2024, il-kumpanija rrappurtat li l-assistent tagħha tal-IA kien ittratta 2,3 miljun konverżazzjoni fl-ewwel xahar tiegħu, wettaq xogħol ekwivalenti għal dak ta’ 700 aġent full-time, u kiseb punteġġi ta’ sodisfazzjon tal-klijenti komparabbli ma’ dawk ta’ aġenti umani. Klarna stmat li l-assistent kien se jikkontribwixxi $40 miljun għal titjib fil-profitt matul l-2024. Dawn kienu r-riżultati rrappurtati minn Klarna stess, mhux evalwazzjoni indipendenti.
F'Mejju 2025, id-direttur eżekuttiv ta’ Klarna qal li l-kumpanija kienet tat wisq enfasi fuq it-tnaqqis tal-ispejjeż fis-servizz għall-klijenti u ddeskriva pjanijiet biex iżżid l-aċċess għal appoġġ uman. Dan kien jirrappreżenta aġġustament fil-bilanċ bejn servizz awtomatizzat u servizz uman, aktar milli ċaħda tal-assistent tal-IA jew tat-teknoloġija sottostanti tiegħu.
L-evidenza pubblika turi għaliex il-miżuri ta’ effiċjenza għandhom jitqiesu flimkien mal-ħtiġijiet ta’ klijenti u interazzjonijiet differenti. Sistema tal-IA tista’ taħdem tajjeb bħala medja, filwaqt li xi każijiet kumplessi, sensittivi jew mhux tas-soltu xorta jistgħu jibbenefikaw minn kanal uman aċċessibbli.
Il-monitoraġġ taż-żewġ naħat ta’ dik ir-relazzjoni jgħin kumpanija tiddeċiedi fejn l-awtomazzjoni toħloq valur, fejn l-appoġġ uman jibqa’ importanti, u kif il-bilanċ għandu jinbidel hekk kif toħroġ evidenza ġdida.
Koppji oħra li jeqirdu lil xulxin fost il-prodotti tal-IA jistgħu jinkludu:
Koppja li tiddistruġġi lilha nnifisha reċiprokament | Riskju li jgħin biex jiġi żvelat |
|---|---|
Preċiżjoni tar-rispons ↔ latenza tar-rispons | Sistema li hija teknikament preċiża iżda bil-mod wisq għall-fluss tax-xogħol. |
It-tlestija tal-kompiti ↔ ir-rata ta’ override mill-utent | Fluss tax-xogħol bl-AI li jwettaq kompiti li l-utenti jerġgħu jwettqu darba wara l-oħra. |
Kost għal kull interazzjoni ↔ kwalità tal-output evalwat | Iffrankar miksub billi tiddeterjora l-esperjenza tal-klijent jew tal-impjegat. |
Adozzjoni ↔ żmien biex jinkiseb il-valur | Tkabbir fir-reġistrazzjonijiet mingħajr valur korrispondenti għall-utent. |
L-għan mhuwiex li ż-żewġ miżuri jiżdiedu b'mod indefinit. Huwa li l-kompromess ikun viżibbli qabel ma l-ottimizzazzjoni fuq naħa waħda toħloq problema operattiva.
Sfida relatata dehret f’implimentazzjoni ta’ appoġġ għall-plejers għal kumpanija tal-logħob mobbli. Is-sistema ttrattat kwistjonijiet ta’ volum għoli, bħal progress mitluf, tilwim dwar ħlasijiet u aċċess għall-kont.
Il-miżuri ta’ effiċjenza kienu importanti għaliex is-sistema kienet topera fuq skala kbira. Iżda l-appoġġ għall-plejers mhuwiex sempliċement kju operazzjonali. Il-plejers spiss jaslu frustrati għaliex xi ħaġa tkun diġà marret ħażin xi mkien ieħor fl-esperjenza tagħhom.
Dak il-punt tat-tluq ibiddel kif għandha tiġi interpretata d-dejta dwar is-sodisfazzjon tal-klijenti. Plejjer li l-kwistjoni tiegħu tissolva b’mod korrett xorta jista’ jirrapporta sodisfazzjon baxx għax tilef il-progress fl-ewwel lok. Il-qari ta’ dak il-punteġġ mingħajr kuntest jista’ jippenalizza l-interazzjoni mal-appoġġ għall-frustrazzjoni maħluqa aktar kmieni fil-vjaġġ tal-klijent.
Għalhekk, it-tim kellu bżonn jiddistingwi s-sentiment inizjali tal-klijent mill-effett tal-esperjenza ta’ appoġġ. Il-mistoqsija l-aktar utli ma kinitx, “Il-plejer kien kuntent?” Kienet, “L-interazzjoni tejbet is-sitwazzjoni meta mqabbla ma’ kif kienet meta l-plejer beda?”
Dak it-tqabbil jista’ jgħin biex jiddistingwi l-frustrazzjoni bil-prodott mill-kwalità tal-appoġġ, sakemm it-tim ikollu mod affidabbli kif ikejjel it-tnejn.
Il-prodotti tal-AI jinbidlu, iżda l-metriċi tagħhom spiss jibqgħu fissi.
Matul proġett pilota, il-mistoqsija ċentrali tista’ tkun jekk is-sistema hijiex affidabbli biżżejjed biex tiġġustifika investiment kontinwu:
Jitlesta b'mod affidabbli l-kompitu ewlieni?
L-utenti jafdawh biżżejjed biex ikomplu?
Kif iġib ruħu barra mill-aktar xenarji komuni?
Il-fallimenti jistgħu jiġu identifikati u rkuprati b’mod sikur?
Dawk il-mistoqsijiet jiffavorixxu pari bħal dawn:
suċċess fil-kompitu ewlieni ↔ prestazzjoni f'każijiet eċċezzjonali;
rata ta’ awtomazzjoni ↔ rata ta’ intervent uman; u
veloċità tat-tlestija ↔ fiduċja tal-utent.
Ladarba l-prodott isir importanti għall-operazzjonijiet, il-mistoqsijiet jinbidlu:
Tista' tiskala mingħajr ma titnaqqas il-kwalità?
L-ekonomija tiegħu titjieb bl-użu?
Il-prestazzjoni tibqa’ stabbli hekk kif l-adozzjoni tikber?
L-interventi umani qed iseħħu fil-postijiet it-tajbin?
Il-pari korrispondenti jistgħu jimxu lejn:
spiża għal kull interazzjoni ↔ kwalità tal-output evalwata;
il-wisa’ tal-adozzjoni ↔ il-profondità tal-użu; u
rata ta’ awtomazzjoni ↔ esponiment għar-riskju operazzjonali.
Il-metriċi bikrija mhumiex neċessarjament żbaljati. Huma jwieġbu l-mistoqsijiet li kienu importanti fi stadju aktar bikri.
Ir-riskju jinqala’ matul it-tranżizzjoni. Il-metriċi pilota spiss jibqgħu jintużaw għax it-timijiet jafu kif jirrapportawhom u ħadd ma jieħu responsabbiltà għad-deċiżjoni li jirtirawhom. Miżuri li darba kienu jappoġġjaw it-tagħlim jistgħu gradwalment isiru metriċi tal-vanità.
Il-pari għalhekk għandhom ikollhom ċiklu tal-ħajja. It-timijiet għandhom jintroduċuhom għal deċiżjoni definita, jirrieżaminaw jekk għadhomx juru kompromess sinifikanti, u jirtirawhom meta jinbidel il-prodott jew id-deċiżjoni.
Is-sistemi tal-AI jeħtieġu osservabbiltà dettaljata, twissijiet, assigurazzjoni tal-kwalità u evalwazzjoni. It-tneħħija ta’ dawk is-sinjali tagħmel il-prodott aktar diffiċli biex jitħaddem b’mod sigur. Iżda l-monitoraġġ operazzjonali mhuwiex l-istess bħall-kejl tat-tmexxija.
Il-monitoraġġ jgħin lit-timijiet jidentifikaw inċidenti, jintraċċaw il-fallimenti, u jifhmu l-imġiba tas-sistema. Il-metriċi għat-teħid ta’ deċiżjonijiet jgħinu lill-mexxejja tal-prodott u tan-negozju jiddeċiedu jekk jinvestux, jintervjenux, jibdlux id-direzzjoni, jew jaċċettawx kompromess.
Organizzazzjoni tista’ tissorvelja mijiet ta’ sinjali tekniċi u operattivi filwaqt li tenfasizza biss żewġ jew tliet pari li jeqirdu lil xulxin għal deċiżjoni partikolari dwar prodott. Li dak il-livell ta’ deċiżjoni jinżamm żgħir jagħmel il-prijoritizzazzjoni aktar faċli.
Il-frekwenza xierqa tar-reviżjoni tiddependi mill-prodott. Sistema ġdida jew li tinbidel malajr tista’ teħtieġ reviżjonijiet tad-deċiżjonijiet kull ġimgħa, filwaqt li prodott matur jista’ jippermetti frekwenza ta’ kull xahar jew kull tliet xhur. Il-prinċipju huwa aktar importanti mill-intervall: irrevedu l-par ta’ spiss biżżejjed biex taġixxu qabel ma l-kompromess isir għali jew mhux sikur.
Koppja ssir utli biss meta l-organizzazzjoni taqbel dwar x'se jiġri jekk tiddeterjora.
Dan jirrikjedi aktar minn sempliċement id-definizzjoni ta’ linja ħamra għad-diverġenza. It-timijiet għandhom jikkunsidraw tliet kundizzjonijiet:
Falliment assolut: miżura waħda taqbeż limitu inaċċettabbli, irrispettivament mill-oħra.
Diverġenza: miżura waħda titjieb filwaqt li l-kontrobilanċ tagħha jiddeterjora.
Deterjorament konġunt: iż-żewġ naħat sejrin għall-agħar, li jissuġġerixxi problema usa' fil-prodott jew fit-tħaddim.
Kull par għandu jkollu:
sid imsemmi;
deċiżjoni ċara li jappoġġja;
limiti miftiehma jew kriterji ta’ evalwazzjoni;
mogħdija ta’ investigazzjoni; u
sett ta’ interventi possibbli.
Mingħajr dawk l-elementi, l-organizzazzjoni qed tosserva l-prodott minflok ma timmaniġġjah.
Qabel ma żżidu miżura oħra, agħżlu deċiżjoni importanti dwar il-prodott u aħdmu fuq dawn il-mistoqsijiet. Iktbu t-tweġibiet sabiex ir-rieżami jintemm b'pass li jmiss miftiehem.
1. Liema deċiżjoni għandna bżonn nieħdu bl-għajnuna ta’ dawn il-metriċi?
Kunu speċifiċi: qed niddeċiedu jekk nespandux l-awtomazzjoni, nibdlux mudell jew intejbux l-għoti f'idejn il-bniedem? Semmu d-deċiżjoni qabel tagħżlu l-miżuri.
2. Jekk dan in-numru jitjieb, x'jista' jmur għall-agħar?
Identifika r-riżultat li għandek bżonn tipproteġi u miżura li tiżvela l-ħsara. Pereżempju, qabbel l-ispiża għal kull interazzjoni mal-kwalità evalwata tal-output biex tivverifika jekk it-tweġibiet irħas għadhomx utli.
3. X'jistgħu jaħbu ċ-ċifri ewlenin?
Aqra ż-żewġ miżuri għall-istess utenti, kompiti u perjodu ta' żmien, imbagħad fittex gruppi li jesperjenzaw riżultati agħar. Ikkunsidra wkoll il-kundizzjonijiet inizjali: sodisfazzjon baxx jista' jirrifletti frustrazzjoni li kienet teżisti qabel l-interazzjoni mal-appoġġ.
4. X’iwassalna biex naġixxu, u min hu responsabbli għar-rispons?
Stabbilixxu kriterji għal azzjoni meta miżura taqbeż limitu mhux aċċettabbli, waħda titjieb filwaqt li l-oħra tmur għall-agħar, jew it-tnejn jiddeterjoraw. Ftehmu min se jinvestiga, x'se jiċċekkja l-ewwel, u meta se jirrapporta lura.
5. Dan il-par għadu jaqbel mal-istadju attwali tal-prodott?
Iddeċiedi jekk għandekx iżżommu, tissostitwih jew tirtirah. Prova pilota tista' tiffoka fuq l-affidabbiltà tal-kompiti u l-fiduċja tal-utenti; servizz attiv jista' jeħtieġ skrutinju aktar mill-qrib tal-ispiża u l-kwalità. Stabbilixxi dejta biex terġa' tikkunsidra l-għażla.
Il-kejl tal-prodott tal-IA għandu jagħmel aktar milli jiddeskrivi l-prestazzjoni. Għandu juri l-kompromessi li qed tagħmel l-organizzazzjoni u jagħmel id-deċiżjoni li jmiss aktar ċara.