Það eykur ekki endilega skilning að bæta við mælikvörðum. Mörg mælaborð innihalda nokkra mælikvarða á sömu undirliggjandi hegðun. Mælikvarðar verða gagnlegri til greiningar þegar þeir eru sameinaðir í pör þar sem mælikvarðarnir vinna hvor gegn öðrum: kostnaður og gæði, afmörkun og viðhorf eða nákvæmni og biðtími.
Réttu pörin breytast eftir því sem gervigreindarvara færist frá tilraunaverkefni yfir í framleiðslu. Mælingar ættu að fylgja þeim ákvörðunum sem teymið þarf að taka á hverju stigi.
Rekstrarlegt eftirlit og markviss mæling þjóna ólíkum tilgangi. Teymi geta fylgst með hundruðum kerfismerkja en notað aðeins fáein pör til að stýra vöruákvörðunum.
Helstu mælikvarðar geta sagt sannfærandi sögu en samt skilið mikilvæga ákvörðun um vöru eftir óleysta.
Gervigreindarráðgjafi Klarna var opinberlega tengdur meiri afköstum, lægri kostnaði og ánægjustigum viðskiptavina sem voru sambærileg við ánægjustig mannlegra gerenda. Árið eftir ákvað fyrirtækið að auka aðgang að mannlegri þjónustu og forstjórinn viðurkenndi að of mikil áhersla hefði verið lögð á kostnaðarlækkun.
Þetta var ekki höfnun á gervigreindaraðstoðarmanninum eða undirliggjandi tækni hans. Þetta var aðlögun á jafnvæginu milli sjálfvirkni og mannlegrar þjónustu eftir því sem fyrirtækið lærði af rekstri vörunnar. Eftir því sem sjálfvirknin tók við fleiri fyrirspurnum af einfaldari gerð sem bárust í miklu magni þurfti Klarna á mannlegum fulltrúum að halda sem voru í stakk búnir til að takast á við flókin og viðkvæm mál.
Eftir að hafa skilgreint frá upphafi hverju vara á að ná fram munu flest fyrirtæki sem þróa gervigreindarvörur að lokum standa frammi fyrir sömu spurningu: Virkar hún í raun og veru?
Ef svarið er óljóst eru fyrstu viðbrögðin oft að bæta við fleiri mælikvörðum. Þrír verða að 10, síðan verða 10 að 30. Mælaborðið verður ítarlegra, en skilningur teymisins batnar kannski ekki.
Vandinn felst ekki alltaf í gæðum einstakra mælikvarða heldur tengslunum á milli þeirra. Ánægja viðskiptavina, ánægjuskor, umsagnir og hlutfall þumla upp geta öll gefið gagnlegar vísbendingar, en þau kunna að endurspegla svipaðar breytingar á heildarviðhorfi. Þegar þau hreyfast í takt staðfesta þau að eitthvað hafi gerst án þess endilega að skýra hvers vegna.
Gervigreindarteymi ættu því að horfa lengra en til mælikvarða sem eru sammála og finna mælingar sem sýna útkomur sem stangast á. Slík pör varpa ljósi á áhrif málamiðlana á árangur vörunnar, auðvelda vöktun þeirra og styðja við betri ákvarðanatöku.
Í einni innleiðingu fyrir útgáfu var sameiginlegt teymi að þróa raddgeranda sem byggði á gervigreind og starfaði í rauntíma fyrir símtöl frá viðskiptavinum til þjónustuvers. Ein erfiðasta spurningin snerist ekki um val á líkani eða samhæfingu. Hún snerist um hvernig fyrirtækið gæti vitað hvort varan virkaði þegar viðskiptavinir færu að nota hana í stórum stíl.
Upphaflegi ramminn notaði þrjá mælikvarða:
Lausnarhlutfall: hversu oft gervigreindin afgreiðir símtal án þess að flytja það til manneskju.
Hlutfall framsendinga: hversu oft símtal er sent áfram til mannlegs fulltrúa.
Úrlausnarhlutfall: hversu oft mál viðskiptavinarins er að lokum leyst.
Hver mælikvarði var sanngjarn. Saman gátu þeir þó ekki svarað augljósri spurningu: Ef vísað er oftar til æðra stigs, hvað segir það okkur?
Teymið sundurliðaði stigmögnun í átta undirtegundir. Það bætti síðan við mælikvörðum á brottfall, ferli og tímasetningu, einkunnum fyrir málskilning og uppfyllingu eftir tegund fyrirspurnar. Ramminn innihélt að lokum 31 mælikvarða í sex flokkum.
Hann gat lýst stigmögnun í smáatriðum, en gat samt ekki greint orsök hennar með áreiðanlegum hætti. Flestar mælingarnar voru tilbrigði við sömu hegðun, þannig að þær fylgdust að í stað þess að prófa stríðandi skýringar.
Stjórnborðið var orðið frekar til eftirlits en greiningar.
Teymið þurfti ekki á öðru stigi sundurliðunar að halda. Það þurfti mælikvarða sem settu hver öðrum skorður.
Við köllum þetta gagnkvæm skaðleg pör: tveir mælikvarðar þar sem úrbætur aðeins á öðrum þeirra geta skaðað niðurstöðu hins. Heitið lýsir bilunarhætti sem einhliða bestun skapar, ekki æskilegu ástandi.
Þegar báðar hliðar eru heilbrigðar gæti rekstur vörunnar verið sjálfbær. Þegar þær víkja hvor frá annarri hjálpar stefna þess fráviks teyminu að ákveða hvar eigi að kanna málið.
Það sem við höfðum | Gagnkvæmt skaðlegt par | Það sem parið gæti leitt í ljós |
|---|---|---|
Stigmögnunarhlutfalli skipt í átta undirflokka | Stigmögnunarhlutfall ↔ tími fram að stigmögnun | Tafarlaus stigmögnun getur bent til vandamáls varðandi traust eða framsetningu; síðari stigmögnun getur bent til þess að kerfið geti ekki lokið verkinu. |
Afskiptaleysishlutfall og úrlausnarhlutfall gefin upp hvort í sínu lagi | Afskiptaleysishlutfall ↔ viðhorf viðskiptavina | Hvort afskiptaleysi feli í sér fullnægjandi úrlausn eða hvort viðskiptavinur hætti við tilraunina. |
Úrlausnarhlutfall eftir tegund ásetnings | Úrlausnarhlutfall ↔ dýpt samtals | Hvort árangursrík lausn er skilvirk eða krefst þreytandi samskipta. |
Með því að skoða nánar hvernig þetta er gert aðgengilegt og hvað gera má við þessa innsýn skulum við líta á hlutfall stigmögnunar og tíma fram að stigmögnun. Teymið mun ekki vita hvernig viðskiptavinir hegða sér fyrr en raunveruleg símtöl berast, en það getur skilgreint þær tilgátur sem það þarf að prófa.
Ef sífellt fleiri símtöl eru send áfram og viðskiptavinir hætta að nota gervigreindarlausnina á fyrstu 30 sekúndunum ætti teymið að kanna traust, upplýsingagjöf, tón og samskipti í upphafi. Ef viðskiptavinir senda mál áfram eftir að hafa eytt nokkrum mínútum í að reyna að ljúka verkefni er líklegra að vandamálið snúist um getu eða stuðning við verkflæði.
Númer stigmögnunar í fyrirsögninni er það sama. Vöruákvörðunin er önnur.
Gagnlegt par sannar ekki orsökina eitt og sér. Það afmarkar rannsóknina og gerir næstu ákvörðun skýrari.
Klarna-dæmið sem kynnt var fyrr sýnir hvernig þessi meginregla á við þegar kostnaður og gæði þjónustu hafa gagnkvæm áhrif. Það sýnir hvernig rekstrarlíkan með gervigreind getur þróast eftir því sem fyrirtæki fylgist með áhrifum málamiðlana og lærir af innleiðingu sinni.
Í febrúar 2024 greindi fyrirtækið frá því að gervigreindaraðstoðarmaður þess hefði sinnt 2,3 milljónum samtala fyrsta mánuðinn, unnið störf sem jafngilda 700 fulltrúum í fullu starfi og náð ánægjueinkunnum viðskiptavina sem voru sambærilegar við þær sem mannlegir fulltrúar fá. Klarna áætlaði að aðstoðarmaðurinn myndi stuðla að 40 milljónum USD í auknum hagnaði árið 2024. Þetta voru niðurstöður sem Klarna greindi sjálft frá, fremur en sjálfstætt mat.
Í maí 2025 sagði forstjóri Klarna að fyrirtækið hefði lagt of mikla áherslu á að draga úr kostnaði í þjónustu við viðskiptavini og lýsti áformum um að auka aðgang að mannlegri aðstoð. Þetta fól í sér aðlögun á jafnvæginu milli sjálfvirkrar og mannlegrar þjónustu, fremur en höfnun á gervigreindaraðstoðarmanninum eða undirliggjandi tækni hans.
Opinber gögn sýna hvers vegna skoða ætti skilvirkniaðgerðir samhliða þörfum ólíkra viðskiptavina og samskipta. Gervigreindarkerfi getur staðið sig vel að meðaltali, en sum flókin, viðkvæm eða óvenjuleg tilvik njóta samt góðs af aðgengilegri mannlegri þjónustuleið.
Með því að fylgjast með báðum hliðum þess sambands getur fyrirtæki ákveðið hvar sjálfvirkni skapar virði, hvar mannlegur stuðningur er áfram mikilvægur og hvernig jafnvægið ætti að breytast eftir því sem ný gögn koma fram.
Önnur pör milli gervigreindarvara sem eyðileggja hvort annað geta meðal annars verið:
Gagnkvæmt skaðlegt par | Áhætta sem það hjálpar til við að afhjúpa |
|---|---|
Nákvæmni svara ↔ biðtími svara | Kerfi sem er tæknilega nákvæmt en of hægt fyrir verkflæðið. |
Lokahlutfall verkefna ↔ hlutfall hnekkinga notenda | Gervigreindarverkflæði sem lýkur verkefnum sem notendur endurtaka ítrekað. |
Kostnaður á hver samskipti ↔ metin gæði úttaks | Sparnaður sem næst með því að skerða upplifun viðskiptavina eða starfsfólks. |
Aðlögun ↔ tími til að verðmeta | Vöxtur í nýskráningum án samsvarandi virðis fyrir notendur. |
Tilgangurinn er ekki að láta báða mælikvarðana aukast endalaust. Tilgangurinn er að gera málamiðlunina sýnilega áður en einhliða bestun skapar rekstrarlegt vandamál.
Svipuð áskorun kom upp við dreifingu stuðningsþjónustu fyrir spilara hjá fyrirtæki í farsímaleikjaiðnaði. Kerfið sinnti miklum fjölda mála, svo sem töpuðum framvinduupplýsingum, ágreiningi um greiðslur og aðgangi að reikningum.
Skilvirkniaðgerðir skiptu máli vegna þess að kerfið starfaði í stórum stíl. En þjónusta við leikmenn er ekki einfaldlega biðröð í rekstri. Leikmenn koma oft svekktir vegna þess að eitthvað hefur þegar farið úrskeiðis annars staðar í upplifun þeirra.
Þessi upphafspunktur breytir því hvernig túlka ætti gögn um ánægju viðskiptavina. Leikmaður sem fær vandamál sitt leyst á réttan hátt gæti samt greint frá lítilli ánægju vegna þess að hann missti framvindu sína í upphafi. Að lesa það stig án samhengis getur haft þau áhrif að þjónustusamskiptin séu metin verr vegna pirrings sem skapaðist fyrr í ferðalagi viðskiptavinarins.
Teymið þurfti því að aðgreina upphaflegt viðhorf viðskiptavinarins frá áhrifum þjónustuupplifunarinnar. Gagnlegri spurningin var ekki: „Var leikmaðurinn ánægður?“ Heldur var hún: „Bættu samskiptin stöðuna miðað við stöðuna sem leikmaðurinn var í í upphafi?“
Sá samanburður getur hjálpað til við að greina á milli óánægju með vöruna og gæða þjónustunnar, að því gefnu að teymið hafi áreiðanlega leið til að mæla hvort tveggja.
Gervigreindarvörur breytast, en mælikvarðar þeirra haldast oft óbreyttir.
Í tilraunaverkefni getur lykilspurningin verið hvort kerfið sé nægilega traust til að réttlæta áframhaldandi fjárfestingu:
Lýkur það lykilverkefninu áreiðanlega?
Treysta notendur því nægilega til að halda áfram?
Hvernig hegðar það sér utan algengustu sviðsmyndanna?
Er hægt að greina bilanir og jafna sig eftir þær á öruggan hátt?
Þessar spurningar henta pörum á borð við:
árangur í kjarnaverkefnum ↔ frammistaða í jaðartilvikum;
sjálfvirknihlutfall ↔ hlutfall mannlegrar yfirkeyrslu; og
hraði verkloka ↔ traust notenda.
Þegar varan verður rekstrarlega mikilvæg breytast spurningarnar:
Getur það stækkað án þess að draga úr gæðum?
Batnar hagkvæmni þess við notkun?
Er frammistaðan áfram stöðug eftir því sem innleiðing eykst?
Eiga mannleg inngrip sér stað á réttum stöðum?
Samsvarandi pör gætu færst í átt að:
kostnaður á hver samskipti ↔ metin gæði úttaks;
breidd innleiðingar ↔ dýpt notkunar; og
sjálfvirknishlutfall ↔ útsetning fyrir rekstraráhættu
Fyrstu mælikvarðarnir eru ekki endilega rangir. Þeir svara spurningunum sem skiptu máli á fyrra stigi.
Áhættan kemur upp við umskiptin. Mælikvarðar úr tilraunaverkefnum eru oft áfram í notkun vegna þess að teymi vita hvernig á að skýra frá þeim og enginn ber ábyrgð á að ákveða að leggja þá niður. Mælikvarðar sem áður studdu við nám geta smám saman orðið að hégómamælikvörðum.
Pör ættu því að hafa lífsferil. Teymi ættu að taka þau upp fyrir tiltekna ákvörðun, endurskoða hvort þau leiði enn í ljós veigamikla málamiðlun og hætta að nota þau þegar varan eða ákvörðunin breytist.
Gervigreindarkerfi krefjast ítarlegs athuganleika, viðvarana, gæðatryggingar og mats. Að fjarlægja þessi merki myndi gera erfiðara að reka vöruna með öruggum hætti. En rekstrarlegt eftirlit er ekki það sama og mælingar fyrir stjórnendur.
Vöktun hjálpar teymum að greina atvik, rekja bilanir og skilja hegðun kerfisins. Mælikvarðar fyrir ákvarðanatöku hjálpa leiðtogum í vöruþróun og viðskiptum að ákveða hvort eigi að fjárfesta, grípa inn í, breyta um stefnu eða sætta sig við málamiðlun.
Fyrirtæki gæti fylgst með hundruðum tæknilegra og rekstrartengdra vísbendinga en aðeins dregið fram tvö eða þrjú pör sem vinna hvort gegn öðru fyrir tiltekna vöruákvörðun. Að halda þessu ákvarðanalagi smáu í sniðum auðveldar forgangsröðun.
Viðeigandi tíðni yfirferðar fer eftir vörunni. Nýtt kerfi eða kerfi sem breytist hratt kann að krefjast vikulegrar yfirferðar á ákvörðunum, en þroskuð vara kann að henta fyrir mánaðarlega eða ársfjórðungslega yfirferð. Meginreglan er mikilvægari en bilið: farðu nógu oft yfir parið til að geta brugðist við áður en málamiðlunin verður kostnaðarsöm eða óörugg.
Par verður aðeins gagnlegt ef fyrirtækið kemur sér saman um hvað gerist ef það versnar.
Til þess þarf meira en að skilgreina rauða línu fyrir frávik. Teymi ættu að íhuga þrjú skilyrði:
Albilun: einn mælikvarði fer yfir óásættanleg viðmiðunarmörk, óháð hinum.
Ósamræmi: einn mælikvarði batnar á meðan mótvægi hans versnar.
Sameiginleg hnignun: báðar hliðar dala, sem bendir til víðtæks vöru- eða rekstrarvanda.
Hvert par ætti að hafa:
tilgreindan ábyrgðaraðila;
skýra ákvörðun sem það styður;
samþykkt viðmiðunarmörk eða matsviðmið;
rannsóknarleið; og
mengi mögulegra inngripa.
Án þessara þátta fylgist skipulagsheildin með vörunni í stað þess að stjórna henni.
Áður en þú bætir við annarri mælingu skaltu velja eina mikilvæga ákvörðun um vöru og vinna þig í gegnum þessar spurningar. Skrifaðu niður svörin svo yfirferðinni ljúki með samkomulagi um næsta skref.
1. Hvaða ákvörðun þurfum við að taka með hjálp þessara mælikvarða?
Vertu nákvæm/ur: erum við að ákveða hvort við eigum að auka sjálfvirkni, breyta líkani eða bæta framsendingu til manneskju? Nefndu ákvörðunina áður en þú velur mælingarnar.
2. Ef þessi tala batnar, hvað gæti þá versnað?
Greindu niðurstöðuna sem þú þarft að vernda og mælikvarða sem myndi sýna skaða. Tengdu til dæmis kostnað við hver samskipti við metin gæði úttaks til að kanna hvort ódýrari svör séu enn gagnleg.
3. Hvað gætu fyrirsagnartölurnar verið að fela?
Skoðaðu báða mælikvarðana fyrir sömu notendur, verkefni og tímabil og leitaðu síðan að hópum sem sýna verri niðurstöður. Taktu einnig tillit til upphafsaðstæðna: lítil ánægja getur endurspeglað gremju sem var til staðar áður en samskipti við þjónustuver hófust.
4. Hvað myndi fá okkur til að bregðast við og hver ber ábyrgð á viðbrögðunum?
Settu viðmið um hvenær bregðast skal við ef mælikvarði fer yfir óviðunandi mörk, annar batnar en hinn versnar eða báðir versna. Sammælstu um hver muni rannsaka málið, hvað verði athugað fyrst og hvenær greint verði frá niðurstöðum.
5. Passar þetta par enn við núverandi stig vörunnar?
Ákveddu hvort eigi að halda því, skipta því út eða hætta notkun þess. Tilraunaverkefni kann að einblína á áreiðanleika verkefna og traust notenda; þjónusta í rekstri gæti þurft nánari athugun á kostnaði og gæðum. Ákveddu dagsetningu til að endurskoða valið.
Mælingar á gervigreindarvörum ættu að gera meira en að lýsa frammistöðu. Þær ættu að draga fram þær málamiðlanir sem fyrirtækið gerir og gera næstu ákvörðun skýrari.