Додавањето метрики не мора да го подобри разбирањето. Многу контролни табли содржат повеќе мерки за истото основно однесување. Метриките се покорисни за дијагностика кога се комбинираат во меѓусебно спротивставени парови: трошоци и квалитет, самостојно решавање и задоволство или точност и доцнење.
Соодветните парови се менуваат додека производот со ВИ преминува од пилот-фаза во продукција. Мерењето треба да ги следи одлуките што тимот треба да ги донесе во секоја фаза.
Оперативното следење и стратешкото мерење имаат различни намени. Тимовите може да следат стотици системски сигнали, а да користат само неколку парови за носење одлуки за производот.
Главните метрики може да раскажат убедлива приказна, а сепак да остават нерешена важна одлука за производот.
Асистентот со ВИ на Klarna јавно се поврзуваше со поголем капацитет, пониски трошоци и оценки за задоволството на клиентите споредливи со оние на агенти-луѓе. Следната година компанијата реши да ја зголеми достапноста на поддршката од луѓе, а нејзиниот извршен директор призна дека на намалувањето на трошоците му било дадено преголемо значење.
Тоа не значеше отфрлање на асистентот со ВИ или на технологијата врз која се темели. Тоа беше приспособување на рамнотежата меѓу автоматизацијата и услугата што ја обезбедуваат луѓето, додека компанијата учеше од работењето на производот. Бидејќи автоматизацијата преземаше сè повеќе едноставни прашања со голем обем, на Klarna ѝ беа потребни човечки агенти оспособени за сложени, чувствителни случаи.
Откако уште на почетокот ќе утврдат што треба да постигне производот, повеќето организации што создаваат производи со ВИ на крајот ќе се соочат со истото прашање: дали тој навистина функционира?
Ако одговорот не е јасен, вообичаениот порив е да се додадат уште метрики. Три стануваат 10, а потоа 10 стануваат 30. Контролната табла се збогатува, но разбирањето на тимот можеби не се подобрува.
Проблемот не е секогаш во квалитетот на поединечните мерки, туку во односот меѓу нив. Задоволството на клиентите, Net Promoter Score, рецензиите и стапките на позитивни оценки може да дадат корисни сигнали, но и да одразуваат слични промени во општото расположение. Кога се движат заедно, тие потврдуваат дека нешто се случило, но не мора да објаснат зошто.
Затоа, тимовите за ВИ треба да гледаат подалеку од метриките што меѓусебно се потврдуваат и да утврдат мерки што откриваат спротивставени исходи. Овие меѓусебно спротивставени парови го откриваат и помагаат да се следи влијанието на компромисите врз успешноста на производот, овозможувајќи подобри одлуки.
Во еден проект пред лансирањето, заедничкиот тим развиваше гласовен агент со ВИ во реално време за дојдовни повици до корисничката поддршка. Едно од најтешките прашања не се однесуваше на изборот на модел или на оркестрацијата. Прашањето беше како организацијата ќе знае дали производот функционира откако клиентите ќе почнат масовно да го користат.
Почетната рамка користеше три мерки:
Стапка на самостојно решавање: колку често ВИ решава повик без да го префрли кај човек.
Стапка на ескалација: колку често повикот се префрла кај агент-човек.
Стапка на успешно решавање: колку често проблемот на клиентот на крајот се решава.
Секоја мерка беше оправдана. Сепак, заедно не можеа да одговорат на едно очигледно прашање: ако ескалацијата се зголеми, што ни кажува тоа?
Тимот ја подели ескалацијата на осум поттипови. Потоа додаде мерки за откажување, корисничкиот пат и времетраењето, оценки за разбирање на јазикот и успешно решавање според видот на барањето. Рамката на крајот содржеше 31 метрика во шест категории.
Можеше детално да ја опише ескалацијата, но сè уште не можеше сигурно да ја утврди нејзината причина. Повеќето метрики беа варијации на истото однесување, па се движеа заедно наместо да проверуваат спротивставени објаснувања.
Контролната табла стана набљудувачка наместо дијагностичка.
На тимот не му требаше уште еден слој на расчленување. Му требаа метрики што меѓусебно се ограничуваат.
Ги нарекуваме меѓусебно спротивставени парови: две мерки кај кои подобрувањето само на едната може да му наштети на исходот претставен со другата. Називот го опишува видот на неуспех предизвикан од еднострана оптимизација, а не посакуваната состојба.
Кога двете страни остануваат во добра состојба, производот може да функционира одржливо. Кога ќе почнат да се разидуваат, насоката на разидувањето му помага на тимот да одлучи што да истражи.
Што имавме | Меѓусебно спротивставен пар | Што може да открие парот |
|---|---|---|
Стапка на ескалација поделена на осум поттипови | Стапка на ескалација ↔ време до ескалација | Непосредната ескалација може да укажува на проблем со довербата или поставувањето на контекстот; подоцнежната може да значи дека системот не може да ја заврши задачата. |
Стапката на самостојно решавање и стапката на успешно решавање прикажани одделно | Стапка на самостојно решавање ↔ расположение на клиентите | Дали самостојното решавање претставува задоволително решение или откажување на клиентот од обидот. |
Стапка на успешно решавање според видот на намерата | Стапка на успешно решавање ↔ длабочина на разговорот | Дали успешното решавање е ефикасно или бара исцрпувачка интеракција. |
За подетално да разгледаме како се открива тоа и што да правиме со сознанието, да ги земеме стапката на ескалација и времето до ескалација. Тимот нема да знае како се однесуваат клиентите додека не пристигнат вистински повици, но може да ги дефинира хипотезите што треба да ги провери.
Ако почнат да се ескалираат повеќе повици, а клиентите ја напуштаат интеракцијата со ВИ во првите 30 секунди, тимот треба да ги испита довербата, известувањето, тонот и почетните интеракции. Ако клиентите ескалираат откако неколку минути се обидувале да извршат задача, поверојатниот проблем е во способностите или опфатот на работниот тек.
Главната бројка за ескалација е иста. Одлуката за производот е различна.
Корисниот пар сам по себе не ја докажува причината. Тој го стеснува истражувањето и ја прави следната одлука појасна.
Претходно наведениот пример со Klarna покажува како се применува ова начело кога трошоците и квалитетот на услугата се поврзани. Тој покажува како оперативен модел поддржан од ВИ може да се развива додека компанијата го следи влијанието на компромисите и учи од неговата примена.
Во февруари 2024 година, компанијата објави дека нејзиниот асистент со ВИ обработил 2,3 милиони разговори во првиот месец, завршил работа еднаква на работата на 700 агенти со полно работно време и постигнал оценки за задоволството на клиентите споредливи со оние на агентите-луѓе. Klarna процени дека асистентот ќе придонесе за подобрување на добивката од 40 милиони долари во текот на 2024 година. Тоа беа резултати пријавени од самата Klarna, а не независна евалуација.
Во мај 2025 година, извршниот директор на Klarna изјави дека компанијата ставила преголем акцент врз намалувањето на трошоците во корисничката поддршка и ги опиша плановите за поголема достапност на поддршка од луѓе. Тоа претставуваше приспособување на рамнотежата меѓу автоматизираната и човечката услуга, а не отфрлање на асистентот со ВИ или на технологијата врз која се темели.
Јавно достапните докази покажуваат зошто мерките за ефикасност треба да се разгледуваат заедно со потребите на различните клиенти и интеракции. Системот со ВИ може просечно да работи добро, но за некои сложени, чувствителни или невообичаени случаи и понатаму е корисен лесно достапен човечки канал.
Следењето на двете страни од тој однос ѝ помага на компанијата да одлучи каде автоматизацијата создава вредност, каде човечката поддршка останува важна и како да ја менува рамнотежата со појавата на нови докази.
Други меѓусебно спротивставени парови кај производите со ВИ може да бидат:
Меѓусебно спротивставен пар | Ризик што помага да се открие |
|---|---|
Точност на одговорот ↔ доцнење на одговорот | Систем што е технички точен, но премногу бавен за работниот тек. |
Завршување на задачата ↔ стапка на кориснички измени | Работен тек со ВИ што завршува задачи кои корисниците постојано ги извршуваат одново. |
Трошок по интеракција ↔ оценет квалитет на резултатот | Заштеди постигнати со влошување на искуството на клиентите или вработените. |
Прифаќање ↔ време до остварување вредност | Пораст на регистрациите без соодветна вредност за корисниците. |
Целта не е двете мерки да растат неограничено. Целта е компромисот да стане видлив пред едностраната оптимизација да предизвика оперативен проблем.
Сличен предизвик се појави при воведувањето поддршка за играчи во компанија за мобилни игри. Системот обработуваше чести проблеми, како што се изгубен напредок, спорови околу плаќања и пристап до сметка.
Мерките за ефикасност беа важни бидејќи системот работеше во голем обем. Но поддршката за играчи не е само оперативна редица. Играчите често пристигнуваат незадоволни затоа што нешто веќе тргнало наопаку во друг дел од нивното искуство.
Таа почетна состојба го менува начинот на кој треба да се толкуваат податоците за задоволството на клиентите. Играчот чиј проблем е правилно решен може сепак да пријави ниско задоволство бидејќи претходно го изгубил напредокот. Толкувањето на таа оцена без контекст може неправедно да ја казни поддршката за незадоволство создадено порано во корисничкиот пат.
Затоа тимот требаше да го разликува почетното расположение на клиентот од ефектот на искуството со поддршката. Покорисното прашање не беше: „Дали играчот беше задоволен?“ Туку: „Дали интеракцијата ја подобри состојбата во однос на почетната состојба на играчот?“
Таа споредба може да помогне да се разграничи незадоволството од производот од квалитетот на поддршката, под услов тимот да има сигурен начин да ги измери и двете.
Производите со ВИ се менуваат, но нивните метрики често остануваат исти.
Во пилот-фазата, главното прашање може да биде дали системот е доволно сигурен за да оправда понатамошно инвестирање:
Дали сигурно ја завршува основната задача?
Дали корисниците му веруваат доволно за да продолжат?
Како се однесува надвор од најчестите сценарија?
Може ли неуспесите да се препознаат и безбедно да се надминат?
За тие прашања се погодни парови како:
успешност на основната задача ↔ успешност во гранични случаи;
стапка на автоматизација ↔ стапка на човечки интервенции; и
брзина на завршување ↔ доверба на корисниците.
Откако производот ќе стане оперативно важен, прашањата се менуваат:
Може ли да се проширува без да го намали квалитетот?
Дали неговата економичност се подобрува со користењето?
Дали успешноста останува стабилна со растот на прифаќањето?
Дали човечките интервенции се случуваат на вистинските места?
Соодветните парови може да се насочат кон:
трошок по интеракција ↔ оценет квалитет на резултатот;
опфат на прифаќањето ↔ длабочина на користењето; и
стапка на автоматизација ↔ изложеност на оперативен ризик.
Раните метрики не мора да бидат погрешни. Тие одговараат на прашањата што биле важни во претходната фаза.
Ризикот се јавува при преминот. Пилот-метриките често опстојуваат затоа што тимовите знаат како да известуваат за нив, а никој не е одговорен да одлучи кога да ги повлече. Мерките што некогаш го поддржувале учењето постепено може да станат метрики за привид.
Затоа, паровите треба да имаат животен циклус. Тимовите треба да ги воведат за конкретна одлука, да проверуваат дали сè уште откриваат значаен компромис и да ги повлечат кога ќе се променат производот или одлуката.
Системите со ВИ бараат детална набљудливост, предупредувања, обезбедување на квалитетот и евалуација. Отстранувањето на тие сигнали би го отежнало безбедното работење на производот. Но оперативното следење не е исто што и мерењето за раководството.
Следењето им помага на тимовите да откриваат инциденти, да ги лоцираат неуспесите и да го разберат однесувањето на системот. Метриките за одлучување им помагаат на раководителите на производот и бизнисот да решат дали да инвестираат, да интервенираат, да ја сменат насоката или да прифатат компромис.
Организацијата може да следи стотици технички и оперативни сигнали, а за одредена одлука за производот да издвои само два или три меѓусебно спротивставени парови. Малиот број метрики на ова ниво го олеснува одредувањето на приоритетите.
Соодветната зачестеност на прегледите зависи од производот. Нов систем или систем што брзо се менува може да бара неделни прегледи на одлуките, додека кај зрел производ тие може да бидат месечни или квартални. Начелото е поважно од интервалот: прегледувајте го парот доволно често за да дејствувате пред компромисот да стане скап или небезбеден.
Парот станува корисен дури кога организацијата ќе се договори што ќе се случи ако неговата состојба се влоши.
За тоа не е доволно само да се утврди критична граница на разидување. Тимовите треба да разгледаат три состојби:
Апсолутен неуспех: едната мерка надминува неприфатлив праг, без оглед на другата.
Разидување: едната мерка се подобрува, а нејзината противтежа се влошува.
Заедничко влошување: двете страни опаѓаат, што укажува на поширок проблем со производот или работењето.
Секој пар треба да има:
именуван одговорен сопственик;
јасна одлука што ја поддржува;
договорени прагови или критериуми за евалуација;
постапка за истражување; и
збир на можни интервенции.
Без тие елементи, организацијата само го набљудува производот наместо да управува со него.
Пред да додадете уште една мерка, изберете една важна одлука за производот и одговорете на овие прашања. Запишете ги одговорите за прегледот да заврши со договорен следен чекор.
1. Која одлука треба да ни помогнат да ја донесеме овие метрики?
Бидете конкретни: дали одлучуваме да ја прошириме автоматизацијата, да смениме модел или да го подобриме префрлањето кај човек? Именувајте ја одлуката пред да ги изберете мерките.
2. Ако оваа бројка се подобри, што би можело да се влоши?
Утврдете кој исход треба да го заштитите и која мерка би ја открила штетата. На пример, спарете го трошокот по интеракција со оценетиот квалитет на резултатот за да проверите дали поевтините одговори и понатаму се корисни.
3. Што би можеле да прикриваат главните бројки?
Разгледајте ги двете мерки за истите корисници, задачи и временски период, а потоа побарајте групи со полоши исходи. Земете ги предвид и почетните услови: ниското задоволство може да одразува незадоволство што постоело пред интеракцијата со тимот за поддршка.
4. Што би нè поттикнало да дејствуваме и кој е одговорен за реакцијата?
Поставете критериуми за дејствување кога мерката ќе надмине неприфатлива граница, едната ќе се подобри додека другата се влошува или двете ќе се влошат. Договорете кој ќе истражува, што прво ќе провери и кога ќе извести за наодите.
5. Дали овој пар сè уште одговара на тековната фаза на производот?
Одлучете дали ќе го задржите, замените или повлечете. Пилот-проектот може да се насочи кон сигурноста на задачите и довербата на корисниците; активната услуга може да бара повнимателно следење на трошоците и квалитетот. Одредете датум за повторно разгледување на изборот.
Мерењето на производите со ВИ треба да прави повеќе од опишување на успешноста. Треба да ги открива компромисите што ги прави организацијата и да ја направи следната одлука појасна.