Метрикаларды көбейту түсінікті міндетті түрде жақсартпайды. Көптеген бақылау тақтасында бір мінез-құлықты сипаттайтын бірнеше көрсеткіш бар. Метрикаларды бірін-бірі әлсірететін жұптарға біріктіргенде, олар мәселені дәлірек анықтайды: шығын мен сапа, өздігінен шешу мен клиенттің көңіл күйі немесе дәлдік пен кідіріс.
ЖИ өнімі пилоттық кезеңнен өндірістік қолданысқа өткен сайын дұрыс жұптар да өзгереді. Өлшеу әр кезеңде команда қабылдауы тиіс шешімдерге сай жүргізілуі керек.
Операциялық мониторинг пен стратегиялық өлшеудің мақсаттары бөлек. Командалар жүйенің жүздеген сигналын қадағалап, өнімге қатысты шешімдерді бағыттау үшін бірнеше жұпты ғана пайдалана алады.
Негізгі метрикалар нанымды көрініс берсе де, өнімге қатысты маңызды шешімді ашық қалдыруы мүмкін.
Klarna компаниясының ЖИ көмекшісі көпшілік алдында жоғары өткізу қабілетімен, төмен шығындармен және адам агенттерінің нәтижелерімен шамалас клиент қанағаттану көрсеткіштерімен байланыстырылды. Келесі жылы компания адам көрсететін қолдауға қолжетімділікті арттыруға шешім қабылдады, ал бас директоры шығынды азайтуға тым көп мән берілгенін мойындады.
Бұл ЖИ көмекшісінен немесе оның негізіндегі технологиядан бас тарту емес еді. Бұл компания өнімді пайдалану тәжірибесінен үйрене отырып, автоматтандыру мен адам көрсететін қызмет арасындағы тепе-теңдікті түзетуі еді. Автоматтандыру үлкен көлемдегі қарапайым сұраулардың көбірек бөлігін өзіне алған сайын, Klarna-ға күрделі әрі мұқият қарауды қажет ететін жағдайларды шеше алатын адам мамандары қажет болды.
Өнімнің бастапқы мақсатын анықтағаннан кейін, ЖИ өнімдерін жасайтын ұйымдардың көбі ақырында бір сұраққа тіреледі: өнім шынымен жұмыс істей ме?
Жауап түсініксіз болса, әдетте тағы метрика қосу ойға келеді. Үш метрика 10-ға, кейін 10 метрика 30-ға айналады. Бақылау тақтасы толығады, бірақ команданың түсінігі жақсармауы мүмкін.
Мәселе әрдайым жеке көрсеткіштердің сапасында емес, олардың өзара байланысында. Клиент қанағаттануы, Net Promoter Score, пікірлер және оң бағалау үлесі пайдалы сигналдар береді, бірақ олардың бәрі жалпы көңіл күйдегі ұқсас өзгерістерді көрсетуі мүмкін. Олар бірге өзгерсе, бір нәрсе болғанын растайды, бірақ себебін түсіндіре бермейді.
Сондықтан ЖИ командалары өзара сәйкес келетін метрикалармен шектелмей, бәсекелес нәтижелерді ашатын көрсеткіштерді анықтауы керек. Бірін-бірі әлсірететін мұндай жұптар өнім жұмысының артындағы ымыралардың әсерін ашып, бақылауға және жақсырақ шешім қабылдауға көмектеседі.
Іске қосар алдындағы жобалардың бірінде бірлескен команда клиенттерді қолдау қызметіне түсетін кіріс қоңырауларға жауап беретін нақты уақыттағы ЖИ дауыстық агентін әзірледі. Ең күрделі сұрақтардың бірі модель таңдау немесе үйлестіру туралы емес еді. Мәселе клиенттер өнімді кең көлемде қолдана бастағанда, ұйым оның жұмыс істеп тұрғанын қалай анықтайтынында еді.
Бастапқы құрылымда үш көрсеткіш қолданылды:
Өздігінен шешу деңгейі: ЖИ қоңырауды адамға ауыстырмай қаншалықты жиі шешеді.
Эскалация деңгейі: қоңыраудың адам агентіне қаншалықты жиі ауыстырылатыны.
Мәселені шешу деңгейі: клиент мәселесінің ақырында қаншалықты жиі шешілетіні.
Әр көрсеткіштің өз мәні болды. Алайда олар бірге қарастырылғанда да айқын сұраққа жауап бере алмады: эскалация артса, бұл нені білдіреді?
Команда эскалацияны сегіз кіші түрге бөлді. Содан кейін бас тарту, клиент жолы мен уақыт көрсеткіштерін, тілді түсіну бағаларын және сұрау түрі бойынша шешілу деңгейін қосты. Ақырында құрылым алты санаттағы 31 метриканы қамтыды.
Ол эскалацияны егжей-тегжейлі сипаттай алды, бірақ себебін әлі де сенімді анықтай алмады. Метрикалардың көбі бір мінез-құлықтың нұсқалары болғандықтан, бәсекелес түсіндірмелерді тексерудің орнына бірге өзгерді.
Бақылау тақтасы диагностикалық емес, сипаттамалық құралға айналды.
Командаға тағы бір бөлшектеу қабаты қажет емес еді. Оған бірін-бірі шектейтін метрикалар қажет болды.
Біз оларды бірін-бірі әлсірететін жұптар деп атаймыз: бір көрсеткішті жеке жақсарту екіншісі білдіретін нәтижеге зиян келтіруі мүмкін. Бұл атау қалаулы күйді емес, біржақты оңтайландыру туғызатын сәтсіздік түрін сипаттайды.
Екі жағы да қалыпты болса, өнім тұрақты жұмыс істеп тұрған болуы мүмкін. Олар алшақтағанда, алшақтау бағыты командаға нені зерттеу керегін анықтауға көмектеседі.
Бізде болғаны | Бірін-бірі әлсірететін жұп | Жұп нені көрсетуі мүмкін |
|---|---|---|
Сегіз кіші түрге бөлінген эскалация деңгейі | Эскалация деңгейі ↔ эскалацияға дейінгі уақыт | Дереу эскалация сенім немесе мәселені ұсыну тәсіліне қатысты проблеманы, ал кейінгі эскалация жүйенің тапсырманы орындай алмайтынын білдіруі мүмкін. |
Өздігінен шешу деңгейі мен мәселені шешу деңгейі бөлек көрсетілді | Өздігінен шешу деңгейі ↔ клиенттің көңіл күйі | Өздігінен шешу қанағаттанарлық нәтиже ме, әлде клиенттің әрекеттен бас тартуы ма? |
Ниет түрі бойынша мәселені шешу деңгейі | Мәселені шешу деңгейі ↔ сұхбат тереңдігі | Мәселе тиімді шешіле ме, әлде қажытатын әрекеттесуді қажет ете ме? |
Мұның қалай көрінетінін және осы түсінікті қалай қолдану керегін тереңірек қарастыру үшін эскалация деңгейі мен оған дейінгі уақытты алайық. Нақты қоңыраулар түспейінше, команда клиенттердің қалай әрекет ететінін білмейді, бірақ тексерілетін болжамдарды анықтай алады.
Егер адамға ауыстырылатын қоңыраулар көбейіп, клиенттер алғашқы 30 секундта ЖИ қызметінен кетсе, команда сенімді, ақпаратты ашық жеткізуді, үнді және бастапқы әрекеттесуді зерттеуі керек. Клиенттер тапсырманы орындауға бірнеше минут жұмсағаннан кейін адамға ауысса, мәселе жүйе мүмкіндігінде немесе жұмыс процестерін қамтуында болуы ықтимал.
Эскалацияның негізгі көрсеткіші бірдей. Ал өнімге қатысты шешім басқа.
Пайдалы жұп себепті өздігінен дәлелдемейді. Ол зерттеу аясын тарылтып, келесі шешімді айқындайды.
Жоғарыда келтірілген Klarna мысалы бұл қағиданың шығын мен қызмет сапасы өзара әсерлескенде қалай қолданылатынын көрсетеді. Ол компания ымыралардың әсерін бақылап, енгізу тәжірибесінен сабақ алған сайын ЖИ қолданылатын операциялық модельдің қалай дами алатынын көрсетеді.
Компания 2024 жылғы ақпанда ЖИ көмекшісінің алғашқы айда 2,3 миллион сұхбат өңдегенін, 700 толық уақытты агенттің жұмысына тең көлемде жұмыс атқарғанын және адам агенттерімен шамалас клиент қанағаттану көрсеткіштеріне жеткенін хабарлады. Klarna көмекші 2024 жылы пайданы 40 миллион долларға арттырады деп бағалады. Бұл тәуелсіз бағалау емес, Klarna өзі хабарлаған нәтижелер еді.
2025 жылғы мамырда Klarna бас директоры компания клиенттерге қызмет көрсетуде шығынды азайтуға тым көп мән бергенін айтып, адам көрсететін қолдауға қолжетімділікті арттыру жоспарын сипаттады. Бұл ЖИ көмекшісінен немесе оның негізіндегі технологиядан бас тарту емес, автоматтандырылған және адам көрсететін қызмет арасындағы теңгерімді түзету еді.
Жария деректер тиімділік көрсеткіштерін әртүрлі клиенттер мен әрекеттесулердің қажеттіліктерімен бірге қарастырудың маңызын көрсетеді. ЖИ жүйесі орта есеппен жақсы жұмыс істегенімен, кейбір күрделі, сезімтал немесе әдеттен тыс жағдайларда адам маманына жүгінуге мүмкіндік беретін қолжетімді арна әлі де пайдалы болуы мүмкін.
Бұл байланыстың екі жағын да бақылау компанияға автоматтандыру қай жерде құндылық беретінін, адам көмегі қай жерде маңызды болып қалатынын және жаңа дерек шыққанда теңгерімді қалай өзгерту керегін анықтауға көмектеседі.
ЖИ өнімдеріндегі басқа бірін-бірі әлсірететін жұптар мыналарды қамтуы мүмкін:
Бірін-бірі әлсірететін жұп | Анықтауға көмектесетін тәуекел |
|---|---|
Жауап дәлдігі ↔ жауап кідірісі | Техникалық тұрғыдан дәл, бірақ жұмыс процесі үшін тым баяу жүйе. |
Тапсырманы орындау ↔ пайдаланушының қайта орындау деңгейі | Пайдаланушылар қайта-қайта өздері орындайтын тапсырмаларды аяқтайтын ЖИ жұмыс процесі. |
Бір әрекеттесу шығыны ↔ бағаланған нәтиже сапасы | Клиенттің немесе қызметкердің тәжірибесін нашарлату арқылы үнемдеу. |
Енгізілу ↔ құндылыққа жету уақыты | Пайдаланушыға тиісті құндылық бермей, тіркелу санының өсуі. |
Мақсат — екі көрсеткішті де шексіз арттыру емес. Мақсат — біржақты оңтайландыру операциялық мәселе туғызбай тұрып, ымыраны айқын көрсету.
Ұқсас мәселе мобильді ойын компаниясының ойыншыларды қолдау жүйесін енгізу кезінде кездесті. Жүйе ойын барысының жоғалуы, төлем даулары және есептік жазбаға кіру сияқты көп кездесетін мәселелерді өңдеді.
Жүйе кең көлемде жұмыс істегендіктен, тиімділік көрсеткіштері маңызды болды. Бірақ ойыншыларды қолдау жай ғана операциялық кезек емес. Ойыншылар көбіне ренжіп келеді, өйткені олардың тәжірибесінің басқа бір тұсында әлдене бұзылып үлгерген.
Осы бастапқы жағдай клиент қанағаттануы туралы деректерді түсіндіру тәсілін өзгертеді. Мәселесі дұрыс шешілген ойыншы да бастапқыда ойын барысын жоғалтқаны үшін қанағаттануы төмен екенін көрсетуі мүмкін. Бұл ұпайды мәнмәтінсіз қарау клиент жолында ертерек туған реніш үшін қолдау қызметімен әрекеттесуді орынсыз жазалауы мүмкін.
Сондықтан команда клиенттің бастапқы көңіл күйін қолдау тәжірибесінің әсерінен ажыратуы керек еді. Пайдалырақ сұрақ «Ойыншы риза болды ма?» емес еді.Оның орнына: «Әрекеттесу ойыншының бастапқы жағдайымен салыстырғанда ахуалды жақсартты ма?»
Команда екеуін де сенімді өлшей алса, бұл салыстыру өнімге қатысты ренішті қолдау сапасынан ажыратуға көмектеседі.
ЖИ өнімдері өзгереді, бірақ олардың метрикалары көбіне өзгеріссіз қалады.
Пилоттық кезеңдегі негізгі сұрақ жүйе инвестицияны жалғастыруға жеткілікті сенімді ме дегенге тірелуі мүмкін:
Ол негізгі тапсырманы сенімді орындай ма?
Пайдаланушылар оны жалғастырып қолданатындай сенім білдіре ме?
Ол ең жиі кездесетін сценарийлерден тыс қалай әрекет етеді?
Сәтсіздіктерді анықтап, олардан қауіпсіз қалпына келуге бола ма?
Бұл сұрақтарға мынадай жұптар сай келеді:
негізгі тапсырманың сәттілігі ↔ сирек жағдайлардағы тиімділік;
автоматтандыру деңгейі ↔ адамның араласу деңгейі; және
орындау жылдамдығы ↔ пайдаланушы сенімі.
Өнім операциялық тұрғыдан маңызды болғанда, сұрақтар өзгереді:
Ол сапаны төмендетпей ауқымдала ала ма?
Оны пайдалану артқан сайын экономикалық тиімділігі жақсара ма?
Қолдану ауқымы артқан сайын өнімділік тұрақты қала ма?
Адамдар қажетті тұстарда араласып жатыр ма?
Сәйкес жұптар мына бағыттарға ауысуы мүмкін:
бір әрекеттесу шығыны ↔ бағаланған нәтиже сапасы;
қолдану ауқымы ↔ пайдалану тереңдігі; және
автоматтандыру деңгейі ↔ операциялық тәуекелге ұшырау.
Бастапқы метрикалар міндетті түрде қате емес. Олар ертерек кезеңде маңызды болған сұрақтарға жауап береді.
Тәуекел өтпелі кезеңде туындайды. Командалар пилоттық метрикалар бойынша есеп беруді білетіндіктен және олардан бас тарту шешіміне ешкім жауапты болмағандықтан, бұл метрикалар жиі сақталып қалады. Кезінде үйренуге көмектескен көрсеткіштер біртіндеп тек жақсы көрінуге арналған метрикаларға айналуы мүмкін.
Сондықтан жұптардың да өмірлік циклі болуы керек. Командалар оларды нақты шешім үшін енгізіп, әлі де елеулі ымыраны ашатынын тексеріп, өнім немесе шешім өзгергенде қолданыстан шығаруы керек.
ЖИ жүйелеріне жүйенің күйін жан-жақты бақылау мүмкіндігі, ескерту, сапаны қамтамасыз ету және бағалау қажет. Бұл сигналдарды алып тастау өнімді қауіпсіз пайдалануды қиындатады. Бірақ операциялық мониторинг басшылыққа арналған өлшеумен бірдей емес.
Мониторинг командаларға оқиғаларды анықтауға, ақаулардың ізін табуға және жүйе мінез-құлқын түсінуге көмектеседі. Шешім метрикалары өнім және бизнес басшыларына инвестиция салу, араласу, бағытты өзгерту немесе ымыраны қабылдау керегін анықтауға көмектеседі.
Ұйым жүздеген техникалық және операциялық сигналды бақылап, нақты өнім шешімі үшін бірін-бірі әлсірететін екі-үш жұпты ғана басты орынға қоя алады. Шешім қабылдау деңгейін шағын ұстау басымдық белгілеуді жеңілдетеді.
Тексерудің қолайлы жиілігі өнімге байланысты. Жаңа немесе тез өзгеретін жүйе шешімдерді апта сайын қарауды қажет етуі мүмкін, ал жетілген өнімде айлық не тоқсандық жиілік жеткілікті болуы ықтимал. Аралықтан гөрі қағида маңызды: ымыра қымбатқа түспей немесе қауіп төндірмей тұрып әрекет ету үшін жұпты жеткілікті жиі қарап отырыңыз.
Ұйым жұп нашарласа не істейтінін келіскенде ғана ол пайдалы болады.
Бұл алшақтаудың қауіпті шегін анықтаумен шектелмейді. Командалар үш жағдайды қарастыруы керек:
Абсолютті сәтсіздік: екінші көрсеткішке қарамастан, бір көрсеткіш рұқсат етілмейтін шектен асады.
Алшақтау: бір көрсеткіш жақсарып, оны теңгеретін көрсеткіш нашарлайды.
Бірлескен нашарлау: екі жақ та төмендейді, бұл өнімдегі немесе оның жұмысындағы ауқымды мәселені білдіреді.
Әр жұпта мыналар болуы керек:
тағайындалған жауапты тұлға;
ол қолдайтын нақты шешім;
келісілген шектер немесе бағалау критерийлері;
тексеру тәртібі; және
ықтимал араласу шараларының жиынтығы.
Бұл элементтер болмаса, ұйым өнімді басқармайды, тек бақылайды.
Тағы бір көрсеткіш қоспас бұрын өнімге қатысты бір маңызды шешімді таңдап, мына сұрақтарды қарастырыңыз. Шолу келісілген келесі қадаммен аяқталуы үшін жауаптарды жазып алыңыз.
1. Бұл метрикалар бізге қандай шешім қабылдауға көмектесуі керек?
Нақтылаңыз: автоматтандыруды кеңейтуді, модельді өзгертуді әлде адамға ауыстыруды жақсартуды шешіп жатырмыз ба? Көрсеткіштерді таңдамас бұрын шешімді атаңыз.
2. Бұл сан жақсарса, не нашарлауы мүмкін?
Қорғау қажет нәтижені және зиянды көрсететін өлшемді анықтаңыз. Мысалы, арзанырақ жауаптардың әлі де пайдалы екенін тексеру үшін бір әрекеттесу шығынын бағаланған нәтиже сапасымен жұптастырыңыз.
3. Негізгі сандар нені жасыруы мүмкін?
Екі көрсеткішті де бір пайдаланушылар, тапсырмалар және уақыт аралығы бойынша қарап, нәтижесі нашар топтарды іздеңіз. Бастапқы жағдайды да ескеріңіз: қанағаттанудың төмендігі қолдау қызметіне жүгінгенге дейін туындаған наразылықтан болуы мүмкін.
4. Бізді не әрекет етуге итермелейді және жауапты кім?
Бір көрсеткіш рұқсат етілмейтін шектен асқанда, бірі жақсарып, екіншісі нашарлағанда немесе екеуі де төмендегенде әрекет ету критерийлерін белгілеңіз. Кім зерттейтінін, алдымен нені тексеретінін және нәтижені қашан хабарлайтынын келісіңіз.
5. Бұл жұп өнімнің қазіргі кезеңіне әлі де сай ма?
Оны сақтау, ауыстыру немесе қолданыстан шығару керегін шешіңіз. Пилоттық жоба тапсырманың сенімділігі мен пайдаланушының сеніміне назар аударуы мүмкін; ал жұмыс істеп тұрған қызмет шығын мен сапаны мұқият бақылауды қажет етуі ықтимал. Таңдауды қайта қарайтын күнді белгілеңіз.
ЖИ өнімін өлшеу тиімділікті сипаттаумен шектелмеуі керек. Ол ұйым жасап отырған ымыраларды ашып, келесі шешімді айқындауы керек.