Үзүүлэлт нэмэх нь ойлголтыг заавал сайжруулдаггүй. Олон хяналтын самбарт нэг суурь зан төлөвийг хэмжсэн хэд хэдэн үзүүлэлт байдаг. Өртөг ба чанар, автомат шийдэлт ба хэрэглэгчийн сэтгэгдэл, нарийвчлал ба хариу өгөх хугацаа гэх мэт харилцан сөрөг хос болгон нэгтгэвэл үзүүлэлтүүд оношлоход илүү тустай болдог.
AI бүтээгдэхүүн туршилтаас бодит хэрэглээнд шилжихийн хэрээр тохирох хосууд өөрчлөгдөнө. Хэмжилтийг үе шат бүрд багийн гаргах шаардлагатай шийдвэрт нийцүүлэх ёстой.
Үйл ажиллагааны хяналт ба стратегийн хэмжилт өөр өөр зорилготой. Багууд системийн хэдэн зуун дохиог хянаж болох ч бүтээгдэхүүний шийдвэрээ цөөн хэдэн хосоор чиглүүлж болно.
Гол үзүүлэлтүүд үнэмшилтэй түүх өгүүлсэн ч бүтээгдэхүүний чухал шийдвэрийг тодорхойгүй хэвээр үлдээж болно.
Klarna-гийн AI туслахыг нэвтрүүлэх чадамж өндөр, зардал бага, хэрэглэгчийн сэтгэл ханамжийн оноо нь хүний агентуудынхтай дүйцэхүйц гэж нийтэд мэдээлсэн. Дараа жил нь тус компани хүний дэмжлэг авах боломжийг нэмэгдүүлэхээр шийдэж, гүйцэтгэх захирал нь зардал бууруулахад хэт их ач холбогдол өгснийг хүлээн зөвшөөрсөн.
Энэ нь AI туслах эсвэл түүний суурь технологиос татгалзсан хэрэг биш байв. Бүтээгдэхүүнийг ажиллуулах явцдаа суралцсанаар автоматжуулалт ба хүний үйлчилгээний тэнцвэрийг тохируулсан хэрэг байлаа. Автоматжуулалт өндөр хэмжээний, илүү энгийн асуултуудыг улам ихээр хариуцахын хэрээр Klarna-д нарийн төвөгтэй, эмзэг тохиолдлуудад ажиллах чадвартай хүн агентууд шаардлагатай болсон.
Бүтээгдэхүүн ямар үр дүнд хүрэх ёстойг эхнээс нь тодорхойлсон ч AI бүтээгдэхүүн хөгжүүлж буй ихэнх байгууллага эцэст нь “Үнэхээр ажиллаж байна уу?” гэсэн асуулттай тулгарна.
Хариулт нь тодорхойгүй бол ихэвчлэн илүү олон үзүүлэлт нэмэхийг зорьдог. Гурван үзүүлэлт 10, дараа нь 30 болно. Хяналтын самбар баяжих ч багийн ойлголт сайжрахгүй байж болно.
Асуудал нь үзүүлэлт тус бүрийн чанарт бус, харин тэдгээрийн хоорондын хамааралд байх нь бий. Хэрэглэгчийн сэтгэл ханамж, Net Promoter Score, үнэлгээ, таалагдсан саналын хувь бүгд хэрэгтэй дохио өгч болох ч ерөнхий сэтгэгдлийн ижил өөрчлөлтийг тусгаж байж болно. Тэдгээр нь зэрэг өөрчлөгдөхдөө ямар нэг зүйл болсныг батлах боловч шалтгааныг нь заавал тайлбарлахгүй.
Тиймээс AI багууд хоорондоо нийцэх үзүүлэлтээр хязгаарлагдалгүй, өрсөлдөх үр дүнг ил болгодог хэмжүүрүүдийг тодорхойлох ёстой. Эдгээр харилцан сөрөг хос нь бүтээгдэхүүний гүйцэтгэлийн цаадах буултын нөлөөг илрүүлж, хянахад тусалснаар илүү зөв шийдвэр гаргах боломж олгоно.
Нэвтрүүлэхийн өмнөх нэг төсөлд хамтарсан баг хэрэглэгчийн дэмжлэгийн орж ирэх дуудлагад зориулсан бодит цагийн AI дуут агент хөгжүүлж байв. Хамгийн хэцүү асуултуудын нэг нь загвар сонгох эсвэл уялдуулан зохион байгуулах тухай байгаагүй. Хэрэглэгчид бүтээгдэхүүнийг өргөн хүрээнд ашиглаж эхлэхэд үнэхээр ажиллаж буй эсэхийг байгууллага хэрхэн мэдэх тухай байв.
Анхны тогтолцоонд гурван хэмжүүр ашигласан:
Автоматаар шийдвэрлэсэн хувь: AI дуудлагыг хүнд шилжүүлэлгүй шийдвэрлэх давтамж.
Шилжүүлгийн хувь: дуудлагыг хүний агент руу шилжүүлэх давтамж.
Бүрэн шийдвэрлэсэн хувь: хэрэглэгчийн асуудал эцэстээ шийдэгдэх давтамж.
Хэмжүүр бүр үндэслэлтэй байв. Гэвч тэдгээрийг хамтатгаад ч “Шилжүүлэг нэмэгдвэл энэ нь юуг илэрхийлэх вэ?” гэсэн илэрхий асуултад хариулж чадахгүй байлаа.
Баг шилжүүлгийг найман дэд төрөлд задалсан. Дараа нь орхилт, хэрэглэгчийн замнал ба хугацаа, хэл ойлголтын оноо, хүсэлтийн төрлөөрх шийдвэрлэлтийн хэмжүүрүүдийг нэмэв. Эцэст нь уг тогтолцоо зургаан ангиллын 31 үзүүлэлттэй болсон.
Шилжүүлгийг дэлгэрэнгүй дүрсэлж чаддаг болсон ч шалтгааныг нь найдвартай оношилж чадахгүй хэвээр байв. Ихэнх үзүүлэлт нэг зан төлөвийн хувилбар байсан тул өрсөлдөх тайлбаруудыг шалгахын оронд хамтдаа өөрчлөгдөж байлаа.
Хяналтын самбар оношлох бус, зөвхөн ажиглах хэрэгсэл болж хувирсан байв.
Багт дахин нэг задлан ангилалтын давхарга хэрэггүй байв. Харин бие биеэ хязгаарладаг үзүүлэлтүүд хэрэгтэй байлаа.
Бид үүнийг харилцан сөрөг хос гэж нэрлэдэг: нэг хэмжүүрийг дангаар нь сайжруулахад нөгөөгийн илэрхийлэх үр дүнд хохирол учруулж болох хоёр хэмжүүр. Энэ нэр нь хүссэн төлөвийг бус, нэг талыг барьсан оновчлолоос үүсэх алдааг тодорхойлно.
Хоёр тал хоёулаа хэвийн байвал бүтээгдэхүүн тогтвортой ажиллаж байж болно. Хоёр тал зөрөхөд зөрүүний чиглэл нь юуг шалгахаа шийдэхэд багт тусална.
Өмнө нь байсан зүйл | Харилцан сөрөг хос | Хосын илрүүлж болох зүйл |
|---|---|---|
Найман дэд төрөлд хуваасан шилжүүлгийн хувь | Шилжүүлгийн хувь ↔ шилжүүлэх хүртэлх хугацаа | Шууд шилжүүлэх нь итгэлцэл эсвэл танилцуулгын асуудлыг, хожуу шилжүүлэх нь систем даалгаврыг гүйцээж чадахгүйг илэрхийлж болно. |
Автоматаар шийдвэрлэсэн хувь ба бүрэн шийдвэрлэсэн хувийг тусад нь тайлагнасан | Автоматаар шийдвэрлэсэн хувь ↔ хэрэглэгчийн сэтгэгдэл | Автоматаар шийдвэрлэсэн нь сэтгэл ханамжтай шийдэл үү, эсвэл хэрэглэгч оролдлогоо орхисон хэрэг үү. |
Зорилгын төрлөөрх бүрэн шийдвэрлэлтийн хувь | Бүрэн шийдвэрлэлтийн хувь ↔ харилцан ярианы гүн | Амжилттай шийдэл үр ашигтай байсан уу, эсвэл ядраасан урт харилцаа шаардсан уу. |
Үүнийг хэрхэн илрүүлж, олж авсан ойлголтоо яаж ашиглахыг гүнзгийрүүлэн үзэхийн тулд шилжүүлгийн хувь болон шилжүүлэх хүртэлх хугацааг авч үзье. Бодит дуудлага ирэхээс нааш баг хэрэглэгчдийн зан төлөвийг мэдэхгүй ч шалгах шаардлагатай таамаглалаа тодорхойлж чадна.
Шилжүүлсэн дуудлага олширч, хэрэглэгчид эхний 30 секундэд AI үйлчилгээнээс гарвал баг итгэлцэл, мэдээллийн ил тод байдал, өнгө аяс, эхний харилцааг шалгах ёстой. Хэрэглэгчид даалгавар гүйцэтгэх гэж хэдэн минут оролдсоны дараа шилжүүлбэл чадамж эсвэл ажлын урсгалын хамрах хүрээ асуудал байх магадлал өндөр.
Шилжүүлгийн гол тоо адилхан. Харин бүтээгдэхүүний шийдвэр өөр.
Хэрэгтэй хос шалтгааныг дангаараа нотлохгүй. Харин шалгах хүрээг нарийсгаж, дараагийн шийдвэрийг тодорхой болгоно.
Өмнө дурдсан Klarna-гийн жишээ өртөг ба үйлчилгээний чанар харилцан нөлөөлөхөд энэ зарчим хэрхэн үйлчилдгийг харуулна. Компани буултын нөлөөг хянаж, нэвтрүүлэлтээсээ суралцахын хэрээр AI-д суурилсан үйл ажиллагааны загвар хэрхэн хөгжиж болохыг энэ жишээ харуулдаг.
Тус компани 2024 оны хоёрдугаар сард AI туслах нь эхний сард 2.3 сая харилцан яриаг зохицуулж, бүтэн цагаар ажилладаг 700 агентын дайтай ажил гүйцэтгэн, хүний агентуудынхтай дүйцэхүйц хэрэглэгчийн сэтгэл ханамжийн оноо авсан гэж мэдээлсэн. Klarna уг туслах 2024 онд ашгийг 40 сая ам.доллароор нэмэгдүүлнэ гэж тооцоолсон. Эдгээр нь хараат бус үнэлгээ бус, Klarna-гийн өөрийн тайлагнасан үр дүн байв.
Klarna-гийн гүйцэтгэх захирал 2025 оны тавдугаар сард тус компани хэрэглэгчийн үйлчилгээний зардлыг бууруулахад хэт анхаарсан гэж хэлээд хүний дэмжлэг авах боломжийг нэмэгдүүлэх төлөвлөгөөг танилцуулсан. Энэ нь AI туслах эсвэл түүний суурь технологиос татгалзсан хэрэг бус, автомат болон хүний үйлчилгээний тэнцвэрийг тохируулсан явдал байв.
Олон нийтэд нээлттэй баримт нь үр ашгийн хэмжүүрийг өөр өөр хэрэглэгч, харилцааны хэрэгцээтэй хамтатган авч үзэх шаардлагатайг харуулна. AI систем дунджаар сайн ажиллаж байсан ч зарим нарийн төвөгтэй, эмзэг эсвэл ердийн бус тохиолдолд хялбар хүрч болох хүний суваг илүү тустай хэвээр байж болно.
Энэ харилцааны хоёр талыг хянах нь автоматжуулалт хаана үнэ цэн бүтээж, хаана хүний дэмжлэг чухал хэвээр байгааг болон шинэ баримт гарах тусам тэнцвэрийг хэрхэн өөрчлөхийг шийдэхэд компанид тусална.
AI бүтээгдэхүүн дэх бусад харилцан сөрөг хосод дараах зүйлс орж болно:
Харилцан сөрөг хос | Илрүүлэхэд туслах эрсдэл |
|---|---|
Хариултын нарийвчлал ↔ хариу өгөх хугацаа | Техникийн хувьд зөв боловч ажлын урсгалд хэт удаан систем. |
Даалгаврын гүйцэтгэл ↔ хэрэглэгчийн дахин гүйцэтгэсэн хувь | Хэрэглэгчид байнга дахин хийдэг даалгаврыг гүйцэтгэдэг AI ажлын урсгал. |
Харилцан үйлдэл бүрийн өртөг ↔ үнэлсэн гаралтын чанар | Хэрэглэгч эсвэл ажилтны туршлагыг дордуулж бий болгосон хэмнэлт. |
Нэвтрэлт ↔ үнэ цэн хүртэх хугацаа | Хэрэглэгчид тохирох үнэ цэн өгөөгүй бүртгэлийн өсөлт. |
Зорилго нь хоёр хэмжүүрийг хязгааргүй өсгөх биш. Харин нэг талыг барьсан оновчлол үйл ажиллагааны асуудал үүсгэхээс өмнө буултыг ил болгох юм.
Гар утасны тоглоомын компанид тоглогчдын дэмжлэгийн систем нэвтрүүлэхэд үүнтэй холбоотой өөр нэг сорилт гарсан. Систем ахиц алдагдах, төлбөрийн маргаан, бүртгэлд нэвтрэх зэрэг олон давтамжтай асуудлыг зохицуулдаг байв.
Систем өргөн хүрээнд ажилладаг тул үр ашгийн хэмжүүрүүд чухал байлаа. Гэхдээ тоглогчдын дэмжлэг нь ердөө үйл ажиллагааны дараалал биш. Тоглогчдын туршлагын өөр хэсэгт аль хэдийн асуудал гарсан байдаг тул тэд ихэвчлэн бухимдалтай ирдэг.
Ийм эхлэл нь хэрэглэгчийн сэтгэл ханамжийн өгөгдлийг хэрхэн тайлбарлахыг өөрчилнө. Асуудлыг нь зөв шийдсэн ч анхнаасаа ахицаа алдсан тоглогч сэтгэл ханамжаа доогуур үнэлж болно. Энэ оноог нөхцөл байдлаас нь салгаж уншвал хэрэглэгчийн замналын өмнөх хэсэгт үүссэн бухимдлын төлөө дэмжлэгийн харилцааг буруутгаж болно.
Тиймээс баг хэрэглэгчийн эхний сэтгэгдлийг дэмжлэгийн туршлагын нөлөөнөөс ялгах шаардлагатай байв. Илүү хэрэгтэй асуулт нь “Тоглогч сэтгэл хангалуун байсан уу?” биш, харин “Харилцааны үр дүнд тоглогчийн эхний нөхцөл байдал сайжирсан уу?” байв.
Баг хоёр талыг найдвартай хэмжиж чадвал энэ харьцуулалт бүтээгдэхүүнээс үүдсэн бухимдлыг дэмжлэгийн чанараас ялгахад тусална.
AI бүтээгдэхүүн өөрчлөгддөг ч үзүүлэлтүүд нь ихэвчлэн хэвээр үлддэг.
Туршилтын үед гол асуулт нь үргэлжлүүлэн хөрөнгө оруулахад хангалттай найдвартай систем мөн эсэх байж болно:
Үндсэн даалгаврыг найдвартай гүйцэтгэж байна уу?
Хэрэглэгчид үргэлжлүүлэн ашиглах хэмжээнд итгэж байна уу?
Хамгийн түгээмэл нөхцөлөөс гадуур хэрхэн ажилладаг вэ?
Алдааг илрүүлж, аюулгүй сэргээж чадах уу?
Эдгээр асуултад дараах хосууд тохиромжтой:
үндсэн даалгаврын амжилт ↔ онцгой тохиолдлын гүйцэтгэл;
автоматжуулалтын хувь ↔ хүний дахин гүйцэтгэсэн хувь; мөн
гүйцэтгэх хурд ↔ хэрэглэгчийн итгэл.
Бүтээгдэхүүн үйл ажиллагаанд чухал болмогц асуултууд өөрчлөгдөнө:
Чанарыг бууруулахгүйгээр өргөжүүлж чадах уу?
Ашиглах тусам эдийн засгийн үр ашиг нь сайжрах уу?
Нэвтрэлт өсөхөд гүйцэтгэл тогтвортой хэвээр байх уу?
Хүний оролцоо зөв хэсгүүдэд хийгдэж байна уу?
Тохирох хосууд дараах чиглэлд шилжиж болно:
харилцан үйлдэл бүрийн өртөг ↔ үнэлсэн гаралтын чанар;
нэвтрэлтийн өргөн хүрээ ↔ ашиглалтын гүн; мөн
автоматжуулалтын хувь ↔ үйл ажиллагааны эрсдэлийн өртөлт.
Эхний үеийн үзүүлэлтүүд заавал буруу байдаггүй. Тэд тухайн эхний шатанд чухал байсан асуултуудад хариулдаг.
Эрсдэл нь шилжилтийн үед үүсдэг. Багууд туршилтын үзүүлэлтүүдээ хэрхэн тайлагнахаа мэддэг, тэдгээрийг хасах шийдвэрийг хэн ч хариуцдаггүй тул эдгээр үзүүлэлт ихэвчлэн хэвээр үлддэг. Нэгэн цагт суралцахад тусалж байсан хэмжүүрүүд аажмаар өнгөц үзүүлэлт болж болно.
Тиймээс хосууд амьдралын мөчлөгтэй байх ёстой. Багууд тодорхой шийдвэрт зориулж хосыг нэвтрүүлэн, чухал буултыг ил болгосоор байгаа эсэхийг хянаж, бүтээгдэхүүн эсвэл шийдвэр өөрчлөгдвөл хэрэглээнээс хасах ёстой.
AI системд нарийвчилсан ажиглалт, дохиолол, чанарын баталгаа, үнэлгээ шаардлагатай. Эдгээр дохиог арилгавал бүтээгдэхүүнийг аюулгүй ажиллуулахад хүндрэлтэй болно. Гэхдээ үйл ажиллагааны хяналт нь удирдлагын хэмжилттэй адилгүй.
Хяналт нь зөрчлийг илрүүлэх, алдааг мөрдөх, системийн зан төлөвийг ойлгоход багуудад тусална. Шийдвэрийн үзүүлэлтүүд нь хөрөнгө оруулах, оролцох, чиглэлээ өөрчлөх эсвэл буултыг хүлээн зөвшөөрөх эсэхээ шийдэхэд бүтээгдэхүүн, бизнесийн удирдлагад тусална.
Байгууллага техникийн болон үйл ажиллагааны хэдэн зуун дохиог хянахын зэрэгцээ бүтээгдэхүүний тодорхой шийдвэрт зориулж ердөө хоёр, гурван харилцан сөрөг хосыг онцолж болно. Шийдвэрийн энэ түвшнийг цомхон байлгавал эрэмбэлэхэд хялбар.
Хянан үзэх тохиромжтой давтамж нь бүтээгдэхүүнээс хамаарна. Шинэ эсвэл хурдацтай өөрчлөгдөж буй системд долоо хоног бүр шийдвэрээ хянах шаардлагатай байж болох бол төлөвшсөн бүтээгдэхүүнийг сар эсвэл улирал тутам хянаж болно. Давтамжаас илүү зарчим нь чухал: буулт өртөгтэй эсвэл аюултай болохоос өмнө арга хэмжээ авч чадахаар ойр ойрхон хосоо хяна.
Хосын үзүүлэлт муудвал юу хийхээ байгууллага тохирсон үед л уг хос хэрэгтэй болно.
Үүний тулд зөрүүний аюулын босгыг тогтоохоос илүүг хийх шаардлагатай. Багууд гурван нөхцөлийг авч үзэх ёстой:
Үнэмлэхүй доголдол: нөгөө хэмжүүрээс үл хамааран нэг нь хүлээн зөвшөөрөх боломжгүй босгыг давах.
Зөрүү: нэг хэмжүүр сайжрахад түүнийг тэнцвэржүүлэгч хэмжүүр муудах.
Хамтарсан муудалт: хоёр тал хоёулаа буурах нь бүтээгдэхүүн эсвэл үйл ажиллагааны өргөн хүрээний асуудлыг илтгэнэ.
Хос бүр дараах зүйлтэй байх ёстой:
нэр заасан хариуцагч;
дэмжих тодорхой шийдвэр;
тохиролцсон босго эсвэл үнэлгээний шалгуур;
шалгах дараалал; мөн
боломжит арга хэмжээний багц.
Эдгээр зүйлгүй бол байгууллага бүтээгдэхүүнийг удирдах бус, зөвхөн ажиглаж байна.
Өөр хэмжүүр нэмэхээсээ өмнө бүтээгдэхүүний нэг чухал шийдвэрийг сонгоод дараах асуултуудыг авч үзээрэй. Хяналтын эцэст дараагийн алхмаа тохирсон байхын тулд хариултуудаа бичиж тэмдэглэ.
1. Эдгээр үзүүлэлт бидэнд ямар шийдвэр гаргахад туслах ёстой вэ?
Тодорхойл: автоматжуулалтыг өргөжүүлэх, загварыг өөрчлөх эсвэл хүнд шилжүүлэх үйл явцыг сайжруулахын алийг шийдэх гэж байна вэ? Хэмжүүр сонгохоосоо өмнө шийдвэрээ нэрлэ.
2. Энэ тоо сайжирвал юу муудаж болох вэ?
Хамгаалах шаардлагатай үр дүн болон хор хөнөөлийг илрүүлэх хэмжүүрээ тодорхойл. Жишээлбэл, хямд хариулт хэрэгтэй хэвээр байгаа эсэхийг шалгахын тулд харилцан үйлдэл бүрийн өртгийг үнэлсэн гаралтын чанартай хослуул.
3. Гол тоонууд юуг нууж байж болох вэ?
Ижил хэрэглэгч, даалгавар, хугацааны хоёр хэмжүүрийг хамтад нь уншаад үр дүн нь муудсан бүлгүүдийг хай. Эхлэх үеийн нөхцөлийг ч харгалз: сэтгэл ханамж бага байгаа нь дэмжлэгтэй харилцахаас өмнө үүссэн бухимдлыг илэрхийлж болно.
4. Ямар нөхцөл биднийг арга хэмжээ авахад хүргэх вэ, хариу арга хэмжээг хэн хариуцах вэ?
Нэг хэмжүүр хүлээн зөвшөөрөх боломжгүй хязгаарыг давах, нэг нь сайжрахад нөгөө нь муудах, эсвэл хоёулаа муудах үед арга хэмжээ авах шалгуурыг тогтоо. Хэн шалгах, эхлээд юуг нягтлах, хэзээ үр дүнг тайлагнахыг тохир.
5. Энэ хос бүтээгдэхүүний одоогийн үе шатанд тохирсон хэвээр үү?
Үүнийг хадгалах, солих эсвэл хэрэглээнээс хасахаа шийд. Туршилтаар даалгаврын найдвартай байдал, хэрэглэгчийн итгэлд төвлөрч болох бол бодит үйлчилгээнд өртөг, чанарыг илүү нягт хянах шаардлагатай байж болно. Сонголтоо дахин хянах огноо товло.
AI бүтээгдэхүүний хэмжилт нь гүйцэтгэлийг дүрслэхээс илүү үүрэгтэй байх ёстой. Энэ нь байгууллагын хийж буй буултуудыг ил болгож, дараагийн шийдвэрийг тодорхой болгох ёстой.