კომპრომისების გავლენის მონიტორინგი AI პროდუქტების შექმნისას

• მეტრიკების დამატება გაგებას ყოველთვის არ აუმჯობესებს. ბევრ საინფორმაციო დაფაზე ერთი და იმავე ძირითადი ქცევის რამდენიმე საზომია წარმოდგენილი. მეტრიკები დიაგნოსტიკისთვის უფრო გამოსადეგი ხდება, როცა ურთიერთგამომრიცხავ წყვილებად ერთიანდება: ხარჯი ხარისხთან, შეკავება განწყობასთან, სიზუსტე კი დაყოვნებასთან.

• სწორი წყვილები იცვლება, როცა AI პროდუქტი საპილოტე ეტაპიდან წარმოებაში გადადის. გაზომვა უნდა შეესაბამებოდეს გადაწყვეტილებებს, რომლებიც გუნდმა თითოეულ ეტაპზე უნდა მიიღოს.

• ოპერაციულ მონიტორინგსა და სტრატეგიულ გაზომვას განსხვავებული მიზნები აქვს. გუნდები შეიძლება სისტემის ასობით სიგნალს აკვირდებოდნენ, ხოლო პროდუქტის შესახებ გადაწყვეტილებების მისაღებად მხოლოდ რამდენიმე წყვილს იყენებდნენ.

მთავარ მეტრიკებს დამაჯერებელი ამბის მოყოლა შეუძლია, თუმცა პროდუქტის შესახებ მნიშვნელოვანი გადაწყვეტილება შეიძლება კვლავ გაურკვეველი დარჩეს.

საჯარო სივრცეში Klarna-ს AI ასისტენტს უკავშირებდნენ უფრო მაღალ მწარმოებლურობას, ნაკლებ ხარჯებსა და ადამიან აგენტებთან შესადარის მომხმარებელთა კმაყოფილების მაჩვენებლებს. მომდევნო წელს კომპანიამ გადაწყვიტა, ადამიანების მიერ გაწეულ მხარდაჭერაზე წვდომა გაეზარდა; მისმა აღმასრულებელმა დირექტორმა აღიარა, რომ ხარჯების შემცირებას ზედმეტად დიდი ყურადღება დაეთმო.

ეს არც AI ასისტენტზე და არც მის საფუძვლად არსებულ ტექნოლოგიაზე უარის თქმას ნიშნავდა. პროდუქტის გამოყენებით მიღებული გამოცდილების საფუძველზე კომპანიამ ავტომატიზაციასა და ადამიანების მიერ გაწეულ მომსახურებას შორის ბალანსი შეცვალა. რადგან ავტომატიზაცია მაღალი რაოდენობის, უფრო მარტივ მოთხოვნებს სულ უფრო მეტად ამუშავებდა, Klarna-ს სჭირდებოდა ადამიანი აგენტები, რომლებიც რთული და სენსიტიური შემთხვევების დასამუშავებლად იყვნენ მომზადებული.

მას შემდეგ, რაც თავიდანვე განსაზღვრავენ, რას უნდა მიაღწიოს პროდუქტმა, AI პროდუქტების შემქმნელი ორგანიზაციების უმეტესობა საბოლოოდ ერთსა და იმავე კითხვას აწყდება: ნამდვილად მუშაობს ის?

თუ პასუხი ბუნდოვანია, პირველი ინსტინქტი ხშირად მეტი მეტრიკის დამატებაა. სამი მეტრიკა 10 ხდება, შემდეგ კი 10 — 30. საინფორმაციო დაფა უფრო მდიდრდება, მაგრამ გუნდის ცოდნა შეიძლება არ გაუმჯობესდეს.

პრობლემა ყოველთვის ცალკეული საზომების ხარისხი კი არა, მათ შორის ურთიერთკავშირია. მომხმარებელთა კმაყოფილება, რეკომენდაციის სუფთა ინდექსი, მიმოხილვები და მოწონების სიხშირე სასარგებლო სიგნალებს გვაწვდის, თუმცა ისინი შეიძლება საერთო განწყობის მსგავს ცვლილებებს ასახავდეს. როცა ისინი ერთად იცვლება, ადასტურებს, რომ რაღაც მოხდა, თუმცა მიზეზს ყოველთვის ვერ ხსნის.

ამიტომ AI გუნდებმა უნდა გაიხედონ ერთმანეთთან თანხმობაში მყოფი მეტრიკების მიღმა და გამოავლინონ საზომები, რომლებიც ურთიერთსაწინააღმდეგო შედეგებს აჩენს. ასეთი ურთიერთგამომრიცხავი წყვილები წარმოაჩენს და აკონტროლებს პროდუქტის მუშაობის მიღმა არსებულ კომპრომისებს, რაც უკეთესი გადაწყვეტილებების მიღებას უწყობს ხელს.

გაშვებამდე ერთ-ერთ პროექტში ერთობლივი გუნდი შემომავალი მხარდაჭერის ზარებისთვის რეალურ დროში მოქმედ AI ხმოვან აგენტს ქმნიდა. ერთ-ერთი ყველაზე რთული კითხვა არც მოდელის შერჩევას და არც ორკესტრირებას ეხებოდა. საკითხავი ის იყო, როგორ გაიგებდა ორგანიზაცია, მუშაობდა თუ არა პროდუქტი მას შემდეგ, რაც მომხმარებლები მის ფართო მასშტაბით გამოყენებას დაიწყებდნენ.

საწყისი ჩარჩო სამ საზომს იყენებდა:

• AI-ით მოგვარების მაჩვენებელი: რამდენად ხშირად აგვარებს AI ზარს ადამიანთან გადამისამართების გარეშე.

• ესკალაციის მაჩვენებელი: რამდენად ხშირად გადაეცემა ზარი ადამიან აგენტს.

• საბოლოო მოგვარების მაჩვენებელი: რამდენად ხშირად გვარდება მომხმარებლის პრობლემა საბოლოოდ.

თითოეული საზომი გონივრული იყო. თუმცა ერთად ისინი აშკარა კითხვას ვერ პასუხობდნენ: თუ ესკალაცია იზრდება, რას გვეუბნება ეს?

გუნდმა ესკალაცია რვა ქვეტიპად დაყო. შემდეგ დაამატა ზარის მიტოვების, მომხმარებლის გზისა და დროის საზომები, ენის გაგების ქულები და მოთხოვნის ტიპის მიხედვით საბოლოო მოგვარების მაჩვენებელი. საბოლოოდ ჩარჩო ექვს კატეგორიაში განაწილებულ 31 მეტრიკას მოიცავდა.

მას ესკალაციის დეტალურად აღწერა შეეძლო, მაგრამ მისი მიზეზის საიმედოდ დადგენა კვლავ ვერ ხერხდებოდა. მეტრიკების უმეტესობა ერთი და იმავე ქცევის ვარიაცია იყო, ამიტომ ისინი ერთად იცვლებოდა და ურთიერთსაწინააღმდეგო ახსნებს არ ამოწმებდა.

საინფორმაციო დაფა სადიაგნოსტიკო ინსტრუმენტის ნაცვლად დაკვირვების ინსტრუმენტად იქცა.

გუნდს დამატებითი დაყოფის კიდევ ერთი დონე არ სჭირდებოდა. მას სჭირდებოდა მეტრიკები, რომლებიც ერთმანეთს შეზღუდავდა.

ამას ურთიერთგამომრიცხავ წყვილებს ვუწოდებთ: ორ საზომს, რომელთაგან ერთის განცალკევებით გაუმჯობესებამ შეიძლება მეორით წარმოდგენილი შედეგი დააზიანოს. ეს სახელწოდება აღწერს ცალმხრივი ოპტიმიზაციით გამოწვეულ პრობლემას და არა სასურველ მდგომარეობას.

თუ ორივე მხარე ჯანსაღ მდგომარეობას ინარჩუნებს, პროდუქტი შესაძლოა მდგრადად მუშაობდეს. როცა ისინი სხვადასხვა მიმართულებით იცვლება, ამ განსხვავების მიმართულება გუნდს ეხმარება, გადაწყვიტოს, რა გამოიკვლიოს.

უფრო ღრმად რომ გავიგოთ, როგორ ვლინდება ეს და როგორ გამოვიყენოთ მიღებული ცოდნა, განვიხილოთ ესკალაციის მაჩვენებელი და დრო ესკალაციამდე. გუნდი ვერ გაიგებს, როგორ მოიქცევიან მომხმარებლები, სანამ რეალური ზარები არ შემოვა, თუმცა შეუძლია განსაზღვროს შესამოწმებელი ჰიპოთეზები.

თუ მეტი ზარის ესკალაცია იწყება და მომხმარებლები AI გამოცდილებას პირველივე 30 წამში ტოვებენ, გუნდმა უნდა გამოიკვლიოს ნდობა, ინფორმაციის გამჟღავნება, ტონი და საწყისი ინტერაქციები. თუ მომხმარებლები ესკალაციას დავალების შესრულების რამდენიმე წუთიანი მცდელობის შემდეგ ითხოვენ, სავარაუდო პრობლემა შესაძლებლობები ან სამუშაო პროცესების დაფარვაა.

ესკალაციის მთავარი მაჩვენებელი იგივეა. პროდუქტის შესახებ გადაწყვეტილება კი განსხვავებულია.

სასარგებლო წყვილი მიზეზს თავისთავად ვერ დაამტკიცებს. ის ავიწროებს გამოკვლევის არეალს და შემდეგ გადაწყვეტილებას უფრო ნათელს ხდის.

ზემოთ მოყვანილი Klarna-ს მაგალითი გვიჩვენებს, როგორ მოქმედებს ეს პრინციპი ხარჯისა და მომსახურების ხარისხის ურთიერთქმედებისას. ის გვიჩვენებს, როგორ შეიძლება განვითარდეს AI-ზე დაფუძნებული საოპერაციო მოდელი, როცა კომპანია კომპრომისების გავლენას აკვირდება და დანერგვიდან სწავლობს.

2024 წლის თებერვალში კომპანიამ განაცხადა, რომ მისმა AI ასისტენტმა პირველ თვეში 2,3 მილიონი საუბარი დაამუშავა, 700 სრულ განაკვეთზე მომუშავე აგენტის ეკვივალენტური სამუშაო შეასრულა და ადამიან აგენტებთან შესადარის მომხმარებელთა კმაყოფილების მაჩვენებლებს მიაღწია. Klarna-ს შეფასებით, 2024 წელს ასისტენტი მოგებას 40 მილიონი აშშ დოლარით გაზრდიდა. ეს იყო თავად Klarna-ს მიერ გამოქვეყნებული შედეგები და არა დამოუკიდებელი შეფასება.

2025 წლის მაისში Klarna-ს აღმასრულებელმა დირექტორმა თქვა, რომ კომპანიამ მომხმარებელთა მომსახურებაში ხარჯების შემცირებას ზედმეტად დიდი ყურადღება დაუთმო, და ადამიანების მიერ გაწეულ მხარდაჭერაზე წვდომის გაზრდის გეგმები აღწერა. ეს ავტომატიზებულ და ადამიანების მიერ გაწეულ მომსახურებას შორის ბალანსის შეცვლას ნიშნავდა და არა AI ასისტენტზე ან მის საფუძვლად არსებულ ტექნოლოგიაზე უარის თქმას.

საჯარო მონაცემები ცხადყოფს, რატომ უნდა განვიხილოთ ეფექტიანობის საზომები სხვადასხვა მომხმარებლისა და ინტერაქციის საჭიროებებთან ერთად. AI სისტემა შეიძლება საშუალოდ კარგად მუშაობდეს, თუმცა ზოგიერთი რთული, სენსიტიური ან უჩვეულო შემთხვევისთვის კვლავ სასარგებლო იყოს ადამიანთან დაკავშირების ხელმისაწვდომი არხი.

ამ ურთიერთობის ორივე მხარის მონიტორინგი კომპანიას ეხმარება გადაწყვიტოს, სად ქმნის ავტომატიზაცია ღირებულებას, სად რჩება მნიშვნელოვანი ადამიანის მხარდაჭერა და როგორ უნდა შეიცვალოს ბალანსი ახალი მონაცემების გაჩენისას.

AI პროდუქტებში სხვა ურთიერთგამომრიცხავი წყვილები შეიძლება იყოს:

მიზანი ორივე საზომის უსასრულოდ გაზრდა არ არის. მიზანია, კომპრომისი ხილული გახდეს მანამდე, სანამ ცალმხრივი ოპტიმიზაცია ოპერაციულ პრობლემას შექმნის.

მსგავსი გამოწვევა მობილური თამაშების კომპანიისთვის მოთამაშეთა მხარდაჭერის სისტემის დანერგვისას გაჩნდა. სისტემა ამუშავებდა დიდი მოცულობის პრობლემებს, როგორიცაა დაკარგული პროგრესი, გადახდებთან დაკავშირებული დავები და ანგარიშზე წვდომა.

ეფექტიანობის საზომები მნიშვნელოვანი იყო, რადგან სისტემა ფართო მასშტაბით მუშაობდა. თუმცა მოთამაშეთა მხარდაჭერა მხოლოდ ოპერაციული რიგი არ არის. მოთამაშეები ხშირად უკვე გაღიზიანებულები მოდიან, რადგან მათ გამოცდილებაში სხვა რამ მანამდე გაფუჭდა.

ეს საწყისი მდგომარეობა ცვლის მომხმარებელთა კმაყოფილების მონაცემების ინტერპრეტაციას. მოთამაშემ, რომლის პრობლემაც სწორად მოგვარდა, შეიძლება მაინც დაბალი კმაყოფილება მიუთითოს, რადგან თავდაპირველად პროგრესი დაკარგა. ამ ქულის კონტექსტის გარეშე შეფასებამ შეიძლება მხარდაჭერის ინტერაქცია მომხმარებლის გზაზე უფრო ადრე წარმოქმნილი გაღიზიანების გამო უსამართლოდ დააზარალოს.

ამიტომ გუნდს მომხმარებლის საწყისი განწყობა მხარდაჭერის გამოცდილების გავლენისგან უნდა განესხვავებინა. უფრო სასარგებლო კითხვა არ იყო: „ბედნიერი იყო მოთამაშე?“ კითხვა იყო: „გააუმჯობესა თუ არა ინტერაქციამ ვითარება მოთამაშის საწყის მდგომარეობასთან შედარებით?“

თუ გუნდს ორივეს საიმედოდ გაზომვა შეუძლია, ეს შედარება პროდუქტის გამო გაღიზიანების მხარდაჭერის ხარისხისგან გამიჯვნაში დაეხმარება.

AI პროდუქტები იცვლება, მათი მეტრიკები კი ხშირად უცვლელი რჩება.

პილოტის დროს მთავარი კითხვა შეიძლება იყოს, საკმარისად სანდოა თუ არა სისტემა შემდგომი ინვესტიციის გასამართლებლად:

• საიმედოდ ასრულებს ძირითად დავალებას?

• ენდობიან მომხმარებლები იმდენად, რომ გამოყენება განაგრძონ?

• როგორ იქცევა ყველაზე გავრცელებული სცენარების მიღმა?

• შესაძლებელია ხარვეზების გამოვლენა და მათგან უსაფრთხოდ აღდგენა?

ასეთი კითხვებისთვის შესაფერისია შემდეგი წყვილები:

• ძირითადი დავალების წარმატება ↔ გამონაკლის შემთხვევებში მუშაობა;

• ავტომატიზაციის მაჩვენებელი ↔ ადამიანის მიერ ჩარევის მაჩვენებელი; და

• შესრულების სისწრაფე ↔ მომხმარებლის ნდობა.

როცა პროდუქტი ოპერაციულად მნიშვნელოვანი ხდება, კითხვებიც იცვლება:

• შეუძლია მას მასშტაბირება ხარისხის შემცირების გარეშე?

• უმჯობესდება მისი ეკონომიკური ეფექტიანობა გამოყენების ზრდასთან ერთად?

• რჩება მუშაობა სტაბილური დანერგვის მასშტაბის ზრდასთან ერთად?

• ხდება ადამიანების ჩარევა საჭირო ადგილებში?

შესაბამისი წყვილები შეიძლება შემდეგი მიმართულებით შეიცვალოს:

• ერთი ინტერაქციის ხარჯი ↔ შეფასებული შედეგის ხარისხი;

• დანერგვის მასშტაბი ↔ გამოყენების სიღრმე; და

• ავტომატიზაციის მაჩვენებელი ↔ ოპერაციული რისკის დონე.

ადრეული მეტრიკები აუცილებლად მცდარი არ არის. ისინი პასუხობენ კითხვებს, რომლებიც ადრეულ ეტაპზე იყო მნიშვნელოვანი.

რისკი გარდამავალ პერიოდში ჩნდება. საპილოტე მეტრიკები ხშირად რჩება, რადგან გუნდებმა იციან, როგორ წარადგინონ ისინი, ხოლო მათი ამოღების გადაწყვეტილებაზე პასუხისმგებელი არავინ არის. საზომები, რომლებიც ადრე ცოდნის მიღებას უწყობდა ხელს, თანდათან შეიძლება მოჩვენებით მეტრიკებად იქცეს.

ამიტომ წყვილებს საკუთარი სასიცოცხლო ციკლი უნდა ჰქონდეს. გუნდებმა ისინი კონკრეტული გადაწყვეტილებისთვის უნდა დანერგონ, პერიოდულად შეამოწმონ, კვლავ აჩენს თუ არა მნიშვნელოვან კომპრომისს, და პროდუქტის ან გადაწყვეტილების შეცვლისას გააუქმონ.

AI სისტემებს სჭირდება დეტალური დაკვირვებადობა, გაფრთხილებები, ხარისხის უზრუნველყოფა და შეფასება. ამ სიგნალების გაუქმება პროდუქტის უსაფრთხო მართვას გაართულებდა. თუმცა ოპერაციული მონიტორინგი ხელმძღვანელობისთვის განკუთვნილ გაზომვას არ უდრის.

მონიტორინგი გუნდებს ეხმარება ინციდენტების აღმოჩენაში, ხარვეზების მოკვლევასა და სისტემის ქცევის გაგებაში. გადაწყვეტილების მეტრიკები პროდუქტისა და ბიზნესის ხელმძღვანელებს ეხმარება გადაწყვიტონ, ჩადონ თუ არა ინვესტიცია, ჩაერიონ, შეცვალონ მიმართულება თუ მიიღონ კომპრომისი.

ორგანიზაცია შეიძლება ასობით ტექნიკურ და ოპერაციულ სიგნალს აკვირდებოდეს, მაგრამ კონკრეტული პროდუქტის გადაწყვეტილებისთვის მხოლოდ ორ ან სამ ურთიერთგამომრიცხავ წყვილს ანიჭებდეს უპირატესობას. გადაწყვეტილების ამ დონის მცირედ შენარჩუნება პრიორიტეტების განსაზღვრას ამარტივებს.

განხილვის სათანადო სიხშირე პროდუქტზეა დამოკიდებული. ახალ ან სწრაფად ცვალებად სისტემას შეიძლება გადაწყვეტილებების ყოველკვირეული განხილვა სჭირდებოდეს, ხოლო მომწიფებული პროდუქტისთვის ყოველთვიური ან კვარტალური ციკლი საკმარისი იყოს. პრინციპი ინტერვალზე მნიშვნელოვანია: წყვილი იმდენად ხშირად განიხილეთ, რომ ზომების მიღება მანამდე შეძლოთ, სანამ კომპრომისი ძვირი ან სახიფათო გახდება.

წყვილი მხოლოდ მაშინ ხდება სასარგებლო, როცა ორგანიზაცია თანხმდება, რა მოხდება მისი გაუარესების შემთხვევაში.

ამისთვის მხოლოდ დაშორების კრიტიკული ზღვრის განსაზღვრა საკმარისი არ არის. გუნდებმა სამი პირობა უნდა გაითვალისწინონ:

• აბსოლუტური წარუმატებლობა: ერთი საზომი მიუღებელ ზღვარს სცდება, მეორის მდგომარეობის მიუხედავად.

• დაშორება: ერთი საზომი უმჯობესდება, ხოლო მისი დამაბალანსებელი — უარესდება.

• ერთობლივი გაუარესება: ორივე მხარე უარესდება, რაც პროდუქტთან ან ოპერაციებთან დაკავშირებულ უფრო ფართო პრობლემაზე მიუთითებს.

თითოეულ წყვილს უნდა ჰქონდეს:

• დასახელებული პასუხისმგებელი პირი;

• მკაფიო გადაწყვეტილება, რომლის მიღებასაც ხელს უწყობს;

• შეთანხმებული ზღვრები ან შეფასების კრიტერიუმები;

• გამოკვლევის გეგმა; და

• შესაძლო ჩარევების ნაკრები.

ამ ელემენტების გარეშე ორგანიზაცია პროდუქტს მხოლოდ აკვირდება და არ მართავს.

კიდევ ერთი საზომის დამატებამდე აირჩიეთ პროდუქტის შესახებ ერთი მნიშვნელოვანი გადაწყვეტილება და უპასუხეთ ამ კითხვებს. პასუხები ჩაიწერეთ, რათა განხილვა შეთანხმებული შემდეგი ნაბიჯით დასრულდეს.

1. რომელი გადაწყვეტილების მიღებაში უნდა დაგვეხმაროს ეს მეტრიკები?

დააკონკრეტეთ: ავტომატიზაციის გაფართოებას, მოდელის შეცვლას თუ ადამიანისთვის გადაცემის გაუმჯობესებას ვწყვეტთ? საზომების არჩევამდე დაასახელეთ გადაწყვეტილება.

2. თუ ეს რიცხვი გაუმჯობესდება, რა შეიძლება გაუარესდეს?

განსაზღვრეთ შედეგი, რომელიც უნდა დაიცვათ, და საზომი, რომელიც ზიანს გამოავლენს. მაგალითად, ერთი ინტერაქციის ხარჯი შეფასებული შედეგის ხარისხს შეუწყვილეთ, რათა შეამოწმოთ, კვლავ სასარგებლოა თუ არა უფრო იაფი პასუხები.

3. რას შეიძლება ფარავდეს მთავარი მაჩვენებლები?

ორივე საზომი ერთი და იმავე მომხმარებლების, დავალებებისა და პერიოდისთვის წაიკითხეთ, შემდეგ კი მოძებნეთ ჯგუფები, რომლებსაც უარესი შედეგები აქვს. საწყისი პირობებიც გაითვალისწინეთ: დაბალი კმაყოფილება შეიძლება ასახავდეს უკმაყოფილებას, რომელიც მხარდაჭერასთან ინტერაქციამდე გაჩნდა.

4. რა გვიბიძგებს მოქმედებისკენ და ვინ არის რეაგირებაზე პასუხისმგებელი?

განსაზღვრეთ მოქმედების კრიტერიუმები იმ შემთხვევებისთვის, როცა საზომი მიუღებელ ზღვარს სცდება, ერთი უმჯობესდება და მეორე უარესდება, ან ორივე უარესდება. შეთანხმდით, ვინ გამოიკვლევს საკითხს, რას შეამოწმებს პირველად და როდის წარადგენს შედეგებს.

5. კვლავ შეესაბამება ეს წყვილი პროდუქტის მიმდინარე ეტაპს?

გადაწყვიტეთ, შეინარჩუნოთ, ჩაანაცვლოთ თუ გააუქმოთ ის. პილოტი შეიძლება დავალების საიმედოობასა და მომხმარებლის ნდობაზე იყოს ორიენტირებული, მოქმედი სერვისი კი ხარჯისა და ხარისხის უფრო მკაცრ კონტროლს საჭიროებდეს. დანიშნეთ არჩევანის ხელახლა განხილვის თარიღი.

AI პროდუქტის გაზომვა მხოლოდ მუშაობის აღწერაზე მეტს უნდა აკეთებდეს. მან უნდა გამოავლინოს ორგანიზაციის მიერ მიღებული კომპრომისები და შემდეგი გადაწყვეტილება უფრო ნათელი გახადოს.