Η προσθήκη μετρικών δεν βελτιώνει απαραίτητα την κατανόηση. Πολλοί πίνακες ελέγχου περιλαμβάνουν πολλές μετρήσεις της ίδιας υποκείμενης συμπεριφοράς. Οι μετρικές γίνονται πιο διαγνωστικές όταν συνδυάζονται σε αμοιβαία αντισταθμιζόμενα ζεύγη: κόστος με ποιότητα, αυτοδύναμη επίλυση με συναίσθημα ή ακρίβεια με καθυστέρηση.
Τα κατάλληλα ζεύγη αλλάζουν καθώς ένα προϊόν AI περνά από την πιλοτική φάση στην παραγωγή. Η μέτρηση πρέπει να ακολουθεί τις αποφάσεις που χρειάζεται να λάβει η ομάδα σε κάθε στάδιο.
Η επιχειρησιακή παρακολούθηση και η στρατηγική μέτρηση εξυπηρετούν διαφορετικούς σκοπούς. Οι ομάδες μπορεί να παρακολουθούν εκατοντάδες σήματα συστήματος, αλλά να χρησιμοποιούν λίγα μόνο ζεύγη για τις αποφάσεις προϊόντος.
Οι βασικές μετρικές μπορούν να αφηγούνται μια πειστική ιστορία, αφήνοντας όμως άλυτη μια σημαντική απόφαση για το προϊόν.
Ο βοηθός AI της Klarna συνδέθηκε δημόσια με μεγαλύτερη ρυθμαπόδοση, χαμηλότερο κόστος και βαθμολογίες ικανοποίησης πελατών συγκρίσιμες με εκείνες ανθρώπινων πρακτόρων. Την επόμενη χρονιά, η εταιρεία αποφάσισε να διευρύνει την πρόσβαση σε ανθρώπινη υποστήριξη, ενώ ο διευθύνων σύμβουλός της αναγνώρισε ότι είχε δοθεί υπερβολική έμφαση στη μείωση του κόστους.
Δεν επρόκειτο για απόρριψη του βοηθού ΤΝ ή της τεχνολογίας στην οποία βασιζόταν. Ήταν μια προσαρμογή της ισορροπίας μεταξύ αυτοματοποίησης και ανθρώπινης εξυπηρέτησης, καθώς η εταιρεία μάθαινε από τη λειτουργία του προϊόντος. Καθώς η αυτοματοποίηση αναλάμβανε περισσότερα από τα απλούστερα ερωτήματα μεγάλου όγκου, οι άνθρωποι-εκπρόσωποι που χρειαζόταν η Klarna ήταν εκείνοι που ήταν κατάλληλα καταρτισμένοι για σύνθετες, ευαίσθητες περιπτώσεις.
Αφού ορίσουν εξαρχής τι πρέπει να πετύχει ένα προϊόν, οι περισσότεροι οργανισμοί που αναπτύσσουν προϊόντα AI θα βρεθούν τελικά μπροστά στο ίδιο ερώτημα: λειτουργεί πράγματι;
Αν η απάντηση δεν είναι σαφής, η συνήθης παρόρμηση είναι να προστεθούν περισσότερες μετρικές. Οι τρεις γίνονται 10 και μετά οι 10 γίνονται 30. Ο πίνακας ελέγχου εμπλουτίζεται, αλλά η κατανόηση της ομάδας ίσως δεν βελτιώνεται.
Το πρόβλημα δεν είναι πάντα η ποιότητα των επιμέρους μετρήσεων, αλλά η μεταξύ τους σχέση. Η ικανοποίηση πελατών, το Net Promoter Score, οι αξιολογήσεις και τα ποσοστά θετικής ψήφου μπορούν να δώσουν χρήσιμα σήματα, αλλά ενδέχεται να αντανακλούν παρόμοιες μεταβολές στο συνολικό συναίσθημα. Όταν κινούνται μαζί, επιβεβαιώνουν ότι κάτι συνέβη, χωρίς απαραίτητα να εξηγούν το γιατί.
Επομένως, οι ομάδες AI πρέπει να εξετάζουν πέρα από τις μετρικές που συμφωνούν μεταξύ τους και να εντοπίζουν μετρήσεις που αποκαλύπτουν αντικρουόμενα αποτελέσματα. Αυτά τα αμοιβαία αντισταθμιζόμενα ζεύγη αποκαλύπτουν και βοηθούν στην παρακολούθηση των επιπτώσεων των συμβιβασμών πίσω από την απόδοση του προϊόντος, επιτρέποντας καλύτερες αποφάσεις.
Σε μια υλοποίηση πριν από την κυκλοφορία, η κοινή ομάδα ανέπτυσσε έναν πράκτορα φωνής AI σε πραγματικό χρόνο για εισερχόμενες κλήσεις υποστήριξης πελατών. Ένα από τα δυσκολότερα ερωτήματα δεν αφορούσε την επιλογή μοντέλου ή την ενορχήστρωση. Αφορούσε το πώς θα γνώριζε ο οργανισμός αν το προϊόν λειτουργούσε, όταν οι πελάτες θα άρχιζαν να το χρησιμοποιούν σε μεγάλη κλίμακα.
Το αρχικό πλαίσιο χρησιμοποιούσε τρεις μετρήσεις:
Ποσοστό αυτοδύναμης επίλυσης: πόσο συχνά η AI επιλύει μια κλήση χωρίς να τη μεταφέρει σε άνθρωπο.
Ποσοστό κλιμάκωσης: πόσο συχνά μια κλήση μεταφέρεται σε ανθρώπινο πράκτορα.
Ποσοστό επίλυσης: πόσο συχνά επιλύεται τελικά το ζήτημα του πελάτη.
Κάθε μέτρηση ήταν εύλογη. Ωστόσο, όλες μαζί δεν μπορούσαν να απαντήσουν σε ένα προφανές ερώτημα: αν αυξάνεται η κλιμάκωση, τι μας δείχνει αυτό;
Η ομάδα ανέλυσε την κλιμάκωση σε οκτώ υποτύπους. Στη συνέχεια πρόσθεσε μετρήσεις εγκατάλειψης, διαδρομής και χρονισμού, βαθμολογίες κατανόησης γλώσσας και επίλυση ανά τύπο αιτήματος. Το πλαίσιο κατέληξε να περιλαμβάνει 31 μετρικές σε έξι κατηγορίες.
Μπορούσε να περιγράψει λεπτομερώς την κλιμάκωση, αλλά όχι να διαγνώσει αξιόπιστα την αιτία της. Οι περισσότερες μετρικές ήταν παραλλαγές της ίδιας συμπεριφοράς, οπότε κινούνταν μαζί αντί να ελέγχουν ανταγωνιστικές εξηγήσεις.
Ο πίνακας ελέγχου είχε γίνει παρατηρητικός αντί για διαγνωστικός.
Η ομάδα δεν χρειαζόταν άλλο ένα επίπεδο ανάλυσης. Χρειαζόταν μετρικές που να αλληλοπεριορίζονται.
Τα ονομάζουμε αμοιβαία αντισταθμιζόμενα ζεύγη: δύο μετρήσεις όπου η μεμονωμένη βελτίωση της μίας μπορεί να βλάψει το αποτέλεσμα που αντιπροσωπεύει η άλλη. Η ονομασία περιγράφει τον τρόπο αστοχίας που προκαλεί η μονόπλευρη βελτιστοποίηση, όχι την επιθυμητή κατάσταση.
Όταν και οι δύο πλευρές παραμένουν υγιείς, το προϊόν μπορεί να λειτουργεί βιώσιμα. Όταν αποκλίνουν, η κατεύθυνση της απόκλισης βοηθά την ομάδα να αποφασίσει πού πρέπει να ερευνήσει.
Τι είχαμε | Αμοιβαία αντισταθμιζόμενο ζεύγος | Τι μπορεί να αποκαλύψει το ζεύγος |
|---|---|---|
Ποσοστό κλιμάκωσης χωρισμένο σε οκτώ υποτύπους | Ποσοστό κλιμάκωσης ↔ χρόνος έως την κλιμάκωση | Η άμεση κλιμάκωση μπορεί να δείχνει πρόβλημα εμπιστοσύνης ή πλαισίωσης, ενώ η μεταγενέστερη μπορεί να δείχνει ότι το σύστημα αδυνατεί να ολοκληρώσει την εργασία. |
Ποσοστό αυτοδύναμης επίλυσης και ποσοστό επίλυσης που αναφέρονται χωριστά | Ποσοστό αυτοδύναμης επίλυσης ↔ συναίσθημα πελάτη | Αν η αυτοδύναμη επίλυση αντιπροσωπεύει ικανοποιητική λύση ή εγκατάλειψη της προσπάθειας από τον πελάτη. |
Ποσοστό επίλυσης ανά τύπο πρόθεσης | Ποσοστό επίλυσης ↔ βάθος συνομιλίας | Αν η επιτυχής επίλυση είναι αποδοτική ή απαιτεί μια εξαντλητική αλληλεπίδραση. |
Για να εξετάσουμε βαθύτερα πώς αποκαλύπτεται αυτό και πώς αξιοποιείται το εύρημα, ας δούμε το ποσοστό κλιμάκωσης και τον χρόνο έως την κλιμάκωση. Η ομάδα δεν θα γνωρίζει πώς συμπεριφέρονται οι πελάτες μέχρι να έρθουν πραγματικές κλήσεις, αλλά μπορεί να ορίσει τις υποθέσεις που πρέπει να ελέγξει.
Αν αρχίσουν να κλιμακώνονται περισσότερες κλήσεις και οι πελάτες εγκαταλείπουν την εμπειρία AI μέσα στα πρώτα 30 δευτερόλεπτα, η ομάδα πρέπει να διερευνήσει την εμπιστοσύνη, την ενημέρωση, τον τόνο και τις αρχικές αλληλεπιδράσεις. Αν οι πελάτες ζητούν κλιμάκωση αφού προσπαθούν για αρκετά λεπτά να ολοκληρώσουν μια εργασία, πιθανότερο πρόβλημα είναι οι δυνατότητες ή η κάλυψη της ροής εργασίας.
Ο βασικός αριθμός κλιμάκωσης είναι ο ίδιος. Η απόφαση για το προϊόν είναι διαφορετική.
Ένα χρήσιμο ζεύγος δεν αποδεικνύει από μόνο του την αιτία. Περιορίζει το πεδίο της έρευνας και καθιστά σαφέστερη την επόμενη απόφαση.
Το παράδειγμα της Klarna που παρουσιάστηκε προηγουμένως δείχνει πώς εφαρμόζεται αυτή η αρχή όταν αλληλεπιδρούν το κόστος και η ποιότητα εξυπηρέτησης. Δείχνει πώς μπορεί να εξελιχθεί ένα λειτουργικό μοντέλο που αξιοποιεί την AI, καθώς η εταιρεία παρακολουθεί τις επιπτώσεις των συμβιβασμών και μαθαίνει από την υλοποίησή του.
Τον Φεβρουάριο του 2024, η εταιρεία ανέφερε ότι ο βοηθός AI είχε διαχειριστεί 2,3 εκατομμύρια συνομιλίες τον πρώτο μήνα, είχε εκτελέσει έργο ισοδύναμο με εκείνο 700 πρακτόρων πλήρους απασχόλησης και είχε πετύχει βαθμολογίες ικανοποίησης πελατών συγκρίσιμες με εκείνες ανθρώπινων πρακτόρων. Η Klarna εκτίμησε ότι ο βοηθός θα συνέβαλλε σε βελτίωση των κερδών κατά 40 εκατομμύρια δολάρια μέσα στο 2024. Αυτά ήταν αποτελέσματα που ανέφερε η ίδια η Klarna και όχι ανεξάρτητη αξιολόγηση.
Τον Μάιο του 2025, ο διευθύνων σύμβουλος της Klarna δήλωσε ότι η εταιρεία είχε δώσει υπερβολική έμφαση στη μείωση του κόστους εξυπηρέτησης πελατών και περιέγραψε σχέδια για διεύρυνση της πρόσβασης σε ανθρώπινη υποστήριξη. Αυτό αντιπροσώπευε προσαρμογή της ισορροπίας μεταξύ αυτοματοποιημένης και ανθρώπινης εξυπηρέτησης και όχι απόρριψη του βοηθού AI ή της τεχνολογίας στην οποία βασιζόταν.
Τα δημόσια στοιχεία δείχνουν γιατί οι μετρήσεις αποδοτικότητας πρέπει να εξετάζονται παράλληλα με τις ανάγκες διαφορετικών πελατών και αλληλεπιδράσεων. Ένα σύστημα AI μπορεί να αποδίδει καλά κατά μέσο όρο, ενώ ορισμένες σύνθετες, ευαίσθητες ή ασυνήθιστες περιπτώσεις εξακολουθούν να ωφελούνται από ένα προσβάσιμο ανθρώπινο κανάλι.
Η παρακολούθηση και των δύο πλευρών αυτής της σχέσης βοηθά μια εταιρεία να αποφασίσει πού δημιουργεί αξία η αυτοματοποίηση, πού παραμένει σημαντική η ανθρώπινη υποστήριξη και πώς πρέπει να αλλάζει η ισορροπία καθώς προκύπτουν νέα στοιχεία.
Άλλα αμοιβαία αντισταθμιζόμενα ζεύγη σε προϊόντα AI μπορεί να περιλαμβάνουν:
Αμοιβαία αντισταθμιζόμενο ζεύγος | Κίνδυνος που βοηθά να αποκαλυφθεί |
|---|---|
Ακρίβεια απόκρισης ↔ καθυστέρηση απόκρισης | Ένα σύστημα που είναι τεχνικά ακριβές, αλλά υπερβολικά αργό για τη ροή εργασίας. |
Ολοκλήρωση εργασιών ↔ ποσοστό παράκαμψης από χρήστες | Μια ροή εργασίας AI που ολοκληρώνει εργασίες τις οποίες οι χρήστες επαναλαμβάνουν συστηματικά. |
Κόστος ανά αλληλεπίδραση ↔ αξιολογημένη ποιότητα αποτελέσματος | Εξοικονόμηση που επιτυγχάνεται με υποβάθμιση της εμπειρίας πελατών ή εργαζομένων. |
Υιοθέτηση ↔ χρόνος έως την επίτευξη αξίας | Αύξηση εγγραφών χωρίς αντίστοιχη αξία για τους χρήστες. |
Ο σκοπός δεν είναι να αυξάνονται επ’ αόριστον και οι δύο μετρήσεις. Είναι να γίνεται ο συμβιβασμός ορατός προτού η μονόπλευρη βελτιστοποίηση δημιουργήσει λειτουργικό πρόβλημα.
Μια συναφής πρόκληση εμφανίστηκε σε μια υλοποίηση υποστήριξης παικτών για εταιρεία παιχνιδιών για κινητές συσκευές. Το σύστημα διαχειριζόταν ζητήματα μεγάλου όγκου, όπως απώλεια προόδου, διαφορές πληρωμών και πρόσβαση σε λογαριασμούς.
Οι μετρήσεις αποδοτικότητας είχαν σημασία, επειδή το σύστημα λειτουργούσε σε μεγάλη κλίμακα. Όμως η υποστήριξη παικτών δεν είναι απλώς μια λειτουργική ουρά. Οι παίκτες συχνά προσέρχονται απογοητευμένοι, επειδή κάτι έχει ήδη πάει στραβά σε άλλο σημείο της εμπειρίας τους.
Αυτή η αρχική κατάσταση αλλάζει τον τρόπο ερμηνείας των δεδομένων ικανοποίησης πελατών. Ένας παίκτης του οποίου το ζήτημα επιλύθηκε σωστά μπορεί να δηλώσει χαμηλή ικανοποίηση, επειδή εξαρχής έχασε την πρόοδό του. Η ανάγνωση αυτής της βαθμολογίας χωρίς πλαίσιο μπορεί να επιβαρύνει την αλληλεπίδραση υποστήριξης για απογοήτευση που δημιουργήθηκε νωρίτερα στη διαδρομή του πελάτη.
Επομένως, η ομάδα έπρεπε να διακρίνει το αρχικό συναίσθημα του πελάτη από την επίδραση της εμπειρίας υποστήριξης. Το χρησιμότερο ερώτημα δεν ήταν: «Ήταν ευχαριστημένος ο παίκτης;» Ήταν: «Βελτίωσε η αλληλεπίδραση την κατάσταση σε σχέση με το σημείο από το οποίο ξεκίνησε ο παίκτης;»
Αυτή η σύγκριση μπορεί να βοηθήσει στον διαχωρισμό της απογοήτευσης από το προϊόν από την ποιότητα της υποστήριξης, εφόσον η ομάδα διαθέτει αξιόπιστο τρόπο μέτρησης και των δύο.
Τα προϊόντα AI αλλάζουν, αλλά οι μετρικές τους συχνά παραμένουν σταθερές.
Κατά την πιλοτική φάση, το βασικό ερώτημα μπορεί να είναι αν το σύστημα είναι αρκετά αξιόπιστο ώστε να δικαιολογεί περαιτέρω επένδυση:
Ολοκληρώνει αξιόπιστα τη βασική εργασία;
Το εμπιστεύονται αρκετά οι χρήστες ώστε να συνεχίσουν;
Πώς συμπεριφέρεται πέρα από τα συνηθέστερα σενάρια;
Μπορούν οι αστοχίες να εντοπιστούν και να αντιμετωπιστούν με ασφάλεια;
Αυτά τα ερωτήματα ευνοούν ζεύγη όπως:
επιτυχία βασικής εργασίας ↔ απόδοση σε οριακές περιπτώσεις,
ποσοστό αυτοματοποίησης ↔ ποσοστό ανθρώπινης παράκαμψης και
ταχύτητα ολοκλήρωσης ↔ εμπιστοσύνη χρήστη.
Μόλις το προϊόν αποκτήσει λειτουργική σημασία, τα ερωτήματα αλλάζουν:
Μπορεί να κλιμακωθεί χωρίς να μειωθεί η ποιότητα;
Βελτιώνεται η οικονομική του απόδοση με τη χρήση;
Παραμένει σταθερή η απόδοση καθώς αυξάνεται η υιοθέτηση;
Γίνονται οι ανθρώπινες παρεμβάσεις στα σωστά σημεία;
Τα αντίστοιχα ζεύγη μπορεί να μετατοπιστούν προς τα εξής:
κόστος ανά αλληλεπίδραση ↔ αξιολογημένη ποιότητα αποτελέσματος,
εύρος υιοθέτησης ↔ βάθος χρήσης και
ποσοστό αυτοματοποίησης ↔ έκθεση σε λειτουργικό κίνδυνο.
Οι αρχικές μετρικές δεν είναι απαραίτητα λανθασμένες. Απαντούν στα ερωτήματα που είχαν σημασία σε προηγούμενο στάδιο.
Ο κίνδυνος εμφανίζεται κατά τη μετάβαση. Οι πιλοτικές μετρικές συχνά διατηρούνται επειδή οι ομάδες ξέρουν να τις αναφέρουν και κανείς δεν έχει την ευθύνη να αποφασίσει την κατάργησή τους. Μετρήσεις που κάποτε υποστήριζαν τη μάθηση μπορούν σταδιακά να γίνουν μετρικές εντυπωσιασμού.
Επομένως, τα ζεύγη πρέπει να έχουν κύκλο ζωής. Οι ομάδες πρέπει να τα εισάγουν για μια συγκεκριμένη απόφαση, να εξετάζουν αν εξακολουθούν να αποκαλύπτουν ουσιώδη συμβιβασμό και να τα καταργούν όταν αλλάζει το προϊόν ή η απόφαση.
Τα συστήματα AI απαιτούν λεπτομερή παρατηρησιμότητα, ειδοποιήσεις, διασφάλιση ποιότητας και αξιολόγηση. Η αφαίρεση αυτών των σημάτων θα δυσκόλευε την ασφαλή λειτουργία του προϊόντος. Όμως η επιχειρησιακή παρακολούθηση δεν ταυτίζεται με τη μέτρηση για τη διοίκηση.
Η παρακολούθηση βοηθά τις ομάδες να εντοπίζουν συμβάντα, να ιχνηλατούν αστοχίες και να κατανοούν τη συμπεριφορά του συστήματος. Οι μετρικές αποφάσεων βοηθούν τους επικεφαλής προϊόντος και επιχειρήσεων να αποφασίζουν αν θα επενδύσουν, θα παρέμβουν, θα αλλάξουν κατεύθυνση ή θα αποδεχτούν έναν συμβιβασμό.
Ένας οργανισμός μπορεί να παρακολουθεί εκατοντάδες τεχνικά και λειτουργικά σήματα, αλλά να αναδεικνύει μόνο δύο ή τρία αμοιβαία αντισταθμιζόμενα ζεύγη για μια συγκεκριμένη απόφαση προϊόντος. Η διατήρηση αυτού του επιπέδου αποφάσεων σε μικρή κλίμακα διευκολύνει την ιεράρχηση προτεραιοτήτων.
Η κατάλληλη συχνότητα ελέγχου εξαρτάται από το προϊόν. Ένα νέο ή ταχέως μεταβαλλόμενο σύστημα μπορεί να απαιτεί εβδομαδιαίες ανασκοπήσεις αποφάσεων, ενώ για ένα ώριμο προϊόν μπορεί να αρκεί μηνιαία ή τριμηνιαία συχνότητα. Η αρχή είναι σημαντικότερη από το διάστημα: εξετάζετε το ζεύγος αρκετά συχνά ώστε να ενεργείτε προτού ο συμβιβασμός γίνει δαπανηρός ή επισφαλής.
Ένα ζεύγος γίνεται χρήσιμο μόνο όταν ο οργανισμός συμφωνήσει τι θα συμβεί αν επιδεινωθεί.
Αυτό απαιτεί περισσότερα από τον καθορισμό μιας κόκκινης γραμμής για την απόκλιση. Οι ομάδες πρέπει να εξετάζουν τρεις συνθήκες:
Απόλυτη αστοχία: μία μέτρηση υπερβαίνει ένα μη αποδεκτό όριο, ανεξάρτητα από την άλλη.
Απόκλιση: μία μέτρηση βελτιώνεται, ενώ η αντισταθμιστική της επιδεινώνεται.
Κοινή επιδείνωση: και οι δύο πλευρές υποχωρούν, υποδηλώνοντας ευρύτερο πρόβλημα προϊόντος ή λειτουργίας.
Κάθε ζεύγος πρέπει να έχει:
ορισμένο υπεύθυνο,
σαφή απόφαση την οποία υποστηρίζει,
συμφωνημένα όρια ή κριτήρια αξιολόγησης,
διαδρομή διερεύνησης και
ένα σύνολο πιθανών παρεμβάσεων.
Χωρίς αυτά τα στοιχεία, ο οργανισμός παρατηρεί το προϊόν αντί να το διαχειρίζεται.
Πριν προσθέσετε άλλη μία μέτρηση, επιλέξτε μια σημαντική απόφαση προϊόντος και εξετάστε αυτές τις ερωτήσεις. Καταγράψτε τις απαντήσεις, ώστε η ανασκόπηση να ολοκληρωθεί με ένα συμφωνημένο επόμενο βήμα.
1. Ποια απόφαση πρέπει να μας βοηθήσουν να λάβουμε αυτές οι μετρικές;
Να είστε συγκεκριμένοι: αποφασίζουμε αν θα επεκτείνουμε την αυτοματοποίηση, θα αλλάξουμε μοντέλο ή θα βελτιώσουμε τη μεταβίβαση σε άνθρωπο; Ονομάστε την απόφαση πριν επιλέξετε τις μετρήσεις.
2. Αν βελτιωθεί αυτός ο αριθμός, τι θα μπορούσε να χειροτερέψει;
Εντοπίστε το αποτέλεσμα που πρέπει να προστατεύσετε και μια μέτρηση που θα αποκάλυπτε τυχόν βλάβη. Για παράδειγμα, συνδυάστε το κόστος ανά αλληλεπίδραση με την αξιολογημένη ποιότητα αποτελέσματος, για να ελέγξετε αν οι φθηνότερες απαντήσεις παραμένουν χρήσιμες.
3. Τι μπορεί να κρύβουν οι βασικοί αριθμοί;
Εξετάστε και τις δύο μετρήσεις για τους ίδιους χρήστες, εργασίες και χρονική περίοδο και, στη συνέχεια, αναζητήστε ομάδες με χειρότερα αποτελέσματα. Λάβετε υπόψη και τις αρχικές συνθήκες: η χαμηλή ικανοποίηση μπορεί να αντανακλά απογοήτευση που προϋπήρχε της αλληλεπίδρασης υποστήριξης.
4. Τι θα μας ωθούσε να ενεργήσουμε και ποιος είναι υπεύθυνος για την απόκριση;
Ορίστε κριτήρια δράσης όταν μία μέτρηση υπερβαίνει ένα μη αποδεκτό όριο, όταν η μία βελτιώνεται ενώ η άλλη χειροτερεύει ή όταν επιδεινώνονται και οι δύο. Συμφωνήστε ποιος θα διερευνήσει, τι θα ελέγξει πρώτα και πότε θα αναφέρει τα ευρήματά του.
5. Εξακολουθεί αυτό το ζεύγος να ταιριάζει στο τρέχον στάδιο του προϊόντος;
Αποφασίστε αν θα το διατηρήσετε, θα το αντικαταστήσετε ή θα το καταργήσετε. Μια πιλοτική εφαρμογή μπορεί να εστιάζει στην αξιοπιστία εργασιών και την εμπιστοσύνη των χρηστών, ενώ μια ενεργή υπηρεσία ίσως χρειάζεται στενότερο έλεγχο κόστους και ποιότητας. Ορίστε ημερομηνία επανεξέτασης της επιλογής.
Η μέτρηση ενός προϊόντος AI πρέπει να κάνει περισσότερα από το να περιγράφει την απόδοσή του. Πρέπει να αποκαλύπτει τους συμβιβασμούς που κάνει ο οργανισμός και να καθιστά σαφέστερη την επόμενη απόφαση.