Η φωνητική επικοινωνία σε πραγματικό χρόνο προσφέρει έναν ριζικά διαφορετικό τρόπο αλληλεπίδρασης με εφαρμογές που υποστηρίζονται από τεχνητή νοημοσύνη. Αντί να πληκτρολογούν ή να περιηγούνται σε μενού, οι χρήστες μιλούν φυσικά και λαμβάνουν απαντήσεις με ρυθμό πραγματικού χρόνου και συναισθηματικό πλαίσιο.
Η δημιουργία μιας εξαιρετικής φωνητικής εμπειρίας σε πραγματικό χρόνο προϋποθέτει τον συντονισμό μιας ζωντανής αλληλεπίδρασης. Εδώ αρχίζει η ουσιαστική δουλειά για το προϊόν. Η εμπειρία πραγματικού χρόνου είναι άμεση και φυσική. Η δημιουργία μιας εφαρμογής που τη διατηρεί αποτελεί ξεχωριστή μηχανική πρόκληση.
Το μοντέλο αποτελεί μόνο ένα μέρος του συστήματος. Οι εφαρμογές παραγωγής χρειάζονται εγγενώς φωνητική υποδομή, σαφή διαχωρισμό ανάμεσα στη ροή της συνομιλίας και τη βαθύτερη συλλογιστική, καθώς και έλεγχο βάσει συμβάντων για τη διαχείριση της συνεδρίας σε πραγματικό χρόνο.
Οι δικλίδες ασφαλείας και η αξιολόγηση συγκεντρώνουν μεγάλο μέρος των δυσκολιών που απομένουν. Οι έλεγχοι ασφαλείας πρέπει να συμβαδίζουν με τον ζωντανό ήχο, ενώ παροδικά χαρακτηριστικά της συνομιλίας, όπως ο χρονισμός, ο τόνος και η ροή, είναι δύσκολο να αξιολογηθούν με παραδοσιακές στρατηγικές.
Οι περισσότερες σημερινές εφαρμογές τεχνητής νοημοσύνης με φωνητικές δυνατότητες εξακολουθούν να λειτουργούν με τον ίδιο τρόπο: εισάγεται ομιλία, παράγεται κείμενο, ένα μοντέλο επεξεργάζεται το αίτημα και μια συνθετική φωνή εκφωνεί την απάντηση. Λειτουργεί. Ωστόσο, η αλληλεπίδραση αποκαλύπτει τη φύση της: μοιάζει με ροή επεξεργασίας, όχι με συνομιλία.
Η φωνητική επικοινωνία σε πραγματικό χρόνο το αλλάζει αυτό. Οι χρήστες μιλούν φυσικά και λαμβάνουν απαντήσεις με ρυθμό, τόνο και συναισθηματικό πλαίσιο. Η εμπειρία είναι ταχύτερη και πιο ομαλή από τις αλυσιδωτές ροές μετατροπής ομιλίας σε κείμενο και θυμίζει περισσότερο συνομιλία με άνθρωπο παρά χειρισμό συστήματος.
Έχουμε διαπιστώσει ότι αυτό ανοίγει δυνατότητες προϊόντος τις οποίες οι αρχιτεκτονικές αλυσιδωτής επεξεργασίας δυσκολεύονται να υποστηρίξουν. Οι φωνητικοί πράκτορες πραγματικού χρόνου μπορούν να διαχειρίζονται αλληλεπιδράσεις εξυπηρέτησης πελατών που διαφορετικά θα απαιτούσαν μακροσκελή, περιοριστικά μενού IVR και μεταφορές μεταξύ τμημάτων. Μπορούν να παρέχουν καθοδήγηση και εισαγωγική εκπαίδευση, να υποστηρίζουν την προσβασιμότητα σε διαφορετικά μέσα και πολλά άλλα. Όπου η προφορική συνομιλία υπερέχει των διεπαφών κειμένου, αξίζει να επενδύσουμε στη φωνητική επικοινωνία σε πραγματικό χρόνο.
Οι περισσότερες εφαρμογές με φωνητικές δυνατότητες χρησιμοποιούν τη λεγόμενη «αλυσιδωτή προσέγγιση»: μια ροή ξεχωριστών μοντέλων για μετατροπή ομιλίας σε κείμενο, γλωσσική επεξεργασία και μετατροπή κειμένου σε ομιλία. Αυτά τα συστήματα λειτουργούν καλά και δημιουργούν πολλές ευκαιρίες, αλλά ο ήχος περιορίζεται στα δύο άκρα της διαδικασίας. Τα διακριτά βήματα επιβάλλουν δομή και προσθέτουν καθυστέρηση, με αποτέλεσμα η αλληλεπίδραση να μοιάζει λιγότερο φυσική από μια πραγματική συνομιλία.
Η φωνητική επικοινωνία σε πραγματικό χρόνο ακολουθεί διαφορετική προσέγγιση. Αντί να βασίζεται σε διαφορετικά μοντέλα για ακρόαση, σκέψη και ομιλία, ένα ενιαίο μοντέλο χειρίζεται εγγενώς και τις τρεις λειτουργίες, κατανοώντας και παράγοντας ταυτόχρονα τόσο ήχο όσο και απομαγνητοφωνήσεις. Η είσοδος και η έξοδος πραγματοποιούνται συνεχώς, επιτρέποντας στο σύστημα να αποκρίνεται με φυσικό χρονισμό και συναισθηματικά εκφραστικές απαντήσεις που διατηρούν τον ρεαλιστικό ρυθμό μιας ζωντανής συνομιλίας. Έτσι, ο χρονισμός, ο τόνος και η διαχείριση των διακοπών γίνονται κεντρικά στοιχεία του προϊόντος.
Η εμπειρία πραγματικού χρόνου είναι ελκυστική επειδή είναι άμεση· είναι δύσκολη επειδή τίποτα δεν περιμένει τη σειρά του. Η υποστήριξή της απαιτεί περισσότερα από γρήγορη και ακριβή παραγωγή ήχου. Η δυσκολία βρίσκεται σε όλα τα υπόλοιπα. Το μοντέλο λειτουργεί μέσα σε μια ζωντανή συνεδρία. Όλα όσα το περιβάλλουν —κατάσταση, ασφάλεια, ενορχήστρωση και έλεγχος— πρέπει να λειτουργούν παράλληλα με τη συνομιλία και στον ίδιο ζωντανό ρυθμό.
Σε μια εφαρμογή αλυσιδωτής επεξεργασίας φωνής, η διαδοχική εναλλαγή στη συνομιλία προσφέρει μια σαφή δομή απόκρισης. Ο χρήστης μιλά, το σύστημα απαντά και αρχίζει το επόμενο βήμα. Η φωνητική επικοινωνία σε πραγματικό χρόνο δεν προσφέρει αυτή τη δομή. Μπορεί να μιλούν και οι δύο πλευρές ταυτόχρονα ή να μη μιλά κανείς και να επικρατεί σιωπή. Ο χρήστης μπορεί να διακόψει στη μέση μιας απάντησης ή να κάνει συμπληρωματική ερώτηση προτού το σύστημα ολοκληρώσει την ομιλία του. Οι διακοπές παύουν να αποτελούν ακραίες περιπτώσεις και γίνονται βασικό μοτίβο αλληλεπίδρασης.
Αυτό το μοτίβο μετατρέπει τις εφαρμογές πραγματικού χρόνου σε πρόβλημα συντονισμού και εξηγεί γιατί το σύστημα γύρω από το μοντέλο έχει την ίδια σημασία με το ίδιο το μοντέλο.
Η υποστήριξη ενός τέτοιου συστήματος σε μεγάλη κλίμακα απαιτεί σχεδιασμό ειδικά για ζωντανή αλληλεπίδραση. Αυτό περιλαμβάνει τρία στοιχεία που συναντώνται επανειλημμένα σε συστήματα τα οποία φτάνουν σε παραγωγική λειτουργία.
Οι φωνητικές συνεδρίες πραγματικού χρόνου πρέπει να διαχειρίζονται τη ροή ήχου, την εναλλαγή ομιλητών, τις διακοπές, τον κύκλο ζωής της σύνδεσης και την εκτέλεση του πράκτορα. Ανάλογα με το περιβάλλον ανάπτυξης της εφαρμογής, μπορεί να απαιτείται και υποστήριξη τηλεφωνίας. Αυτά αποτελούν θεμελιώδη στοιχεία της εμπειρίας και είναι καίρια για την κλιμάκωση της εφαρμογής.
Η πρώτη απαίτηση είναι ένα εγγενώς φωνητικό επίπεδο συνεδρίας. Τα πλαίσια επικοινωνίας σε πραγματικό χρόνο (RTC) προσφέρουν στην εφαρμογή ένα περιβάλλον για τη διαχείριση συμμετεχόντων, τη ροή ήχου και την εκτέλεση πρακτόρων σε περιβάλλον τηλεφωνίας. Από την εμπειρία μας, ιδιαίτερα χρήσιμο είναι το Livekit, το οποίο παρέχει έτοιμη στοίβα WebRTC χαμηλής καθυστέρησης, με υψηλής ποιότητας ακύρωση θορύβου και περιορισμό της διακύμανσης καθυστέρησης. Η υλοποίηση αυτού του επιπέδου από την αρχή σπάνια αξίζει την πρόσθετη πολυπλοκότητα.
Μια αρχιτεκτονική πολλαπλών πρακτόρων για φωνητική επικοινωνία σε πραγματικό χρόνο βασίζεται ουσιαστικά στον διαχωρισμό αρμοδιοτήτων.
Τα φωνητικά μοντέλα πραγματικού χρόνου είναι εξαιρετικά αποτελεσματικά στη ροή ήχου συνομιλίας, αλλά δεν είναι βελτιστοποιημένα για βαθύτερη συλλογιστική. Εργασίες όπως η κλήση εργαλείων, η ανάκτηση πληροφοριών ή η δομημένη λήψη αποφάσεων εκτελούνται καλύτερα από διαφορετικό μοντέλο.
Ένα χρήσιμο μοτίβο είναι η αρχιτεκτονική αποκρινόμενου–σκεπτόμενου.
Ο αποκρινόμενος είναι ο φωνητικός πράκτορας πραγματικού χρόνου. Είναι υπεύθυνος για τη διατήρηση της ζωντανής αλληλεπίδρασης: ακούει, μιλά, διαχειρίζεται τις διακοπές και διατηρεί τη ροή της συνομιλίας. Ο σχεδιασμός του δίνει προτεραιότητα στην άμεση απόκριση, τη σαφήνεια και τη συναισθηματική συνέχεια.
Ο σκεπτόμενος είναι ένας ξεχωριστός πράκτορας, ο οποίος υποστηρίζεται από μοντέλο με δυνατότητα συλλογιστικής. Λειτουργεί εκτός της κύριας ροής και αναλαμβάνει εργασίες όπως η χρήση εργαλείων, η ανάκτηση πληροφοριών και ο σχεδιασμός. Ο αποκρινόμενος μπορεί να τον καλεί όταν χρειάζεται και να ενσωματώνει τα αποτελέσματα στη συνομιλία.
Σε ορισμένες περιπτώσεις, ο σκεπτόμενος μπορεί να αναλαμβάνει απευθείας τη συλλογιστική. Σε άλλες, μπορεί να λειτουργεί ως ενορχηστρωτής ενός συνόλου εξειδικευμένων πρακτόρων. Η βασική ιδέα είναι ότι αυτή η εργασία εκτελείται από ένα μοντέλο καταλληλότερο για εργασίες συλλογιστικής.
Το όφελος είναι απλό: ο αποκρινόμενος παραμένει γρήγορος, συνομιλιακός και προσηλωμένος, ενώ ο σκεπτόμενος αναλαμβάνει εργασίες που απαιτούν περισσότερο χρόνο, πλαίσιο ή δομή.
Οι μελλοντικές εξελίξεις στα κορυφαία μοντέλα μπορεί να καταστήσουν αυτή την προσέγγιση περιττή. Προς το παρόν, όμως, έχουμε διαπιστώσει ότι αυτό το μοτίβο υπερέχει σταθερά έναντι των προσεγγίσεων ενός πράκτορα.
Τα φωνητικά συστήματα πραγματικού χρόνου παράγουν από τη φύση τους μια συνεχή ροή συμβάντων.
Οι χρήστες αρχίζουν να μιλούν, κάνουν παύσεις και διακόπτουν. Οι απομαγνητοφωνήσεις ενημερώνονται σταδιακά. Οι απαντήσεις παράγονται και μεταδίδονται σε ροή. Καταφθάνουν αποτελέσματα από εξωτερικές πηγές. Οι συνθήκες μέσα στη συνεδρία εξελίσσονται. Όλα αυτά μπορούν να καταγράφονται, να μεταδίδονται και να αποθηκεύονται ως βασικά συμβάντα που διαμόρφωσαν την εκάστοτε κατάσταση της συνομιλίας. Χωρίς αυτά, χάνουμε τη δυνατότητα λεπτομερών και στοχευμένων παρεμβάσεων.
Μια προσέγγιση βάσει συμβάντων προσφέρει σαφή τρόπο διαχείρισης όλων αυτών. Το σύστημα καταγράφει τα συμβάντα καθώς προκύπτουν, ενημερώνει την κατάσταση της συνεδρίας και ενεργοποιεί τις κατάλληλες επακόλουθες ενέργειες.
Οι ελαφριοί χειριστές διατηρούν άμεση την απόκριση της ροής πραγματικού χρόνου, ενώ πιο σύνθετες εργασίες —όπως η ενημέρωση μηχανών καταστάσεων, η καταγραφή μετρήσεων, η αφαίρεση ευαίσθητων πληροφοριών, η ενημέρωση βάσεων δεδομένων και η έξοδος από μια συνεδρία— ενεργοποιούνται ως ασύγχρονες εργασίες παρασκηνίου.
Καθώς προστίθενται λειτουργίες, ο αριθμός αυτών των εργασιών παρασκηνίου μπορεί να αυξηθεί γρήγορα. Ακόμη και μικρές αλλαγές στο προϊόν μπορούν να δημιουργήσουν νέες ροές συμβάντων και εξαρτήσεις. Μια καλά δομημένη αρχιτεκτονική για αυτή την παραλληλία είναι σημαντική, ώστε το σύστημα να παραμένει κατανοητό και αξιόπιστο καθώς εξελίσσεται.
Αυτή η προσέγγιση βάσει συμβάντων υποστηρίζει επίσης μια κρίσιμη απαίτηση του προϊόντος: τη διαμόρφωση της ίδιας της συνομιλίας. Ένα σύστημα ήχου πραγματικού χρόνου δεν παράγει απλώς απαντήσεις· διαχειρίζεται τον ρυθμό, τη σιωπή και τις διακοπές και αποφασίζει πώς και πότε πρέπει να ολοκληρωθεί μια συνεδρία. Αυτές οι συμπεριφορές αποτελούν μέρος της εμπειρίας του προϊόντος και ωφελούνται από ρητό σχεδιασμό.
Καθώς η κατάσταση της συνεδρίας εξελίσσεται ανάλογα με τον αριθμό εναλλαγών, τον χρόνο που έχει παρέλθει ή τη συμπεριφορά του χρήστη, το σύστημα μπορεί να παρέχει στοχευμένες οδηγίες στον αποκρινόμενο. Μπορεί να παροτρύνει τον πράκτορα να βοηθήσει τον χρήστη να ολοκληρώσει τη συζήτηση καθώς πλησιάζει το όριο της συνεδρίας ή να δώσει διευκρινίσεις αν η αλληλεπίδραση βαλτώσει. Αυτές οι παρεμβάσεις είναι ελαφριές, αλλά κάνουν την εμπειρία να μοιάζει σκόπιμα σχεδιασμένη και συνεκτική.
Ένα καλά σχεδιασμένο σύστημα διατηρεί σαφή εικόνα της κατάστασης της συνεδρίας: ποιος μιλά, πώς εξελίσσεται η συνομιλία και ποιες προϋποθέσεις έχουν εκπληρωθεί. Αυτή η κατάσταση, η οποία ενημερώνεται συνεχώς από τη ροή συμβάντων, επιτρέπει την κατάλληλη καθοδήγηση την κατάλληλη στιγμή.
Οι δικλίδες ασφαλείας είναι απαραίτητες στην τεχνητή νοημοσύνη που αλληλεπιδρά με χρήστες. Διαχειρίζονται την ασφάλεια, τη συμμόρφωση, την κακόβουλη χρήση και την αξιοπιστία. Σε ένα σύστημα διαδοχικών εναλλαγών, υπάρχουν προφανή σημεία για την εφαρμογή τους: αφού μιλήσει ο χρήστης ή πριν δοθεί μια απάντηση.
Η φωνητική επικοινωνία σε πραγματικό χρόνο καταργεί τα περισσότερα από αυτά τα βολικά σημεία ελέγχου. Τα δεδομένα εισόδου του χρήστη καταφθάνουν συνεχώς. Η ροή του ήχου εξόδου μπορεί να έχει ήδη ξεκινήσει. Οι ολοκληρωμένες απομαγνητοφωνήσεις συχνά υστερούν χρονικά σε σχέση με τον ήχο. Αν το σύστημα περιμένει να ολοκληρωθούν τα μηνύματα προτού τα ελέγξει, η συνομιλία παύει να δίνει την αίσθηση ότι γίνεται σε πραγματικό χρόνο.
Αντίθετα, οι δικλίδες ασφαλείας πρέπει να λειτουργούν παράλληλα με τη συνομιλία, ώστε η αλληλεπίδραση να παραμένει φυσική. Μια προσέγγιση είναι η διοχέτευση του ήχου σε μια ενδιάμεση μνήμη, με παράλληλη ασύγχρονη αξιολόγηση των αποσπασμάτων απομαγνητοφώνησης μόλις γίνονται διαθέσιμα. Έτσι, οι έλεγχοι ασφαλείας εκτελούνται σχεδόν σε πραγματικό χρόνο χωρίς να μπλοκάρουν την αλληλεπίδραση.
Όταν ενεργοποιείται μια δικλίδα ασφαλείας, το σύστημα μπορεί να ανταποκριθεί ανάλογα με το πλαίσιο, ανακατευθύνοντας τη συνομιλία, προσαρμόζοντας τη συμπεριφορά του ή τερματίζοντας τη συνεδρία, όπου χρειάζεται. Έτσι, οι δικλίδες ασφαλείας λειτουργούν σε πραγματικό χρόνο χωρίς να υποβαθμίζεται η εμπειρία του χρήστη.
Το δυσκολότερο στοιχείο στην αξιολόγηση ενός συστήματος συνομιλίας σε πραγματικό χρόνο είναι ότι ορισμένα από τα σημαντικότερα χαρακτηριστικά του —ο χρονισμός, οι διακοπές, η ροή και ο τόνος— δεν αποτυπώνονται σε δοκιμές που βασίζονται μόνο σε απομαγνητοφωνήσεις.
Οι συνήθεις διαδικασίες αξιολόγησης τροφοδοτούν το σύστημα με ρεαλιστικά σενάρια, παρατηρούν τα αποτελέσματα και τα βαθμολογούν. Για συστήματα κειμένου ή αλυσιδωτής επεξεργασίας ήχου, αυτό είναι απλό: στέλνεις κείμενο και ελέγχεις το κείμενο που επιστρέφεται. Σε πραγματικό χρόνο, η είσοδος είναι ζωντανός ήχος και η σημαντικότερη δυναμική της συνομιλίας έχει χρονική διάσταση: πώς διαχειρίζεται ο πράκτορας την ταυτόχρονη ομιλία, πόσο γρήγορα απαντά και πώς επανέρχεται έπειτα από μια διακοπή.
Οι μη αυτόματες δοκιμές —δηλαδή η απευθείας συνομιλία με τον πράκτορα— αποτυπώνουν αυτά τα χαρακτηριστικά, αλλά δεν μπορούν να εφαρμοστούν σε μεγάλη κλίμακα. Ο αυτοματισμός που βασίζεται σε απομαγνητοφωνήσεις κλιμακώνεται, αλλά αφαιρεί το στοιχείο που διακρίνει μια καλή εμπειρία πραγματικού χρόνου από μια κακή.
Καμία μεμονωμένη μέθοδος δεν αρκεί. Η πρακτική λύση είναι ένας συνδυασμός μεθόδων:
Αξιολογήσεις μεταξύ πρακτόρων: ένας δεύτερος πράκτορας πραγματικού χρόνου, με οδηγίες να υποδυθεί ένα συγκεκριμένο προφίλ χρήστη, συνομιλεί με το υπό δοκιμή σύστημα. Ένα τρίτο LLM, σε ρόλο κριτή, βαθμολογεί την αλληλεπίδραση. Έτσι δοκιμάζεται σε μεγάλη κλίμακα ολόκληρη η διαδρομή του ήχου, συμπεριλαμβανομένου του χρονισμού και της διαχείρισης διακοπών.
Μη λειτουργικές μετρήσεις: ο χρόνος έως την έναρξη του ήχου και η ανάλυση συναισθήματος της απομαγνητοφώνησης παρέχουν ποσοτικές προσεγγίσεις της ποιότητας της συνομιλίας.
Μη αυτόματος ποιοτικός έλεγχος: παραμένει απαραίτητος για τον εντοπισμό προβλημάτων που διαφεύγουν από τις αυτοματοποιημένες μετρήσεις, ιδίως όσον αφορά τον τόνο και τη φυσικότητα.
Καμία μέθοδος δεν καλύπτει τα πάντα. Η παραγωγική λειτουργία πρακτόρων πραγματικού χρόνου απαιτεί τον συνδυασμό και των τριών μεθόδων. Ακόμη κι έτσι, τα εργαλεία αξιολόγησης ήχου σε πραγματικό χρόνο παραμένουν ανώριμα σε σύγκριση με εκείνα της τεχνητής νοημοσύνης που βασίζεται σε κείμενο.
Η φωνητική επικοινωνία σε πραγματικό χρόνο αλλάζει τη μορφή του προϊόντος. Οι χρήστες βιώνουν τον χρονισμό, τις διακοπές, τη σιωπή και την επαναφορά εξίσου έντονα με τις ίδιες τις λέξεις.
Αυτό σημαίνει ότι το μοντέλο αποτελεί μόνο ένα μέρος του συστήματος. Για παραγωγική λειτουργία, η φωνητική επικοινωνία σε πραγματικό χρόνο χρειάζεται ένα εγγενώς φωνητικό επίπεδο συνεδρίας, σαφή διαχωρισμό ομιλίας και συλλογιστικής και έλεγχο βάσει συμβάντων γύρω από τη ζωντανή συνεδρία. Οι δικλίδες ασφαλείας παραμένουν το σημείο συμφόρησης ως προς την καθυστέρηση, αλλά δημιουργικές προσεγγίσεις μπορούν να διατηρήσουν μεγάλο μέρος της εμπειρίας πραγματικού χρόνου.
Η αξιολόγηση παραμένει το πιο αδύναμο μέρος της τεχνολογικής στοίβας. Δεν υπάρχει ακόμη καθιερωμένος τρόπος δοκιμής των χαρακτηριστικών που κάνουν ευχάριστη τη φωνητική επικοινωνία σε πραγματικό χρόνο: του χρονισμού, του τόνου, της διαχείρισης διακοπών και της ροής της συνομιλίας. Μέχρι να υπάρξει, οι ομάδες που αξιοποιούν αυτή την τεχνολογία θα πρέπει να συνδυάζουν αυτοματοποιημένες δοκιμές, δοκιμές μεταξύ πρακτόρων και μη αυτόματο έλεγχο.