AI ഉൽപ്പന്നങ്ങൾ നിർമ്മിക്കുമ്പോൾ വിട്ടുവീഴ്ചകളുടെ സ്വാധീനം നിരീക്ഷിക്കൽ

മറഞ്ഞിരിക്കുന്ന വിട്ടുവീഴ്ചകൾ വെളിപ്പെടുത്തുന്നത് AI ഉൽപ്പന്ന പരാജയങ്ങളുടെ കാരണം കണ്ടെത്താനും മികച്ച തീരുമാനങ്ങളെടുക്കാനും ടീമുകളെ സഹായിക്കുന്നു.

എക്സിക്യൂട്ടീവുകൾക്കുള്ള പ്രധാന നിഗമനങ്ങൾ

  • കൂടുതൽ മെട്രിക്കുകൾ ചേർക്കുന്നതുകൊണ്ട് മാത്രം ധാരണ മെച്ചപ്പെടണമെന്നില്ല. പല ഡാഷ്ബോർഡുകളിലും ഒരേ അടിസ്ഥാന സ്വഭാവത്തിന്റെ നിരവധി അളവുകൾ ഉൾപ്പെടുന്നു. ചെലവും ഗുണനിലവാരവും, പരിധിക്കുള്ളിൽ പരിഹരിക്കുന്നതും വികാരവും, അല്ലെങ്കിൽ കൃത്യതയും പ്രതികരണകാലതാമസവും പോലെ പരസ്പരം നശിപ്പിക്കുന്ന ജോടികളായി ചേർക്കുമ്പോൾ മെട്രിക്കുകൾ കൂടുതൽ പ്രശ്നനിർണയക്ഷമമാകുന്നു.

  • ഒരു AI ഉൽപ്പന്നം പരീക്ഷണഘട്ടത്തിൽനിന്ന് ഉൽപ്പാദനഘട്ടത്തിലേക്ക് നീങ്ങുമ്പോൾ അനുയോജ്യമായ ജോടികളും മാറുന്നു. ഓരോ ഘട്ടത്തിലും ടീം എടുക്കേണ്ട തീരുമാനങ്ങളെ അടിസ്ഥാനമാക്കിയാകണം അളവെടുപ്പ്.

  • പ്രവർത്തന നിരീക്ഷണവും തന്ത്രപരമായ അളവെടുപ്പും വ്യത്യസ്ത ലക്ഷ്യങ്ങളാണ് നിറവേറ്റുന്നത്. ഉൽപ്പന്ന തീരുമാനങ്ങൾക്ക് മാർഗനിർദേശം നൽകാൻ ഏതാനും ജോടികൾ മാത്രം ഉപയോഗിക്കുമ്പോഴും ടീമുകൾ നൂറുകണക്കിന് സിസ്റ്റം സൂചനകൾ പിന്തുടർന്നേക്കാം.

ഒരു പ്രധാന ഉൽപ്പന്ന തീരുമാനം പരിഹരിക്കാതെ തന്നെ മുഖ്യ മെട്രിക്കുകൾക്ക് ബോധ്യപ്പെടുത്തുന്നൊരു കഥ പറയാനാകും.

Klarnaയുടെ AI സഹായി കൂടുതൽ ത്രൂപുട്ട്, കുറഞ്ഞ ചെലവ്, മനുഷ്യ ഏജന്റുമാരുടേതിന് സമാനമായ ഉപഭോക്തൃ സംതൃപ്തി സ്കോറുകൾ എന്നിവയുമായി പരസ്യമായി ബന്ധപ്പെടുത്തപ്പെട്ടു. അടുത്ത വർഷം, ചെലവ് കുറയ്ക്കുന്നതിന് അമിത പ്രാധാന്യം നൽകിയെന്ന് ചീഫ് എക്സിക്യൂട്ടീവ് സമ്മതിച്ചതോടെ കമ്പനി മനുഷ്യസഹായത്തിലേക്കുള്ള പ്രവേശനം വർധിപ്പിക്കാൻ തീരുമാനിച്ചു.

ഇത് AI സഹായിയെയോ അതിന്റെ അടിസ്ഥാന സാങ്കേതികവിദ്യയെയോ നിരാകരിച്ചതായിരുന്നില്ല. ഉൽപ്പന്നം പ്രവർത്തിപ്പിച്ചതിൽനിന്ന് കമ്പനി പഠിച്ചതനുസരിച്ച് ഓട്ടോമേഷനും മനുഷ്യരുടെ സേവനവും തമ്മിലുള്ള സന്തുലനം ക്രമീകരിക്കുകയായിരുന്നു. കൂടുതൽ എണ്ണമുള്ളതും താരതമ്യേന ലളിതവുമായ ചോദ്യങ്ങൾ ഓട്ടോമേഷൻ ഏറ്റെടുത്തതോടെ, സങ്കീർണ്ണവും അതീവ ശ്രദ്ധ ആവശ്യമുള്ളതുമായ വിഷയങ്ങൾ കൈകാര്യം ചെയ്യാൻ പ്രാപ്തിയുള്ള ഏജന്റുമാരെയാണ് Klarna-യ്ക്ക് ആവശ്യമായിരുന്നത്.

കൂടുതൽ മെട്രിക്കുകൾ എല്ലായ്പ്പോഴും കൂടുതൽ വ്യക്തത നൽകില്ല

ഒരു ഉൽപ്പന്നം തുടക്കംമുതൽ എന്ത് നേടണമെന്ന് നിർവചിച്ചാലും, AI ഉൽപ്പന്നങ്ങൾ നിർമ്മിക്കുന്ന മിക്ക സ്ഥാപനങ്ങളും ഒടുവിൽ ഒരേ ചോദ്യം നേരിടും: അത് യഥാർഥത്തിൽ പ്രവർത്തിക്കുന്നുണ്ടോ?

ഉത്തരം വ്യക്തമല്ലെങ്കിൽ കൂടുതൽ മെട്രിക്കുകൾ ചേർക്കാനാണ് സാധാരണയായി തോന്നുക. മൂന്നെണ്ണം 10 ആകുന്നു, പിന്നീട് 10 എന്നത് 30 ആകുന്നു. ഡാഷ്ബോർഡ് കൂടുതൽ സമ്പന്നമാകുമെങ്കിലും ടീമിന്റെ ധാരണ മെച്ചപ്പെടണമെന്നില്ല.

പ്രശ്നം എല്ലായ്പ്പോഴും ഓരോ അളവിന്റെയും ഗുണനിലവാരമല്ല, അവ തമ്മിലുള്ള ബന്ധവുമാകാം. ഉപഭോക്തൃ സംതൃപ്തി, നെറ്റ് പ്രൊമോട്ടർ സ്കോർ, അവലോകനങ്ങൾ, അനുകൂല പ്രതികരണ നിരക്കുകൾ എന്നിവയെല്ലാം പ്രയോജനകരമായ സൂചനകൾ നൽകാമെങ്കിലും അവ മൊത്തത്തിലുള്ള വികാരത്തിലെ സമാന മാറ്റങ്ങളെയാകാം പ്രതിഫലിപ്പിക്കുന്നത്. അവ ഒരുമിച്ച് മാറുമ്പോൾ എന്തോ സംഭവിച്ചെന്ന് സ്ഥിരീകരിക്കുമെങ്കിലും അത് എന്തുകൊണ്ടെന്ന് വിശദീകരിക്കണമെന്നില്ല.

അതിനാൽ, പരസ്പരം യോജിക്കുന്ന മെട്രിക്കുകൾക്കപ്പുറം നോക്കി മത്സരിക്കുന്ന ഫലങ്ങൾ വെളിപ്പെടുത്തുന്ന അളവുകൾ AI ടീമുകൾ കണ്ടെത്തണം. പരസ്പരം നശിപ്പിക്കുന്ന ഈ ജോടികൾ ഉൽപ്പന്ന പ്രകടനത്തിനു പിന്നിലെ വിട്ടുവീഴ്ചകളുടെ സ്വാധീനം വെളിപ്പെടുത്താനും നിരീക്ഷിക്കാനും സഹായിച്ച് മികച്ച തീരുമാനങ്ങൾ സാധ്യമാക്കുന്നു.

തത്സമയ ശബ്ദ ഏജന്റുകൾ നിർമ്മിക്കുമ്പോൾ വിട്ടുവീഴ്ചകൾ നിരീക്ഷിക്കൽ: കൂടുതൽ മെട്രിക്കുകൾ സഹായകരമല്ലാതായപ്പോൾ

സമാരംഭത്തിനു മുമ്പുള്ള ഒരു വിന്യാസത്തിൽ, സംയുക്ത ടീം ഉപഭോക്തൃസഹായത്തിനായി വരുന്ന കോളുകൾ കൈകാര്യം ചെയ്യാൻ തത്സമയ AI ശബ്ദ ഏജന്റ് വികസിപ്പിക്കുകയായിരുന്നു. ഏറ്റവും പ്രയാസമുള്ള ചോദ്യങ്ങളിലൊന്ന് മോഡൽ തിരഞ്ഞെടുപ്പിനെയോ ഏകോപനത്തെയോ കുറിച്ചായിരുന്നില്ല. ഉപഭോക്താക്കൾ വലിയ തോതിൽ ഉപയോഗിക്കാൻ തുടങ്ങിയാൽ ഉൽപ്പന്നം പ്രവർത്തിക്കുന്നുണ്ടെന്ന് സ്ഥാപനം എങ്ങനെ അറിയുമെന്നതായിരുന്നു ചോദ്യം.

പ്രാരംഭ ചട്ടക്കൂട് മൂന്ന് അളവുകൾ ഉപയോഗിച്ചു:

  • സ്വയം പരിഹരണ നിരക്ക്: ഒരു വ്യക്തിയിലേക്ക് കൈമാറാതെ AI എത്ര തവണ കോൾ പരിഹരിക്കുന്നു.

  • കൈമാറ്റ നിരക്ക്: ഒരു കോൾ എത്ര തവണ മനുഷ്യ ഏജന്റിലേക്ക് കൈമാറുന്നു.

  • പരിഹാര നിരക്ക്: ഉപഭോക്താവിന്റെ പ്രശ്നം ഒടുവിൽ എത്ര തവണ പരിഹരിക്കപ്പെടുന്നു.

ഓരോ അളവും യുക്തിസഹമായിരുന്നു. എന്നാൽ ഒരുമിച്ച് പരിഗണിച്ചപ്പോൾ വ്യക്തമായൊരു ചോദ്യത്തിന് അവയ്ക്ക് ഉത്തരം നൽകാനായില്ല: കൈമാറ്റം വർധിച്ചാൽ അതിൽനിന്ന് നാം എന്ത് മനസ്സിലാക്കണം?

ടീം കൈമാറ്റത്തെ എട്ട് ഉപവിഭാഗങ്ങളായി വേർതിരിച്ചു. തുടർന്ന് ഉപേക്ഷിക്കൽ, യാത്ര, സമയക്രമം എന്നിവയുടെ അളവുകളും ഭാഷ മനസ്സിലാക്കൽ സ്കോറുകളും ചോദ്യതരം അനുസരിച്ചുള്ള പരിഹാരനിരക്കും ചേർത്തു. ഒടുവിൽ ചട്ടക്കൂടിൽ ആറ് വിഭാഗങ്ങളിലായി 31 മെട്രിക്കുകൾ ഉൾപ്പെട്ടു.

അതിന് കൈമാറ്റം വിശദമായി വിവരിക്കാമായിരുന്നെങ്കിലും കാരണം വിശ്വസനീയമായി കണ്ടെത്താനായില്ല. മിക്ക മെട്രിക്കുകളും ഒരേ സ്വഭാവത്തിന്റെ വകഭേദങ്ങളായതിനാൽ മത്സരിക്കുന്ന വിശദീകരണങ്ങൾ പരിശോധിക്കുന്നതിനുപകരം അവ ഒരുമിച്ച് നീങ്ങി.

ഡാഷ്ബോർഡ് പ്രശ്നനിർണയത്തിനുപകരം നിരീക്ഷണത്തിനുള്ളതായിത്തീർന്നു.

വിട്ടുവീഴ്ചകൾ വെളിപ്പെടുത്താൻ പരസ്പരം നശിപ്പിക്കുന്ന ജോടികൾ ഉപയോഗിക്കുക

ടീമിന് ആവശ്യമായിരുന്നത് മറ്റൊരു തലത്തിലുള്ള വിഭജനമായിരുന്നില്ല. പരസ്പരം നിയന്ത്രിക്കുന്ന മെട്രിക്കുകളാണ് ആവശ്യമായിരുന്നത്.

ഇവയെ ഞങ്ങൾ പരസ്പരം നശിപ്പിക്കുന്ന ജോടികൾ എന്നു വിളിക്കുന്നു: ഒന്നിനെ മാത്രം മെച്ചപ്പെടുത്തുന്നത് മറ്റേ അളവ് പ്രതിനിധീകരിക്കുന്ന ഫലത്തെ ദോഷകരമായി ബാധിക്കാവുന്ന രണ്ട് അളവുകൾ. ഈ പേര് അഭിലഷണീയമായ അവസ്ഥയെയല്ല, ഏകപക്ഷീയമായ പരമാവധീകരണം സൃഷ്ടിക്കുന്ന പരാജയരീതിയെയാണ് സൂചിപ്പിക്കുന്നത്.

ഇരുവശവും ആരോഗ്യകരമായി തുടരുമ്പോൾ ഉൽപ്പന്നം സുസ്ഥിരമായി പ്രവർത്തിക്കുന്നുണ്ടാകാം. അവ വ്യതിചലിക്കുമ്പോൾ അതിന്റെ ദിശ എവിടെ അന്വേഷിക്കണമെന്ന് തീരുമാനിക്കാൻ ടീമിനെ സഹായിക്കുന്നു.

ഞങ്ങൾക്ക് ഉണ്ടായിരുന്നത്

പരസ്പരം നശിപ്പിക്കുന്ന ജോടി

ജോടി വെളിപ്പെടുത്താനിടയുള്ളത്

എട്ട് ഉപവിഭാഗങ്ങളായി തിരിച്ച കൈമാറ്റ നിരക്ക്

കൈമാറ്റ നിരക്ക് ↔ കൈമാറ്റത്തിനെടുക്കുന്ന സമയം

ഉടനെയുള്ള കൈമാറ്റം വിശ്വാസത്തിലോ അവതരണത്തിലോ ഉള്ള പ്രശ്നം സൂചിപ്പിക്കാം; വൈകിയുള്ള കൈമാറ്റം സിസ്റ്റത്തിന് ജോലി പൂർത്തിയാക്കാനാകുന്നില്ലെന്ന് സൂചിപ്പിക്കാം.

സ്വയം പരിഹരണ നിരക്കും പരിഹാര നിരക്കും പ്രത്യേകം റിപ്പോർട്ട് ചെയ്തു

സ്വയം പരിഹരണ നിരക്ക് ↔ ഉപഭോക്തൃ വികാരം

സ്വയം പരിഹരിച്ചത് തൃപ്തികരമായ പരിഹാരമാണോ അതോ ഉപഭോക്താവ് ശ്രമം ഉപേക്ഷിച്ചതാണോ എന്ന്.

ഉദ്ദേശ്യത്തിന്റെ തരം അനുസരിച്ചുള്ള പരിഹാര നിരക്ക്

പരിഹാര നിരക്ക് ↔ സംഭാഷണത്തിന്റെ ആഴം

വിജയകരമായ പരിഹാരം കാര്യക്ഷമമാണോ അതോ ക്ഷീണിപ്പിക്കുന്ന സംഭാഷണം ആവശ്യമാണോ എന്ന്.

ഇത് എങ്ങനെ വെളിവാകുന്നുവെന്നും ഈ ഉൾക്കാഴ്ച ഉപയോഗിച്ച് എന്തുചെയ്യാമെന്നും ആഴത്തിൽ മനസ്സിലാക്കാൻ, കൈമാറ്റ നിരക്കും കൈമാറ്റത്തിനെടുക്കുന്ന സമയവും പരിഗണിക്കാം. യഥാർഥ കോളുകൾ വരുന്നതുവരെ ഉപഭോക്താക്കൾ എങ്ങനെ പെരുമാറുമെന്ന് ടീമിന് അറിയാനാകില്ലെങ്കിലും പരിശോധിക്കേണ്ട അനുമാനങ്ങൾ നിർവചിക്കാനാകും.

കൂടുതൽ കോളുകൾ കൈമാറപ്പെടുകയും ഉപഭോക്താക്കൾ ആദ്യ 30 സെക്കൻഡിനുള്ളിൽ AI അനുഭവത്തിൽനിന്ന് പുറത്തുപോകുകയും ചെയ്താൽ വിശ്വാസം, വെളിപ്പെടുത്തൽ, സംഭാഷണശൈലി, പ്രാരംഭ ഇടപെടലുകൾ എന്നിവ ടീം അന്വേഷിക്കണം. ഒരു ജോലി ചെയ്യാൻ പല മിനിറ്റ് ശ്രമിച്ചശേഷമാണ് ഉപഭോക്താക്കൾ കൈമാറ്റം ആവശ്യപ്പെടുന്നതെങ്കിൽ ശേഷിയോ പ്രവാഹത്തിന്റെ വ്യാപ്തിയോ ആയിരിക്കും കൂടുതൽ സാധ്യതയുള്ള പ്രശ്നം.

മുഖ്യ കൈമാറ്റ സംഖ്യ ഒന്നുതന്നെയാണ്. ഉൽപ്പന്ന തീരുമാനം വ്യത്യസ്തമാണ്.

പ്രയോജനപ്രദമായ ഒരു ജോഡി സ്വയം കാരണം തെളിയിക്കുന്നില്ല. മറിച്ച്, അത് അന്വേഷണത്തിന്റെ വ്യാപ്തി ചുരുക്കുകയും അടുത്ത തീരുമാനം കൂടുതൽ വ്യക്തമാക്കുകയും ചെയ്യുന്നു.

ചെലവും ഗുണനിലവാരവും ഒരുമിച്ച് വിലയിരുത്തണം

ചെലവും സേവന ഗുണനിലവാരവും പരസ്പരം സ്വാധീനിക്കുമ്പോൾ ഈ തത്വം എങ്ങനെ ബാധകമാകുന്നുവെന്ന് നേരത്തേ പറഞ്ഞ Klarna ഉദാഹരണം കാണിക്കുന്നു. വിട്ടുവീഴ്ചകളുടെ സ്വാധീനം നിരീക്ഷിച്ച് വിന്യാസത്തിൽനിന്ന് പഠിക്കുമ്പോൾ AI പ്രാപ്തമാക്കിയ പ്രവർത്തന മാതൃക എങ്ങനെ വികസിക്കാമെന്ന് ഇത് കാണിക്കുന്നു.

2024 ഫെബ്രുവരിയിൽ, ആദ്യമാസം AI സഹായി 23 ലക്ഷം സംഭാഷണങ്ങൾ കൈകാര്യം ചെയ്തെന്നും 700 മുഴുവൻസമയ ഏജന്റുമാരുടെ ജോലിക്ക് തുല്യമായ പ്രവർത്തനം നടത്തിയെന്നും മനുഷ്യ ഏജന്റുമാരുടേതിന് സമാനമായ ഉപഭോക്തൃ സംതൃപ്തി സ്കോറുകൾ നേടിയെന്നും കമ്പനി റിപ്പോർട്ട് ചെയ്തു. 2024-ൽ സഹായി 4 കോടി ഡോളറിന്റെ ലാഭവർധനയ്ക്ക് സംഭാവന ചെയ്യുമെന്ന് Klarna കണക്കാക്കി. സ്വതന്ത്രമായ വിലയിരുത്തലല്ല, Klarna തന്നെ റിപ്പോർട്ട് ചെയ്ത ഫലങ്ങളായിരുന്നു ഇവ.

2025 മേയിൽ, ഉപഭോക്തൃസേവനത്തിലെ ചെലവ് കുറയ്ക്കുന്നതിന് കമ്പനി അമിത പ്രാധാന്യം നൽകിയെന്ന് Klarnaയുടെ ചീഫ് എക്സിക്യൂട്ടീവ് പറയുകയും മനുഷ്യസഹായത്തിലേക്കുള്ള പ്രവേശനം വർധിപ്പിക്കാനുള്ള പദ്ധതികൾ വിശദീകരിക്കുകയും ചെയ്തു. ഇത് AI സഹായിയെയോ അതിന്റെ അടിസ്ഥാന സാങ്കേതികവിദ്യയെയോ നിരാകരിക്കുകയല്ല, യാന്ത്രിക സേവനവും മനുഷ്യസേവനവും തമ്മിലുള്ള സന്തുലനം ക്രമീകരിക്കുകയായിരുന്നു.

വ്യത്യസ്ത ഉപഭോക്താക്കളുടെയും ഇടപെടലുകളുടെയും ആവശ്യങ്ങൾക്കൊപ്പം കാര്യക്ഷമതാ അളവുകളും പരിഗണിക്കേണ്ടതെന്തുകൊണ്ടെന്ന് പൊതുവായ തെളിവുകൾ വ്യക്തമാക്കുന്നു. ഒരു AI സിസ്റ്റം ശരാശരിയിൽ നന്നായി പ്രവർത്തിച്ചാലും സങ്കീർണമോ സൂക്ഷ്മമോ അസാധാരണമോ ആയ ചില കേസുകൾക്ക് എളുപ്പത്തിൽ ലഭ്യമായ മനുഷ്യസഹായ മാർഗം ഇപ്പോഴും ഗുണകരമായേക്കാം.

ആ ബന്ധത്തിന്റെ ഇരുവശവും നിരീക്ഷിക്കുന്നത് യാന്ത്രികവൽക്കരണം എവിടെ മൂല്യം സൃഷ്ടിക്കുന്നു, എവിടെ മനുഷ്യസഹായം പ്രധാനമാണ്, പുതിയ തെളിവുകൾ ലഭിക്കുമ്പോൾ സന്തുലനം എങ്ങനെ മാറണം എന്നിവ തീരുമാനിക്കാൻ കമ്പനിയെ സഹായിക്കുന്നു.

AI ഉൽപ്പന്നങ്ങളിലെ പരസ്പരം നശിപ്പിക്കുന്ന മറ്റ് ജോടികളിൽ ഇവ ഉൾപ്പെടാം:

പരസ്പരം നശിപ്പിക്കുന്ന ജോടി

വെളിപ്പെടുത്താൻ സഹായിക്കുന്ന അപകടസാധ്യത

പ്രതികരണ കൃത്യത ↔ പ്രതികരണ കാലതാമസം

സാങ്കേതികമായി കൃത്യമാണെങ്കിലും പ്രവർത്തനപ്രവാഹത്തിന് തീരെ മന്ദഗതിയിലുള്ള സിസ്റ്റം.

ജോലി പൂർത്തീകരണം ↔ ഉപയോക്തൃ മറികടക്കൽ നിരക്ക്

ഉപയോക്താക്കൾ ആവർത്തിച്ച് വീണ്ടും ചെയ്യുന്ന ജോലികൾ പൂർത്തിയാക്കുന്ന AI പ്രവർത്തനപ്രവാഹം.

ഓരോ ഇടപെടലിന്റെയും ചെലവ് ↔ വിലയിരുത്തിയ ഔട്ട്പുട്ടിന്റെ ഗുണനിലവാരം

ഉപഭോക്താവിന്റെയോ ജീവനക്കാരന്റെയോ അനുഭവം മോശമാക്കി നേടിയ ലാഭം.

സ്വീകാര്യത ↔ മൂല്യം ലഭിക്കാനെടുക്കുന്ന സമയം

അനുബന്ധ ഉപയോക്തൃമൂല്യമില്ലാതെ രജിസ്ട്രേഷനുകൾ വർധിക്കുന്നത്.

രണ്ട് അളവുകളും അനന്തമായി വർധിപ്പിക്കുകയല്ല ലക്ഷ്യം. ഏകപക്ഷീയമായ പരമാവധീകരണം പ്രവർത്തന പ്രശ്നം സൃഷ്ടിക്കുന്നതിന് മുമ്പ് വിട്ടുവീഴ്ച ദൃശ്യമാക്കുകയാണ് ലക്ഷ്യം.

ഉപഭോക്താവിന്റെ തുടക്കസ്ഥിതി ഒരു മെട്രിക്കിന്റെ അർഥം മാറ്റുന്നു

ഒരു മൊബൈൽ ഗെയിം കമ്പനിക്കായുള്ള കളിക്കാരുടെ സഹായ വിന്യാസത്തിൽ ഇതുമായി ബന്ധപ്പെട്ടൊരു വെല്ലുവിളി ഉയർന്നു. നഷ്ടപ്പെട്ട പുരോഗതി, പണമിടപാട് തർക്കങ്ങൾ, അക്കൗണ്ട് പ്രവേശനം തുടങ്ങിയ വലിയ തോതിലുള്ള പ്രശ്നങ്ങൾ സിസ്റ്റം കൈകാര്യം ചെയ്തു.

സിസ്റ്റം വലിയ തോതിൽ പ്രവർത്തിച്ചതിനാൽ കാര്യക്ഷമതാ അളവുകൾ പ്രധാനമായിരുന്നു. എന്നാൽ കളിക്കാർക്കുള്ള സഹായം വെറുമൊരു പ്രവർത്തന നിരയല്ല. കളിക്കാരുടെ അനുഭവത്തിൽ മറ്റെവിടെയെങ്കിലും ഇതിനകം പ്രശ്നം സംഭവിച്ചതിനാൽ അവർ പലപ്പോഴും നിരാശരായാണ് എത്തുന്നത്.

ആ തുടക്കസ്ഥിതി ഉപഭോക്തൃ സംതൃപ്തി ഡാറ്റയെ വ്യാഖ്യാനിക്കേണ്ട രീതി മാറ്റുന്നു. പ്രശ്നം ശരിയായി പരിഹരിച്ചാലും ആദ്യം പുരോഗതി നഷ്ടപ്പെട്ടതിനാൽ ഒരു കളിക്കാരൻ കുറഞ്ഞ സംതൃപ്തി രേഖപ്പെടുത്തിയേക്കാം. സന്ദർഭമില്ലാതെ ആ സ്കോർ വായിക്കുന്നത് ഉപഭോക്തൃയാത്രയിൽ നേരത്തേ സൃഷ്ടിക്കപ്പെട്ട നിരാശയ്ക്ക് സഹായ ഇടപെടലിനെ ശിക്ഷിച്ചേക്കാം.

അതിനാൽ, ഉപഭോക്താവിന്റെ തുടക്കത്തിലെ വികാരവും സഹായാനുഭവത്തിന്റെ സ്വാധീനവും ടീം വേർതിരിച്ചറിയേണ്ടതുണ്ടായിരുന്നു. കൂടുതൽ പ്രയോജനകരമായ ചോദ്യം “കളിക്കാരൻ സന്തുഷ്ടനായിരുന്നോ?” എന്നതായിരുന്നില്ല.മറിച്ച്, “കളിക്കാരന്റെ തുടക്കസ്ഥിതിയുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ഈ ഇടപെടൽ സാഹചര്യം മെച്ചപ്പെടുത്തിയോയെന്നതായിരുന്നു?””

രണ്ടും വിശ്വസനീയമായി അളക്കാൻ ടീമിന് കഴിയുമെങ്കിൽ ഉൽപ്പന്നം സൃഷ്ടിച്ച നിരാശയെ സഹായത്തിന്റെ ഗുണനിലവാരത്തിൽനിന്ന് വേർതിരിക്കാൻ ഈ താരതമ്യം സഹായിക്കും.

ഉൽപ്പന്നത്തിനൊപ്പം അളവെടുപ്പും മാറണം

AI ഉൽപ്പന്നങ്ങൾ മാറുന്നു, എന്നാൽ അവയുടെ മെട്രിക്കുകൾ പലപ്പോഴും മാറ്റമില്ലാതെ തുടരുന്നു.

പരീക്ഷണഘട്ടത്തിൽ, തുടർനിക്ഷേപത്തെ ന്യായീകരിക്കാവുന്നത്ര സിസ്റ്റം വിശ്വസനീയമാണോ എന്നതായിരിക്കാം പ്രധാന ചോദ്യം:

  • അത് പ്രധാന ജോലി വിശ്വസനീയമായി പൂർത്തിയാക്കുന്നുണ്ടോ?

  • തുടർന്നും ഉപയോഗിക്കാവുന്നത്ര ഉപയോക്താക്കൾ അതിനെ വിശ്വസിക്കുന്നുണ്ടോ?

  • ഏറ്റവും സാധാരണമായ സാഹചര്യങ്ങൾക്കു പുറത്ത് അത് എങ്ങനെ പെരുമാറുന്നു?

  • പരാജയങ്ങൾ കണ്ടെത്തി സുരക്ഷിതമായി വീണ്ടെടുക്കാനാകുമോ?

ആ ചോദ്യങ്ങൾ ഇത്തരത്തിലുള്ള ജോടികൾക്ക് മുൻഗണന നൽകുന്നു:

  • പ്രധാന ജോലിയുടെ വിജയം ↔ അപൂർവ സാഹചര്യങ്ങളിലെ പ്രകടനം;

  • യാന്ത്രികവൽക്കരണ നിരക്ക് ↔ മനുഷ്യ ഇടപെടൽ നിരക്ക്; കൂടാതെ

  • പൂർത്തീകരണ വേഗം ↔ ഉപയോക്തൃ ആത്മവിശ്വാസം.

ഉൽപ്പന്നം പ്രവർത്തനപരമായി പ്രധാനമാകുമ്പോൾ ചോദ്യങ്ങൾ മാറുന്നു:

  • ഗുണനിലവാരം കുറയാതെ അതിന്റെ പ്രവർത്തനവ്യാപ്തി വർധിപ്പിക്കാനാകുമോ?

  • ഉപയോഗം കൂടുമ്പോൾ അതിന്റെ സാമ്പത്തികശാസ്ത്രം മെച്ചപ്പെടുന്നുണ്ടോ?

  • സ്വീകാര്യത വർധിക്കുമ്പോൾ പ്രകടനം സ്ഥിരമായി തുടരുന്നുണ്ടോ?

  • ശരിയായ ഇടങ്ങളിലാണോ മനുഷ്യ ഇടപെടലുകൾ നടക്കുന്നത്?

അനുബന്ധ ജോടികൾ ഇപ്രകാരം മാറിയേക്കാം:

  • ഓരോ ഇടപെടലിന്റെയും ചെലവ് ↔ വിലയിരുത്തിയ ഔട്ട്പുട്ടിന്റെ ഗുണനിലവാരം;

  • സ്വീകാര്യതയുടെ വ്യാപ്തി ↔ ഉപയോഗത്തിന്റെ ആഴം; കൂടാതെ

  • യാന്ത്രികവൽക്കരണ നിരക്ക് ↔ പ്രവർത്തനപരമായ അപകടസാധ്യത.

ആദ്യഘട്ട മെട്രിക്കുകൾ തെറ്റായിരിക്കണമെന്നില്ല. മുൻഘട്ടത്തിൽ പ്രധാനമായിരുന്ന ചോദ്യങ്ങൾക്കാണ് അവ ഉത്തരം നൽകുന്നത്.

പരിവർത്തനത്തിനിടെയാണ് അപകടസാധ്യത ഉണ്ടാകുന്നത്. പരീക്ഷണഘട്ട മെട്രിക്കുകൾ എങ്ങനെ റിപ്പോർട്ട് ചെയ്യണമെന്ന് ടീമുകൾക്കറിയാമെന്നതിനാലും അവ ഒഴിവാക്കാനുള്ള തീരുമാനത്തിന്റെ ഉത്തരവാദിത്തം ആർക്കുമില്ലാത്തതിനാലും അവ പലപ്പോഴും തുടരുന്നു. ഒരിക്കൽ പഠനത്തിന് സഹായിച്ച അളവുകൾ ക്രമേണ പ്രദർശന മെട്രിക്കുകളായി മാറാം.

അതിനാൽ ജോടികൾക്ക് ഒരു ജീവിതചക്രം ഉണ്ടായിരിക്കണം. നിർവചിക്കപ്പെട്ട തീരുമാനത്തിനായി ടീമുകൾ അവ അവതരിപ്പിക്കുകയും പ്രസക്തമായൊരു വിട്ടുവീഴ്ച ഇപ്പോഴും വെളിപ്പെടുത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുകയും ഉൽപ്പന്നമോ തീരുമാനമോ മാറുമ്പോൾ ഒഴിവാക്കുകയും വേണം.

നിരീക്ഷണവും തീരുമാനമെടുക്കലും വ്യത്യസ്ത തലങ്ങളാണ്

AI സിസ്റ്റങ്ങൾക്ക് വിശദമായ നിരീക്ഷണക്ഷമതയും മുന്നറിയിപ്പുകളും ഗുണനിലവാര ഉറപ്പും മൂല്യനിർണയവും ആവശ്യമാണ്. ആ സൂചനകൾ നീക്കിയാൽ ഉൽപ്പന്നം സുരക്ഷിതമായി പ്രവർത്തിപ്പിക്കുന്നത് കൂടുതൽ പ്രയാസമാകും. എന്നാൽ പ്രവർത്തന നിരീക്ഷണവും നേതൃത്വതല അളവെടുപ്പും ഒന്നല്ല.

സംഭവങ്ങൾ കണ്ടെത്താനും പരാജയങ്ങളുടെ പാത പിന്തുടരാനും സിസ്റ്റത്തിന്റെ സ്വഭാവം മനസ്സിലാക്കാനും നിരീക്ഷണം ടീമുകളെ സഹായിക്കുന്നു. നിക്ഷേപിക്കണോ, ഇടപെടണോ, ദിശ മാറ്റണോ, അതോ വിട്ടുവീഴ്ച അംഗീകരിക്കണോ എന്ന് തീരുമാനിക്കാൻ ഉൽപ്പന്ന-ബിസിനസ് നേതാക്കളെ തീരുമാന മെട്രിക്കുകൾ സഹായിക്കുന്നു.

ഒരു പ്രത്യേക ഉൽപ്പന്ന തീരുമാനത്തിനായി പരസ്പരം നശിപ്പിക്കുന്ന രണ്ടോ മൂന്നോ ജോടികൾ മാത്രം ഉയർത്തിക്കാട്ടുമ്പോഴും ഒരു സ്ഥാപനം നൂറുകണക്കിന് സാങ്കേതികവും പ്രവർത്തനപരവുമായ സൂചനകൾ നിരീക്ഷിച്ചേക്കാം. ആ തീരുമാനതലം ചെറുതായി നിലനിർത്തുന്നത് മുൻഗണന നിശ്ചയിക്കൽ എളുപ്പമാക്കുന്നു.

ഉചിതമായ അവലോകന ഇടവേള ഉൽപ്പന്നത്തെ ആശ്രയിച്ചിരിക്കുന്നു. പുതിയതോ അതിവേഗം മാറുന്നതോ ആയ സിസ്റ്റത്തിന് ആഴ്ചതോറും തീരുമാന അവലോകനം ആവശ്യമായേക്കാം; പക്വമായ ഉൽപ്പന്നത്തിന് പ്രതിമാസമോ ത്രൈമാസികമോ ആയ ഇടവേള മതിയാകും. ഇടവേളയെക്കാൾ പ്രധാനം തത്വമാണ്: വിട്ടുവീഴ്ച ചെലവേറിയതോ സുരക്ഷിതമല്ലാത്തതോ ആകുന്നതിന് മുമ്പ് നടപടിയെടുക്കാൻ കഴിയുന്നത്ര ഇടയ്ക്കിടെ ജോടി അവലോകനം ചെയ്യുക.

ഈ ജോഡി ഏത് നടപടിയാണ് ആരംഭിക്കേണ്ടതെന്ന് നിർവചിക്കുക.

ജോടിയുടെ നില മോശമായാൽ എന്തു ചെയ്യണമെന്ന് സ്ഥാപനം അംഗീകരിക്കുമ്പോഴാണ് അത് പ്രയോജനകരമാകുന്നത്.

വ്യതിയാനത്തിന് ഒരു 'റെഡ് ലൈൻ' (അതിർവരമ്പ്) നിർവചിക്കുന്നതിനേക്കാൾ കൂടുതൽ ഇതിന് ആവശ്യമുണ്ട്. ടീമുകൾ മൂന്ന് നിബന്ധനകൾ പരിഗണിക്കണം:

  • സമ്പൂർണ പരാജയം: മറ്റേ അളവ് എന്തായാലും ഒരു അളവ് അസ്വീകാര്യമായ പരിധി കടക്കുന്നു.

  • വ്യതിചലനം: ഒരു അളവ് മെച്ചപ്പെടുമ്പോൾ അതിനെ സന്തുലിതമാക്കുന്ന അളവ് മോശമാകുന്നു.

  • സംയുക്ത തകർച്ച: ഇരുവശവും മോശമാകുന്നു; ഇത് വിപുലമായ ഉൽപ്പന്നമോ പ്രവർത്തനപരമോ ആയ പ്രശ്നം സൂചിപ്പിക്കുന്നു.

ഓരോ ജോടിക്കും ഇവ ഉണ്ടായിരിക്കണം:

  • വ്യക്തമായി നാമനിർദേശം ചെയ്ത ഉടമ;

  • അത് പിന്തുണയ്ക്കുന്ന വ്യക്തമായ തീരുമാനം;

  • അംഗീകരിച്ച പരിധികളോ മൂല്യനിർണയ മാനദണ്ഡങ്ങളോ;

  • അന്വേഷണ മാർഗം; കൂടാതെ

  • സാധ്യമായ ഇടപെടലുകളുടെ ഒരു കൂട്ടം.

ഈ ഘടകങ്ങളില്ലെങ്കിൽ സ്ഥാപനം ഉൽപ്പന്നത്തെ നിയന്ത്രിക്കുകയല്ല, നിരീക്ഷിക്കുക മാത്രമാണ് ചെയ്യുന്നത്.

അടുത്ത മെട്രിക് അവലോകനത്തിനുള്ള അഞ്ച് ചോദ്യങ്ങൾ

മറ്റൊരു അളവ് ചേർക്കുന്നതിനുമുമ്പ് പ്രധാനപ്പെട്ടൊരു ഉൽപ്പന്ന തീരുമാനം തിരഞ്ഞെടുത്ത് ഈ ചോദ്യങ്ങൾ പരിശോധിക്കുക. അംഗീകരിച്ച അടുത്ത നടപടിയോടെ അവലോകനം അവസാനിക്കാൻ ഉത്തരങ്ങൾ എഴുതിവെക്കുക.

1. ഈ മെട്രിക്കുകൾ ഉപയോഗിച്ച് ഏത് തീരുമാനമാണ് നമുക്ക് എടുക്കേണ്ടത്?

വ്യക്തമാക്കുക: യാന്ത്രികവൽക്കരണം വിപുലീകരിക്കണോ, മോഡൽ മാറ്റണോ, അതോ മനുഷ്യരിലേക്കുള്ള കൈമാറ്റം മെച്ചപ്പെടുത്തണോ എന്നാണോ നാം തീരുമാനിക്കുന്നത്? അളവുകൾ തിരഞ്ഞെടുക്കുന്നതിന് മുമ്പ് തീരുമാനം വ്യക്തമാക്കുക.

2. ഈ സംഖ്യ മെച്ചപ്പെട്ടാൽ എന്താണ് മോശമാകാനിടയുള്ളത്?

നിങ്ങൾ സംരക്ഷിക്കേണ്ട ഫലവും ദോഷം വെളിപ്പെടുത്തുന്ന അളവും കണ്ടെത്തുക. ഉദാഹരണത്തിന്, ചെലവ് കുറഞ്ഞ ഉത്തരങ്ങൾ ഇപ്പോഴും പ്രയോജനകരമാണോ എന്ന് പരിശോധിക്കാൻ ഓരോ ഇടപെടലിന്റെയും ചെലവിനെ വിലയിരുത്തിയ ഔട്ട്പുട്ട് ഗുണനിലവാരവുമായി ജോടിയാക്കുക.

3. മുഖ്യ കണക്കുകൾ എന്താണ് മറച്ചുവെക്കുന്നത്?

ഒരേ ഉപയോക്താക്കൾക്കും ജോലികൾക്കും കാലയളവിനുമായി രണ്ട് അളവുകളും പരിശോധിച്ച് മോശം ഫലങ്ങൾ നേരിടുന്ന വിഭാഗങ്ങളെ കണ്ടെത്തുക. തുടക്കത്തിലെ സാഹചര്യങ്ങളും പരിഗണിക്കുക: കുറഞ്ഞ സംതൃപ്തി സഹായ ഇടപെടലിന് മുമ്പുതന്നെ ഉണ്ടായിരുന്ന നിരാശയെ പ്രതിഫലിപ്പിക്കാം.

4. എന്താണ് നമ്മെ നടപടിയെടുക്കാൻ പ്രേരിപ്പിക്കുക, പ്രതികരണത്തിന്റെ ഉത്തരവാദി ആരാണ്?

ഒരു അളവ് അസ്വീകാര്യമായ പരിധി കടക്കുമ്പോഴോ, ഒന്ന് മെച്ചപ്പെടുകയും മറ്റൊന്ന് മോശമാകുകയും ചെയ്യുമ്പോഴോ, രണ്ടും തകരുമ്പോഴോ നടപടിയെടുക്കാനുള്ള മാനദണ്ഡങ്ങൾ നിശ്ചയിക്കുക. ആരാണ് അന്വേഷിക്കുക, ആദ്യം എന്താണ് പരിശോധിക്കുക, എപ്പോൾ റിപ്പോർട്ട് നൽകും എന്നിവയിൽ ധാരണയിലെത്തുക.

5. ഈ ജോടി ഉൽപ്പന്നത്തിന്റെ നിലവിലെ ഘട്ടത്തിന് ഇപ്പോഴും യോജിക്കുന്നുണ്ടോ?

അത് നിലനിർത്തണോ, മാറ്റിസ്ഥാപിക്കണോ, ഒഴിവാക്കണോ എന്ന് തീരുമാനിക്കുക. പരീക്ഷണഘട്ടത്തിൽ ജോലിയുടെ വിശ്വാസ്യതയ്ക്കും ഉപയോക്തൃ ആത്മവിശ്വാസത്തിനും പ്രാധാന്യം നൽകാം; തത്സമയ സേവനത്തിൽ ചെലവും ഗുണനിലവാരവും കൂടുതൽ സൂക്ഷ്മമായി പരിശോധിക്കേണ്ടിവരും. തിരഞ്ഞെടുപ്പ് വീണ്ടും പരിശോധിക്കാൻ ഒരു തീയതി നിശ്ചയിക്കുക.

AI ഉൽപ്പന്ന അളവെടുപ്പ് പ്രകടനം വിവരിക്കുക മാത്രമല്ല ചെയ്യേണ്ടത്. സ്ഥാപനം നടത്തുന്ന വിട്ടുവീഴ്ചകൾ വെളിപ്പെടുത്തുകയും അടുത്ത തീരുമാനം കൂടുതൽ വ്യക്തമാക്കുകയും വേണം.

Authors

Ale Zacarias, Josie Steer