మీ ఏజెంట్ ఆధారిత వ్యవస్థలో నిర్ణయాలు ఎలా, ఎక్కడ తీసుకోవాలో జాగ్రత్తగా పరిశీలించడం ముఖ్యం.
ఎక్కువ నిర్ణయాలను LLMకు అప్పగిస్తే వ్యవస్థ మరిన్ని పనులకు అనుగుణంగా మారవచ్చు. అయితే వేగం, విశ్వసనీయత, పటిష్ఠత తగ్గే అవకాశం ఉంది.
సాధ్యమైనంత వరకు నిర్ణయ ప్రక్రియను LLM నుంచి వేరు చేసి, స్పష్టమైన సాఫ్ట్వేర్ కోడ్లో అమలు చేయండి. అధిక ప్రమాదమున్న లేదా ఉత్పత్తి స్థాయి కార్యప్రవాహాలకు ఇది మరింత వర్తిస్తుంది.
LLM ఆధారిత ఏజెంట్ వ్యవస్థను రూపొందించేటప్పుడు, నిర్ణయ ప్రక్రియలో ఎంత భాగాన్ని LLM మోడల్లో ఉంచాలి, ఎంత భాగాన్ని స్పష్టమైన సాఫ్ట్వేర్లో అమలు చేయాలి అనేది అత్యంత ముఖ్యమైన ఎంపికల్లో ఒకటి.
దీన్ని అర్థం చేసుకోవడానికి, కింది రెండు విధానాల మధ్య ఉండే పరిధిగా ఈ ఎంపికను చూడవచ్చు.
రూటర్ ఆధారిత నిర్మాణాలు క్రమాన్ని, తర్కాన్ని కోడ్లో స్పష్టంగా నిర్వచిస్తాయి. దీనివల్ల పరిమిత పరిధి పనుల్లో పరీక్షించగల సామర్థ్యం, ముందస్తు అంచనా, పటిష్ఠత లభిస్తాయి. వీటిని ‘కార్యప్రవాహ ఏజెంట్లు’ అని కూడా అంటారు.
ఆర్కెస్ట్రేటర్ ఏజెంట్లు సహజ భాషా సూచనలతో పని ప్రవాహాలను గతిశీలంగా నిర్ణయించడానికి భారీ భాషా మోడళ్లపై (LLMలు) ఆధారపడతాయి. ముందుగా నిర్వచించిన తర్కం సరిపోని లేదా సాధ్యం కాని స్వేచ్ఛాయుత పరస్పర చర్యలకు ఇవి అనువైనవి.
అధిక ప్రమాదమున్న ఉత్పత్తి కార్యప్రవాహాల్లో సాధారణంగా మరిన్ని రూటర్ ఆధారిత లక్షణాలను ఉపయోగించాలని, సౌలభ్యమైన సాధారణ ప్రయోజన సంభాషణలు అవసరమైన అనువర్తనాలకే ఆర్కెస్ట్రేటర్లను పరిమితం చేయాలని సిఫార్సు చేస్తాం.
రూటర్ ఆధారిత నిర్మాణాలు
రూటర్ ఏజెంట్ వ్యవస్థలు:
నిర్ణయ ప్రవాహాన్ని కోడ్ లేదా సాఫ్ట్వేర్లో స్పష్టంగా నిర్వచించి, ఆ సాఫ్ట్వేర్ ఏ మార్గాన్ని ఎంచుకోవాలో నిర్ణయించడానికి LLMను ఉపయోగిస్తాయి.
స్పష్టమైన, ముందే అంచనా వేయగల మార్గాలు ఉండి మరింత స్థిరమైన ఫలితాలు ఇస్తాయి కాబట్టి ఇవి సంప్రదాయ సాఫ్ట్వేర్ వ్యవస్థలకు దగ్గరగా ఉంటాయి.
కచ్చితంగా నిర్వచించగల పనులకు ఇవి అనువైనవి.
‘రూటర్ విధానాన్ని’ ఉపయోగించే విమానయాన చాట్బాట్ బుకింగ్ ఏజెంట్కు ఇది ఒక సరళ ఉదాహరణ. మూడు సాధ్యమైన ఎంపికల నుంచి ప్రశ్న ఉద్దేశాన్ని వర్గీకరించడానికి LLM సహాయపడినా, చివరకు ఆ ఉద్దేశానికి నమూనా వచన ప్రతిస్పందనను జతచేసేది మన సాఫ్ట్వేరే. LLMపై కఠిన పరిమితులు ఉండటం వల్ల వినియోగదారుకు మరింత స్థిరమైన ప్రవర్తన కనిపిస్తుంది.
ఆర్కెస్ట్రేటర్ నిర్మాణాలు
రూటర్ వ్యవస్థకు భిన్నంగా, ఆర్కెస్ట్రేటర్ ఏజెంట్ వ్యవస్థలు:
సాఫ్ట్వేర్కు బదులుగా సహజ భాషా సూచనలతో తర్క ప్రవాహాలను నిర్వచిస్తాయి. గమనిక: ప్రోగ్రామింగ్ భాషతో పోలిస్తే సహజ భాష స్వతహాగా అస్పష్టంగా, సౌలభ్యంగా ఉంటుంది. ఇది అనుకూల, ప్రతికూల లక్షణం రెండూ. దీని గురించి తర్వాత చర్చిస్తాం. దీన్ని మేము ‘ఆదేశం కంటే ఉద్దేశం’గా పరిగణిస్తాం.
అనేక ప్రాసెసింగ్ ఎంపికలను అందించగలవు. అమలు క్రమాన్ని, పద్ధతిని LLM నిర్ణయిస్తుంది.
సాఫ్ట్వేర్లో స్పష్టంగా నిర్వచించడం కష్టమైన కొత్త తర్క మార్గాలను గతిశీలంగా సృష్టించగలవు.
ఈ అస్పష్టత అస్థిర ఫలితాలకు దారితీయవచ్చు. అయితే సరిగ్గా పనిచేసినప్పుడు అది ‘మాయాజాలం’లా అనిపించవచ్చు.
కింది ఉదాహరణ అదే సరళ విమానయాన సమస్యకు ఆర్కెస్ట్రేటర్ విధానాన్ని వర్తింపజేస్తుంది. ఏ ప్రతిస్పందన తగినదో సాఫ్ట్వేర్ నిర్ణయించే బదులు, ఆ నిర్ణయాన్ని LLM పొరకు అప్పగిస్తారు. ఇక్కడ బహుళ ఏజెంట్ వ్యవస్థ ఉంది. అందులో ‘ప్రధాన’ ఆర్కెస్ట్రేటర్ ఏజెంట్ వినియోగదారు ప్రశ్నను పరిశీలించి, విమానాలను మార్చడానికి ప్రత్యేకంగా రూపొందించిన ఏజెంట్కు అప్పగిస్తుంది. చివరకు అదే వినియోగదారుకు సమాధానం అందిస్తుంది.
ఈ ఉదాహరణలో LLM పొర వర్గీకర్తగా, రూటర్గా, ప్రతిస్పందన రచయితగా పనిచేస్తోంది. రూటర్ ఉదాహరణలో అది కేవలం వర్గీకర్తగా పనిచేసింది. మిగతా పనిని సాఫ్ట్వేర్ నిర్వహించింది.
సాధ్యమైన చోట రూటర్ ఆధారిత విధానాలను ఉపయోగించాలని మేము సిఫార్సు చేస్తున్నాం. అవి కింది ప్రయోజనాలను అందిస్తాయి.
వేగం, సామర్థ్యం: బాహ్య APIలపై ఆధారపడే ఆర్కెస్ట్రేటర్లతో పోలిస్తే స్థానిక గణనలు మెరుగైన వేగాన్ని అందిస్తాయి. మీ ‘IF/ELSE’ తర్కాన్ని 400 బిలియన్ పరామితుల మోడల్ ద్వారా పంపడానికి LLM ప్రదాతకు చెల్లించడం కంటే, Pythonలో ప్రాసెస్ చేయడం చాలా చవక.
పరీక్షించగల సామర్థ్యం, ముందస్తు అంచనా: స్థిరపడిన సాఫ్ట్వేర్ పద్ధతులతో దోషాలను గుర్తించడం, పరీక్షించడం, నిర్వహించడం గణనీయంగా సులభం.
పారదర్శకత, విశ్వసనీయత: ప్రవర్తనలో తక్కువ వైవిధ్యం ఉండటం వల్ల సమస్యలను పరిష్కరించడం సులభమవుతుంది. అనువర్తన ప్రవాహంలో ఎక్కువ భాగం LLMలోని అపారదర్శకమైన, అర్థం చేసుకోలేని భారాలకు బదులు, పారదర్శకమైన సంస్కరణ నియంత్రిత సాఫ్ట్వేర్లో వ్యక్తమవుతుంది.
రూటర్ విధానాలు కఠినంగా, సౌలభ్యం లేకుండా ఉండవచ్చు. మరింత స్వేచ్ఛాయుత సమస్యలను పరిష్కరించడంలో ఇబ్బంది పడవచ్చు. ఎప్పుడూ అచ్చం ఒకే సమాధానాలు ఇచ్చే చాట్బాట్ను వినియోగదారులు విసుగు పుట్టించేదిగా లేదా నిస్సారంగా భావించవచ్చు.
ఆర్కెస్ట్రేటర్ రూపకల్పనలకు శక్తిమంతమైన సామర్థ్యాలు ఉన్నాయి.
ప్రణాళిక: అవి ప్రతిస్పందనలను గతిశీలంగా ప్రణాళిక చేయగలవు.
సాధన ఎంపిక/ఏజెంట్కు అప్పగింత: తగిన సాధనాలను ఎంచుకోవచ్చు లేదా ఏజెంట్లకు పనులను అప్పగించవచ్చు.
ఫలితాల పునరావృత సమ్మేళనం: ఫలితాలను పునరావృతంగా మెరుగుపరచి, సృజనాత్మకంగా మళ్లీ కలపగలవు.
పూర్తయినదో నిర్ణయించడం: ప్రతిస్పందనను ఖరారు చేయడానికి తగిన సమాచారం సేకరించబడిందో నిర్ణయించగలవు.
Pydantic-AI లేదా OpenAI యొక్క Agents SDK వంటి ఫ్రేమ్వర్క్లతో సమన్వయాన్ని సులభంగా, వేగంగా అమలు చేయవచ్చు. అందువల్ల ప్రదర్శనలు లేదా భావన నిరూపణలకు ఇది ఎంతో అనుకూలం.
ఈ విధానంలోని ప్రతికూలతలు ఇవి.
LLM ప్రణాళిక దశలు, వాటి తర్వాతి చర్యలు సరైనవి లేదా తగినవి అవుతాయనే హామీ లేదు. రూటర్ వ్యవస్థకూ ఇదే సమస్య ఉంది. అయితే దానిపై ఎక్కువ పరిమితులు ఉండటం వల్ల దాని ప్రవర్తనను ముందే అంచనా వేయడం సులభం.
సరళమైన, స్పష్టంగా నిర్వచించిన పనులకు బహుళ ఏజెంట్ వ్యవస్థ పూర్తి సామర్థ్యం అవసరమయ్యే అవకాశం తక్కువ. ఉదాహరణకు, మా విమానయాన ఏజెంట్ సందర్భంలో విమానయాన సహాయక వ్యవస్థతో పరస్పర చర్య చేసే వ్యక్తి కోరే ప్రశ్నల రకాలు పరిమితంగానే ఉండవచ్చు.
ఎక్కువ తర్కం LLMలో ఉండటం వల్ల దురుద్దేశంతో వ్యవహరించే వ్యక్తులు దాన్ని జైల్బ్రేక్ చేయడం లేదా దుర్వినియోగం చేయడం చాలా సులభమవుతుంది.
ఇది నిర్ణయ ప్రక్రియను LLMలో నిగూఢం చేస్తుంది. అందువల్ల మీ వ్యవస్థను అర్థం చేసుకోవడం కష్టమవుతుంది. అయితే Langfuse లేదా Braintrust వంటి పర్యవేక్షణ సాధనాలు కొంతవరకు సహాయపడవచ్చు.
పాఠకులకు గమనిక: మోడల్ సామర్థ్యం వేగంగా మారుతున్నప్పటికీ, కింది అంశాలు సమీప భవిష్యత్తులో మారే అవకాశం తక్కువ.
మీ సమస్య పరిధిని నిర్ణయించండి.
మీకు కావాల్సిన నిర్ణయ తర్కాన్ని రేఖాచిత్రంలో సులభంగా నిర్వచించగలరా?
మీ అనువర్తనంలో వైఫల్యాన్ని లేదా ఊహించని ప్రవర్తనను ఏమాత్రం సహించలేరా?
పై వాటిలో దేనికైనా ‘అవును’ అని సమాధానమిస్తే, రూటర్ లక్షణాలు మెరుగైనవని సూచిస్తుంది.
సాధ్యమైనంత వరకు రూటర్ విధానాలను ఉపయోగించాలని మేము సిఫార్సు చేస్తున్నాం. సాధారణ సూత్రంగా, మీ వ్యవస్థలోని ఏదైనా భాగాన్ని కోడ్లో వ్యక్తపరచగలిగితే అలాగే చేయండి. అవసరం లేనప్పుడు LLMలను అతిగా ఉపయోగించవద్దు.
వాటి పరిమితులు ఎదురైనప్పుడు, ఆర్కెస్ట్రేటర్ అందించే కొన్ని స్వేచ్ఛాయుత ప్రయోజనాలను నియంత్రిత పద్ధతిలో పునరావృతం చేయవచ్చు. ఉదాహరణకు:
సాధన ఎంపిక/ఏజెంట్కు అప్పగింత: షరతులతో కూడిన శాఖలు లేదా LLM వర్గీకర్తలతో సులభంగా అమలు చేయవచ్చు.
పూర్తయినదో నిర్ణయించడం: సరళమైన LLM వర్గీకర్తలు ప్రతిస్పందనను వినియోగదారుకు పంపే ముందు అది పూర్తిగా ఉందో లేదో తనిఖీ చేయగలవు.
అయితే కఠినమైన రూటర్ వ్యవస్థలో ‘ప్రణాళిక’, ‘ఫలితాల పునరావృత సమ్మేళనం’ సాధించడం నిస్సందేహంగా చాలా కష్టం. కాబట్టి ఒక పనికి ఇవి అవసరమని LLM వర్గీకర్త లేదా ఇతర తర్కం నిర్ణయించినప్పుడు, మీ వ్యవస్థలో తక్కువ పరిమితులున్న ఆర్కెస్ట్రేటర్ శాఖను సృష్టించాలని సూచిస్తున్నాం.
రూటర్, ఆర్కెస్ట్రేటర్ నిర్మాణాల్లో మీ ఎంపిక అనువర్తనపు స్పష్టత, సంక్లిష్టత, పరస్పర చర్య శైలికి అనుగుణంగా ఉండాలి. స్పష్టంగా నిర్వచించిన పనులకు రూటర్ ఆధారిత విధానాలు ప్రస్తుతం విశ్వసనీయత, సామర్థ్యం, సులభంగా పరీక్షించగల సౌలభ్యాన్ని అందిస్తున్నాయి. విస్తృతమైన సంభాషణాత్మక పరస్పర చర్యలకు ఆర్కెస్ట్రేటర్లు మెరుగైన సౌలభ్యాన్ని అందిస్తాయి.
LLMలు అభివృద్ధి చెందుతూనే ఉన్నందున, ఈ విధానాల మధ్య సమతుల్యత మారవచ్చు. ఉత్పత్తి పనిభారాలకు రూటర్ ఆధారిత లేదా మిశ్రమ నిర్మాణాల వైపు మేము మొగ్గు చూపుతాం. గతిశీలమైన, మానవ తరహా పరస్పర చర్య అవసరమైన స్వేచ్ఛాయుత సమస్యలకే ఆర్కెస్ట్రేటర్లను పరిమితం చేస్తాం.