Huwa importanti li tqis bir-reqqa kif u fejn jittieħdu d-deċiżjonijiet fis-sistema tiegħek ibbażata fuq aġenti.
Meta tħalli aktar deċiżjonijiet f’idejn LLM, is-sistema tista’ potenzjalment tiġi ġeneralizzata għal aktar kompiti, iżda dan jista’ jnaqqas il-veloċità, l-affidabbiltà u r-robustezza.
Fejn possibbli, ipprova oħroġ kemm jista’ jkun mill-proċess tat-teħid tad-deċiżjonijiet mil-LLM u esprimih f’kodiċi tas-software espliċitu. Dan jgħodd b’mod speċjali għal flussi tax-xogħol ta’ riskju għoli u/jew ta’ produzzjoni.
Meta tfassal sistema b’aġenti bbażata fuq LLM, waħda mill-aktar għażliet importanti hija kemm mit-teħid tad-deċiżjonijiet għandu jkun inkorporat f’mudell LLM u kemm għandu jitwettaq minn software espliċitu.
Biex nifhmu aħjar, nistgħu nqisu din l-għażla bħala firxa bejn dawn l-approċċi:
Arkitetturi bbażati fuq router jiddefinixxu b’mod espliċitu l-ordni u l-loġika fil-kodiċi, u b’hekk jiżguraw il-possibbiltà tal-ittestjar, il-prevedibbiltà u r-robustezza għal kompiti f’oqsma limitati (jissejħu wkoll “aġenti tal-fluss tax-xogħol”).
Aġenti orkestraturi jiddependu fuq mudelli lingwistiċi kbar (LLMs) biex jiddeċiedu b’mod dinamiku l-flussi tal-kompiti permezz ta’ prompts b’lingwaġġ naturali. Dawn huma ideali għal interazzjonijiet miftuħa fejn loġika definita minn qabel ma tkunx biżżejjed jew possibbli.
Għal flussi tax-xogħol ta’ produzzjoni b’riskju għoli, ġeneralment nirrakkomandaw aktar karatteristiċi bbażati fuq router, filwaqt li l-orkestraturi jitħallew għal applikazzjonijiet li jeħtieġu konverżazzjonijiet flessibbli u għal skopijiet ġenerali.
Arkitetturi Bbażati fuq Router
Sistemi b’aġenti li jużaw router:
Jiddefinixxu b’mod espliċitu l-fluss tat-teħid tad-deċiżjonijiet permezz ta’ kodiċi jew software u jużaw LLM biex jiddeterminaw liema rotta jieħu s-software.
Huma eqreb lejn sistemi tradizzjonali tas-software, għax għandhom rotot ċari u prevedibbli li jwasslu għal riżultati aktar konsistenti.
Huma ideali għal kompiti li jistgħu jiġu definiti b’mod strett.
Dan li ġej huwa eżempju sempliċi ta’ aġent chatbot għall-prenotazzjonijiet ta’ linja tal-ajru li juża l-“approċċ tar-router”. Nistgħu naraw li, filwaqt li l-LLM jgħinna nikklassifikaw l-intenzjoni tal-mistoqsija minn tliet għażliet possibbli, fl-aħħar mill-aħħar huwa s-software tagħna li jorbot din l-intenzjoni ma’ tweġiba testwali minn mudell. Peress li l-LLM huwa ristrett ħafna, l-utent jesperjenza mġiba aktar konsistenti.
Arkitetturi ta’ Orkestraturi
B’kuntrast mas-sistema tar-router, is-sistemi b’aġenti orkestraturi:
Jiddefinixxu l-flussi loġiċi permezz ta’ prompts b’lingwaġġ naturali minflok bis-software. Nota: meta mqabbel ma’ lingwa ta’ programmazzjoni, il-lingwaġġ naturali huwa intrinsikament ambigwu u flessibbli (karatteristiċi kemm pożittivi kif ukoll negattivi, kif se niddiskutu aktar tard). Aħna nqisu dan bħala “intenzjoni minflok struzzjoni”.
Jistgħu jipprovdu diversi għażliet ta’ pproċessar, filwaqt li l-LLM jiddetermina l-ordni u l-metodu tal-eżekuzzjoni.
Jistgħu joħolqu b’mod dinamiku rotot loġiċi ġodda li diffiċli jiġu definiti b’mod espliċitu fis-software.
Din l-ambigwità tista’ twassal għal outputs inkonsistenti, iżda meta taħdem tista’ tidher “maġika”.
L-eżempju li ġej japplika approċċ ta’ orkestratur għall-istess problema sempliċi tal-linja tal-ajru. Minflok inħallu s-software jiddeċiedi liema tweġiba hija xierqa, it-teħid tad-deċiżjonijiet jiġi ddelegat lis-saff tal-LLM. Hawn għandna sistema b’diversi aġenti fejn aġent orkestratur “ewlieni” jagħżel kif għandha tiġi ttrattata l-mistoqsija tal-utent u jgħaddiha lil aġent imfassal speċifikament biex jibdel it-titjiriet, li fl-aħħar jipprovdi t-tweġiba lill-utent.
F’dan l-eżempju, is-saff tal-LLM għandu r-rwoli ta’ klassifikatur, router u kittieb tat-tweġiba. Fl-eżempju tar-Router, kellu biss ir-rwol ta’ klassifikatur (filwaqt li s-software ħa ħsieb il-bqija).
Fejn possibbli, nirrakkomandaw approċċi bbażati fuq router minħabba dawn il-vantaġġi:
Veloċità u effiċjenza: Il-komputazzjonijiet lokali huma aktar veloċi minn orkestraturi li jiddependu fuq APIs esterni. Huwa wkoll ferm irħas li tipproċessa l-loġika “IF/ELSE” f’python milli tħallas lil fornitur ta’ LLM biex jgħaddiha mill-mudell tiegħu b’400 biljun parametru.
Possibbiltà tal-ittestjar u prevedibbiltà: Huwa ferm aktar faċli li ssib u tirranġa l-iżbalji, tittestja u tagħmel manutenzjoni permezz ta’ prattiki stabbiliti tas-software.
Trasparenza u affidabbiltà: Inqas varjazzjoni fl-imġiba tissimplifika s-soluzzjoni tal-problemi. Barra minn hekk, proporzjon akbar tal-fluss tal-applikazzjoni jiġi espress f’software trasparenti u kkontrollat bil-verżjonijiet, minflok fil-piżijiet opaki u diffiċli biex jiġu interpretati ta’ LLM.
L-iżvantaġġi tal-approċċi b’router huma li jistgħu jkunu riġidi, inflessibbli u jsibuha diffiċli biex jittrattaw problemi aktar miftuħa. Chatbot li dejjem jagħti eżattament l-istess tweġibiet jista’ jitqies mill-utenti tiegħu bħala tedjanti jew staġnat.
Id-disinji b’orkestratur għandhom kapaċitajiet qawwija:
Ippjanar: Jistgħu jippjanaw it-tweġibiet b’mod dinamiku.
Għażla tal-Għodod/Għoti tal-Kompitu lil Aġent: Jagħżlu l-għodod xierqa jew jiddelegaw il-kompiti lill-aġenti.
Kombinazzjoni Iterattiva tal-Outputs: Jirfinaw u jerġgħu jikkombinaw l-outputs b’mod kreattiv.
Determinazzjoni tat-Tlestija: Jiddeterminaw meta tkun inġabret biżżejjed informazzjoni biex tiġi ffinalizzata tweġiba.
L-użu ta’ oqfsa bħal Pydantic-AI jew l-Agents SDK ta’ OpenAI jagħmel l-orkestrazzjoni faċli u rapida biex tiġi implimentata. Għalhekk huwa tajjeb ħafna għal dimostrazzjonijiet jew provi tal-kunċett.
L-iżvantaġġi ta’ dan l-approċċ huma li:
M’hemm ebda garanzija li l-passi tal-ippjanar tal-LLM u l-azzjonijiet sussegwenti jkunu korretti jew xierqa. Is-sistema tar-router għandha l-istess problema, iżda peress li hija aktar ristretta, l-imġiba tagħha hija aktar prevedibbli.
Għal kompiti sempliċi u definiti sew, aktarx ma neħtiġux il-kapaċitajiet kollha ta’ sistema b’diversi aġenti. Pereżempju, fl-eżempju tagħna tal-Aġent tal-Linja tal-Ajru, probabbilment hemm biss għadd limitat ta’ tipi ta’ talbiet li persuna li tuża sistema ta’ appoġġ ta’ linja tal-ajru tkun fil-fatt trid tagħmel.
Minħabba li aktar loġika tinsab fl-LLM, is-sistema hija ħafna aktar vulnerabbli għal jailbreak jew sfruttament minn persuni malizzjużi.
Dan jaħbi t-teħid tad-deċiżjonijiet fl-LLM u għalhekk jagħmilha aktar diffiċli biex tifhem is-sistema tiegħek (għalkemm għodod ta’ monitoraġġ bħal Langfuse jew Braintrust jistgħu jgħinu parzjalment).
Nota għall-qarrej: għalkemm il-kapaċità tal-mudell qed tinbidel malajr, aktarx li dak li ġej mhux se jinbidel fil-futur qrib.
Iddetermina l-ambitu tal-problema tiegħek.
Tista’ tiddefinixxi faċilment il-loġika mixtieqa għat-teħid tad-deċiżjonijiet f’dijagramma?
L-applikazzjoni tiegħek ma tiflaħx għal fallimenti jew imġiba mhux mistennija?
Tweġiba “iva” għal xi waħda mill-mistoqsijiet t’hawn fuq tissuġġerixxi li l-karatteristiċi tar-router ikunu aħjar.
Fejn possibbli, nirrakkomandaw li tuża approċċi b’router sakemm jippermettu ċ-ċirkostanzi. Bħala prinċipju ġenerali, jekk parti mis-sistema tiegħek tista’ tiġi espressa f’kodiċi, esprimiha f’kodiċi (jiġifieri tużax iżżejjed l-LLMs meta ma jkunux meħtieġa).
Meta jintlaħqu l-limiti tagħhom, uħud mill-vantaġġi miftuħa tal-orkestraturi jistgħu jiġu riprodotti b’mod ikkontrollat. Pereżempju:
Għażla tal-Għodod/Għoti tal-Kompitu lil Aġent: Tista’ tiġi implimentata faċilment permezz ta’ fergħat kundizzjonali jew klassifikaturi LLM.
Determinazzjoni tat-Tlestija: Klassifikaturi LLM sempliċi jistgħu jiċċekkjaw jekk tweġiba hijiex kompluta qabel ma tintbagħat lill-utent.
Madankollu, l-“Ippjanar” u l-“Kombinazzjoni Iterattiva tal-Outputs” huma bla dubju ferm aktar diffiċli biex jinkisbu f’sistema riġida b’router. Għalhekk, meta kompitu jeħtieġ dawn il-kapaċitajiet (kif iddeterminat minn klassifikatur LLM jew xi loġika oħra), nissuġġerixxu li toħloq fergħa ta’ orkestratur b’inqas restrizzjonijiet fis-sistema tiegħek.
L-għażla tiegħek bejn arkitetturi b’router u dawk b’orkestratur għandha tirrifletti ċ-ċarezza, il-kumplessità u l-istil ta’ interazzjoni tal-applikazzjoni tiegħek. Bħalissa, approċċi bbażati fuq router joffru affidabbiltà, effiċjenza u faċilità ta’ ttestjar għal kompiti definiti b’mod ċar. L-orkestraturi joffru aktar flessibbiltà għal interazzjonijiet usa’ u konverżazzjonali.
Hekk kif l-LLMs ikomplu javvanzaw, il-bilanċ bejn dawn l-approċċi jista’ jinbidel. Għal xogħlijiet ta’ produzzjoni, nippreferu arkitetturi bbażati fuq router jew ibridi, u nżommu l-orkestraturi għal problemi miftuħa li jeħtieġu interazzjoni dinamika u simili għal dik tal-bniedem.