Mikilvægt er að íhuga vandlega hvernig og hvar ákvarðanir eru teknar í fulltrúakerfinu þínu.
Með því að fela LLM fleiri ákvarðanir getur kerfið hugsanlega alhæft yfir fleiri verkefni, en það getur komið niður á hraða, áreiðanleika og traustleika.
Reyndu eftir föngum að færa sem mest af ákvarðanatökunni úr LLM yfir í skýran hugbúnaðarkóða. Þetta á sérstaklega við um vinnuferli í framleiðslu og/eða þar sem áhætta er mikil.
Við hönnun fulltrúakerfis sem byggist á LLM er ein mikilvægasta ákvörðunin hversu stór hluti ákvarðanatökunnar eigi að felast í LLM-líkani og hversu stór í skýrum hugbúnaði.
Til að skýra þetta má líta á valið sem róf milli eftirfarandi nálgana:
Beinamiðaðir högunarhættir skilgreina röð og rökvísi skýrt í kóða og tryggja þannig prófanleika, fyrirsjáanleika og traustleika í verkefnum á afmörkuðu sviði (þetta kallast einnig „verkflæðisfulltrúar“).
Stjórnendafulltrúar reiða sig á stór mállíkön (LLM) til að ákveða verkflæði á kvikan hátt með fyrirmælum á náttúrulegu máli. Þeir henta vel fyrir opin samskipti þar sem fyrirfram skilgreind rökvísi nægir ekki eða er ómöguleg.
Fyrir vinnuferli í framleiðslu þar sem áhætta er mikil mælum við yfirleitt með meiri notkun beinaeiginleika og áskiljum stjórnendur fyrir forrit sem krefjast sveigjanlegra, almennra samtala.
Beinamiðaðir högunarhættir
Fulltrúakerfi með beini:
Skilgreina ákvarðanaflæðið skýrt með kóða eða hugbúnaði og nota LLM til að velja hvaða leið hugbúnaðurinn fer.
Líkjast hefðbundnum hugbúnaðarkerfum að því leyti að leiðirnar eru skýrar og fyrirsjáanlegar, sem skilar samræmdari niðurstöðum.
Henta vel fyrir verkefni sem hægt er að skilgreina nákvæmlega.
Hér á eftir er einfalt dæmi um bókunarfulltrúa fyrir spjallmenni flugfélags sem notar „beinanálgunina“. LLM hjálpar okkur að flokka ætlun spurningarinnar í einn af þremur flokkum, en hugbúnaðurinn okkar tengir hana að lokum við staðlað textasvar. Þar sem LLM er háð miklum skorðum verður hegðunin sem notandinn upplifir samræmdari.
Högunarhættir með stjórnanda
Ólíkt beinakerfum gera fulltrúakerfi með stjórnanda eftirfarandi:
Skilgreina röklegt flæði með fyrirmælum á náttúrulegu máli í stað hugbúnaðar. Athugið: Náttúrulegt mál er í eðli sínu margrætt og sveigjanlegt samanborið við forritunarmál. Það getur bæði verið kostur og galli, eins og rætt verður síðar. Við lýsum þessu sem „ætlun fremur en fyrirmælum“.
Geta boðið upp á margar úrvinnsluleiðir og látið LLM ákveða framkvæmdarröð og aðferð.
Geta myndað nýjar röklegar leiðir á kvikan hátt sem erfitt er að skilgreina skýrt í hugbúnaði.
Þessi margræðni getur valdið ósamræmdum niðurstöðum, en þegar vel tekst til getur upplifunin verið „töfrum líkust“.
Eftirfarandi dæmi beitir stjórnandanálgun á sama einfalda flugfélagsverkefnið. Í stað þess að láta hugbúnað ákveða hvaða svar á við er ákvarðanatakan falin LLM-laginu. Hér er fjölfulltrúakerfi þar sem „yfir“-stjórnandafulltrúi forgangsraðar fyrirspurn notandans og framselur hana til fulltrúa sem er sérstaklega hannaður til að breyta flugi og veitir notandanum að lokum svar.
Í þessu dæmi gegnir LLM-lagið hlutverki flokkara, beinis og svarhöfundar. Í beinidæminu gegndi það aðeins hlutverki flokkara en hugbúnaðurinn sá um afganginn.
Við mælum með beinamiðuðum högunarháttum þegar því verður við komið, enda hafa þeir eftirfarandi kosti:
Hraði og skilvirkni: Staðbundnir útreikningar eru hraðari en stjórnendur sem reiða sig á ytri API. Það er einnig mun ódýrara að vinna úr „IF/ELSE“-rökvísi í Python en að greiða LLM-þjónustuveitu fyrir að keyra hana í gegnum líkan sitt með 400 milljörðum stika.
Prófanleiki og fyrirsjáanleiki: Mun auðveldara er að aflúsa, prófa og viðhalda kerfinu með viðurkenndum hugbúnaðaraðferðum.
Gagnsæi og áreiðanleiki: Minni breytileiki í hegðun auðveldar bilanagreiningu. Stærri hluti flæðis forritsins er einnig settur fram í gagnsæjum, útgáfustýrðum hugbúnaði í stað ógagnsærra og óskiljanlegra vægistuðla LLM.
Ókostir beinanálgana eru að þær geta verið stífar og ósveigjanlegar og átt í erfiðleikum með opnari verkefni. Notendum gæti þótt spjallmenni sem svarar alltaf nákvæmlega eins leiðinlegt eða staðnað.
Stjórnendahönnun býður upp á öfluga eiginleika:
Áætlanagerð: Kerfin geta skipulagt svör á kvikan hátt.
Val á verkfærum/framsal til fulltrúa: Velja viðeigandi verkfæri eða fela fulltrúum verkefni.
Endurtekin samsetning niðurstaðna: Endurtaka úrvinnslu og endurraða niðurstöðum á skapandi hátt.
Mat á verklokum: Meta hvenær nægum upplýsingum hefur verið safnað til að ganga frá svari.
Með umgjörðum á borð við Pydantic-AI eða Agents SDK frá OpenAI er fljótlegt og einfalt að innleiða stjórnunina. Því hentar þetta vel fyrir sýnidæmi og frumgerðir.
Ókostir þessarar nálgunar eru eftirfarandi:
Engin trygging er fyrir því að áætlanagerð LLM og aðgerðirnar sem fylgja verði réttar eða viðeigandi. Beinakerfið glímir við sama vanda, en hegðun þess er fyrirsjáanlegri vegna þess að því eru settar þrengri skorður.
Fyrir einföld og vel skilgreind verkefni þurfum við líklega ekki alla getu fjölfulltrúakerfis. Í dæminu um flugfélagsfulltrúann eru líklega aðeins fáar tegundir fyrirspurna sem fólk vill í raun bera upp við þjónustukerfi flugfélags.
Þar sem meiri rökvísi er fólgin í LLM er kerfið mun berskjaldaðra fyrir því að illviljaðir aðilar brjóti öryggisvarnir þess eða misnoti það.
Ákvarðanatakan er falin inni í LLM og því verður erfiðara að skilja kerfið, þótt vöktunarverkfæri á borð við Langfuse eða Braintrust geti hjálpað að einhverju leyti.
Athugasemd til lesanda: Þótt geta líkana breytist hratt er ólíklegt að eftirfarandi breytist á næstunni.
Afmarkaðu umfang vandans.
Geturðu auðveldlega sett æskilega ákvarðanarökvísi fram á skýringarmynd?
Er óásættanlegt að forritið bili eða hagi sér á óvæntan hátt?
Ef svarið við annarri hvorri spurningunni er „já“ henta beinaeiginleikar líklega betur.
Við mælum með beinanálgunum eins lengi og þær duga. Almenna reglan er sú að ef hægt er að lýsa hluta kerfisins með kóða skuli gera það, í stað þess að nota LLM að óþörfu.
Þegar komið er að mörkum þeirra má líkja eftir sumum kostum opinnar stjórnendanálgunar með takmörkuðum hætti. Til dæmis:
Val á verkfærum/framsal til fulltrúa: Auðvelt er að útfæra þetta með skilyrtri greiningu eða LLM-flokkurum.
Mat á verklokum: Einfaldir LLM-flokkarar geta kannað hvort svar sé fullgert áður en það er sent notandanum.
„Áætlanagerð“ og „endurtekin samsetning niðurstaðna“ eru hins vegar án efa mun erfiðari í stífu beinakerfi. Þegar verkefni krefst þessara eiginleika, samkvæmt mati LLM-flokkara eða annarri rökvísi, leggjum við því til að búin sé til frjálslegri stjórnandagrein í kerfinu.
Valið milli högunarhátta með beini eða stjórnanda ætti að ráðast af því hversu skýrt og flókið forritið er og hvernig samskiptum þess er háttað. Beinamiðaðar nálganir bjóða nú upp á áreiðanleika, skilvirkni og auðveldar prófanir fyrir vel skilgreind verkefni. Stjórnendur veita meiri sveigjanleika fyrir víðtækari samtalssamskipti.
Jafnvægið milli þessara nálgana kann að breytast eftir því sem LLM þróast áfram. Við hallast að beinamiðuðum eða blönduðum högunarháttum fyrir vinnslu í framleiðslu og áskiljum stjórnendur fyrir opin verkefni sem krefjast kvikra og mannlegra samskipta.