Navigazzjoni prinċipali

Minn chatbot bl-għodod għal aġent tal-IA: is-saff ta’ kontroll nieqes

Saff prattiku ta’ kontroll jgħin lill-aġenti tal-IA jimmaniġġjaw b’mod sikur permessi, stat, irkupru u azzjonijiet b’konsegwenzi.

Sommarju eżekuttiv

  • Il-biċċa l-kbira tat-timijiet tal-IA li jridu prestazzjoni aħjar mill-aġenti jużaw l-istess mezzi: twieqi tal-kuntest akbar, aktar dokumenti u prompts aktar intelliġenti. Dan l-artiklu jsostni li dan l-istint huwa kompletament żbaljat. L-ingredjent nieqes mhuwiex aktar informazzjoni. Huwa l-kontroll. Saff ta’ kontroll iddisinjat tajjeb huwa dak li jifred aġent li jaħdem f’dimostrazzjoni minn wieħed li jaħdem fil-produzzjoni.

  • Jekk tagħti lil aġent tal-IA memorja akbar, aktar dokumenti jew tieqa tal-kuntest itwal, ma tagħmlux aktar intelliġenti—tagħmlu biss aktar kajman u għali. Il-veru titjib jiġi meta tgħallem lill-aġent jagħżel dak li jeħtieġ, meta jeħtieġu, minflok jikkonsma kollox f’daqqa.

  • L-affidabbiltà tiġi mil-loop, mhux mill-mudell. Id-differenza bejn aġent li jimpressjona f’dimostrazzjoni u wieħed li jiflaħ fil-produzzjoni mhijiex il-kwalità tal-IA—iżda jekk is-sistema tivverifikax xogħolha stess. Aġenti li jippjanaw, jaġixxu, josservaw u jivverifikaw f’kull pass jaqbdu l-iżbalji tagħhom stess minflok jiżbaljaw b’kunfidenza.

  • Il-biċċa l-kbira tal-aġenti tal-IA llum huma essenzjalment chatbots b’passi żejda—m’għandhom l-ebda mekkaniżmu biex ikunu jafu jekk humiex fit-triq it-tajba, meta għandhom jieqfu jew meta għandhom jippruvaw approċċ ieħor. Saff ta’ kontroll xieraq—kriterji ċari ta’ suċċess, stat strutturat u kontrolli ta’ validazzjoni—huwa dak li jibdel oġġett li jidher qisu aġent f’xi ħaġa li tassew tista’ tafdaha.


X’kilt għall-ikla ta’ nofsinhar ilbieraħ?

Probabbilment ma erġajtx għaddejt minn kull tifkira li qatt kellek sakemm wasalt għal “ilbieraħ + ikla ta’ nofsinhar”. Mort dritt lejn il-parti tal-esperjenza tiegħek fejn jinsabu dawk il-kunċetti. Dan huwa mudell mentali utli għall-bini tal-aġenti:

  • Tieqa tal-kuntest enormi mhijiex memorja.

  • Munzell ta’ dokumenti rkuprati mhuwiex fehim.

  • Katina tal-ħsieb twila mhijiex affidabbiltà.

Dawk huma ingredjenti. Iżda dak li jagħmel lil aġent jinħass qisu aġent huwa l-istess ħaġa li żżomm lil moħħok milli jfittex bl-addoċċ fl-istorja kollha ta’ ħajtek: il-kontroll.

Stħarriġ reċenti—Raġunament Aġentiku għal Mudelli Lingwistiċi Kbar—ġabar fil-qosor (u ta isem lil) bidla li ħafna minna ħassejna waqt il-bini: minn raġunament ġewwa l-mudell għal raġunament permezz tal-interazzjoni. Din il-kitba mhijiex sommarju ta’ dak id-dokument. Hija tentattiv biex din il-bidla tissarraf f’disinn prattiku tas-sistema:

Jekk tibni l-aġenti bħal chatbots bl-għodod, se tibqa’ tikseb il-problemi taċ-chatbots—iżda bi żbalji aktar għaljin.

Il-logħba l-antika kontra l-ġdida

Għal xi żmien, il-metodu standard tagħna biex “nagħmlu l-mudell aktar intelliġenti” kien essenzjalment: prompts aħjar, katina tal-ħsieb, awtokonsistenza / titjib ibbażat fuq il-kampjunar, u forsi ftit tiftix.

ReAct kien punt ta’ bidla għax għamel “ħsieb → azzjoni → osservazzjoni” jidher naturali. Iżda nnota r-restrizzjoni impliċita: ħafna minn dan xorta jispiċċa bħala “inferenza one-shot, iżda b’aktar tokens”. Il-qafas tal-istħarriġ huwa aktar preċiż: ir-raġunament aġentiku jenfasizza l-espansjoni tal-interazzjoni waqt it-test—jiġifieri l-inferenza ssir proċess iterattiv fejn il-mudell, il-memorja u l-ambjent jibqgħu kollha fil-loop.

Jekk bnejt (jew użajt) aġenti li jimpressjonaw fid-dimostrazzjonijiet iżda jitkissru faċilment fi flussi tax-xogħol reali, dan huwa għalik.

L-aġent aċċidentali u kif jidhru ħafna “aġenti” llum

Ħa niddeskrivi mudell li rajt ħafna drabi (u li żgur bnejt verżjonijiet tiegħu jien stess):

  1. Ħu mudell taċ-chat tajjeb

  2. Żid ftit għodod (tiftix, query tad-DB, u forsi eżekuzzjoni tal-code)

  3. Żid RAG

  4. Żid prompt tas-sistema “you are an autonomous agent”

  5. Poġġi kollox f’while-loop sakemm jieqaf jew jiskadi l-ħin

Prosit, għandek oġġett li jidher qisu aġent. Iżda għandu t-tendenza li jfalli b’modi prevedibbli:

  • Kuntest minfuħ: kull osservazzjoni tiżdied; il-prompts isiru saffi arkeoloġiċi.

  • Użu bla direzzjoni tal-għodod: “l-għodda żbaljata, iżda b’kunfidenza” ssir il-problema standard.

  • Ebda kundizzjoni ta’ waqfien: ikompli għax jista’, mhux għax għandu.

  • Ebda dixxiplina ta’ grounding: ma jindunax li żbalja sakemm ma ġġegħlux.

  • Memorja = storja taċ-chat: jiġifieri bażikament tikteb logs u ssejħilhom tagħlim.

Għalhekk l-“aġenti” spiss jidhru maġiċi fid-dimostrazzjonijiet u diżordinati fil-produzzjoni. L-esperjenza tagħna fit-tqegħid ta’ sistemi aġentiċi fil-produzzjoni turi l-istess: ladarba ma tibqax tevalwa mudell iżda sistema, il-problemi jinkludu n-navigazzjoni, l-użu nadif tal-għodod, it-tnaqqis tal-kuntest u d-disinn tal-evalwazzjoni—mhux biss “il-mudell wieġeb sew?”

Għalhekk il-mistoqsija ssir: kif għandu jkun l-aġent?

Aġenti maħsuba għad-dinja reali: prenotazzjoni ta’ titjira

Biex dan ikun inqas astratt, hawn fluss tax-xogħol sempliċi li ħafna jistgħu jimmaġinaw: “Book me a flight from London to New York next Tuesday. Arrive before 6pm. Keep it under £900. Aisle seat.”

Il-mudell l-antik: chatbot bl-għodod

Implimentazzjoni komuni li “tidher qisha aġent” tkun hekk:

  • Minnufih tirkupra ħafna dokumenti dwar il-linji tal-ajru / il-politiki tal-ivvjaġġar (anki jekk għadhom mhumiex meħtieġa).

  • Issejjaħ għodda tat-tiftix, twaħħal lista twila ta’ riżultati fil-prompt u “tagħżel wieħed”.

  • Tibbukkja qabel iż-żmien mingħajr ma tivverifika r-restrizzjonijiet (ħin tal-wasla / bagalji / post / politika).

  • Jekk tfalli, terġa’ tipprova b’mod kemxejn differenti—iżda mingħajr idea ċara ta’ x’inbidel jew x’tgħallmet.

Il-problema mhijiex li l-mudell ma jistax jirraġuna—iżda li s-sistema ma tikkontrollax il-fluss tax-xogħol.

Il-mudell imtejjeb: il-loop aġentiku

Verżjoni aktar aġentika tittratta l-kompitu bħala proċess interattiv bi stat u kontrolli espliċiti:

  • IPPPJANA: erġa’ ddikjara r-restrizzjonijiet u elenka l-informazzjoni nieqsa (eż. “which airport preference?” / “is 1 stop ok?”).

  • AĠIXXI: sejjaħ it-tiftix tat-titjiriet bi tfittxija strutturata (firxa ta’ dati, restrizzjoni tal-wasla, baġit).

  • OSSERVA: aħżen ir-riżultati f’oġġett tal-istat kompatt (l-aqwa 5 għażliet bil-prezz/wasla/waqfiet), mhux f’massa enormi ta’ test imwaħħal.

  • AĠĠORNA: irfina t-tfittxija jekk ir-restrizzjonijiet ma jintlaħqux (eż. “arrival before 6pm is too strict—widen time window or raise budget?”).

  • IVVERIFIKA: ħaddem validaturi (“arrival < 18:00,” “price ≤ £900,” “policy compliant,” “seat selection available”).

  • WAQQAF: biss meta l-API tal-prenotazzjoni tirritorna konferma u jgħaddu l-validaturi kollha.

Il-bidla hija sottili iżda deċiżiva. L-irkupru huwa kundizzjonali (mhux rifless), il-kuntest huwa ġestit (l-istat huwa strutturat, mhux akkumulat), u l-verifika tinsab fil-loop (mhux titħalla f’idejn l-utent). Ibdel “prenotazzjoni ta’ titjira” ma’ “ħolqien ta’ ordni tax-xiri”, “ħruġ ta’ rifużjoni”, “bidla fil-konfigurazzjoni tal-produzzjoni” jew “rilaxx ta’ PR”, u l-istess prinċipju japplika: ladarba l-aġent jista’ jaġixxi, il-loop jiswa aktar mill-prompt.

L-aġent maħsub: kuntest espliċitu, stat espliċitu, verifika espliċita

L-istħarriġ imsemmi hawn fuq jorganizza r-raġunament aġentiku fi tliet saffi: fundamentali (ippjanar/użu tal-għodod/tiftix), li jevolvi waħdu (rispons + memorja), u kollettiv (koordinazzjoni bejn diversi aġenti).

Iżda l-idea aktar profonda hija din: ir-raġunament isir il-prinċipju organizzattiv għall-ippjanar, it-teħid tad-deċiżjonijiet u l-verifika—mhux sempliċement għall-ġenerazzjoni ta’ katina tal-ħsieb plawżibbli. Dan jidher astratt sakemm tqabblu mal-bidliet fl-arkitettura tiegħek. Hemm tliet punti ewlenin li għandek tiftakar:

1) Il-kuntest huwa riżorsa, mhux miżbla

Aġent tajjeb m’għandux iqis l-irkupru bħala xi ħaġa li “dejjem trid issir”. L-irkupru huwa deċiżjoni, mhux rifless.

Din hija regola prattika:

Jekk is-sistema tiegħek tirkupra f’kull interazzjoni, ma bnejtx mekkaniżmu ta’ rkupru—bnejt taxxa fuq il-kuntest.

Dan jiġri il-ħin kollu fix-xogħol reali. Meta tiddibaggja inċident fil-produzzjoni, ma titfax il-logs kollha fil-kuntest; tiddeċiedi liema metriċi/logs tirkupra wara, skont l-ipoteżi attwali tiegħek. Dan huwa “rkupru aġentiku”. Hawn mudell aktar konkret:

  1. Iddeċiedi jekk teħtieġx irkupru

  2. Jekk iva: fassal tfittxija, irkupra, aqra malajr, estratta

  3. Jekk l-evidenza tkun konfliġġenti: erġa’ rkupra

  4. Imbagħad biss agħmel is-sinteżi

Hawn ukoll ir-“RAG aġentiku” jibda jvarja mir-RAG tradizzjonali: l-irkupru jsir pass intenzjonat ta’ raġunament, mhux stadju awtomatiku tal-pipeline.

2) L-istat huwa espliċitu (u jista’ jiġi spezzjonat)

Malli tieqaf tevalwa “mudell” u tibda tevalwa “sistema”, it-traċċar tal-istat u tal-passi jsir importanti.

Aspett li sa issa l-industrija bdiet tindirizza b’mod aktar espliċitu huwa l-osservabbiltà fil-flussi tax-xogħol tal-aġenti. Pereżempju, l-Agents SDK ta’ OpenAI għandu traċċar integrat u dashboard tat-Traces li jirreġistra l-eżekuzzjonijiet tal-aġent (ġenerazzjonijiet, sejħiet tal-għodod, trasferimenti, limiti protettivi u avvenimenti personalizzati), apposta biex tkun tista’ tiddibaggja u tivverifika pass pass x’ġara.

Din mhijiex xi ħaġa “sabiħa jekk ikollokha”. Hija d-differenza bejn sistema li tista’ tiddibaggja u waħda li tista’ biss tiġġudikaha bl-intuwizzjoni.

3) Il-verifika mhijiex fakultattiva

Fil-fehma tiegħi, l-aktar parti prattika tal-istħarriġ hija kemm jitkellem direttament dwar ir-rispons. Jaqsam ir-rispons fi tliet sistemi: rispons riflessiv (iġġenera → ikkritika → irrevedi), adattament parametriku (tagħlim permezz ta’ rfinar / RL), u rispons immexxi minn validatur (erġa’ pprova sakemm jgħaddi mill-validatur).

Il-biċċa l-kbira tat-timijiet għandhom jibdew b’rispons immexxi minn validatur, għax huwa sempliċi u effettiv. Jekk tista’ tikteb kwalunkwe validatur li jagħmel unit tests, jivverifika l-iskemi, jistabbilixxi regoli / restrizzjonijiet tan-negozju (“ebda rifużjoni ogħla minn X mingħajr eskalazzjoni”), jew jivverifika l-fatti (“ċitazzjonijiet meħtieġa”), tista’ tibdel l-output mhux deterministiku tal-mudell f’xi ħaġa li tassew tista’ tafdaha.

Waħda mill-bidliet li “lanqas biss tkun taf li ma tafx” hija sempliċi: fid-dinja tal-aġenti, l-affidabbiltà spiss tiġi aktar mil-loop milli mill-mudell.

Mudell konkret: ippjana → aġixxi → osserva → aġġorna

Din hija l-aktar dixxiplina bażika ta’ loop li sibt li ttejjeb l-imġiba b’mod affidabbli mingħajr taħriġ:

  • Aħdem f’passi: Ippjana → Aġixxi → Osserva → Aġġorna,

  • Wara kull Azzjoni, ġabar l-Osservazzjoni f’1–3 punti,

  • Waqqaf meta jintlaħqu l-kriterji tas-suċċess jew il-limitu tal-baġit; irritorna l-aħjar riżultat magħruf flimkien mal-inċertezzi li fadal.

L-għan mhuwiex li l-mudell isir proliss. L-għan huwa li s-sistema tkun tinftiehem u li kull pass jiġi kkonfrontat mar-realtà. Eżempju familjari ħafna għall-inġiniera huwa l-grounding b’ċirkwit magħluq, fl-istil tas-CI:

  • Ippjana: ipproponi lista ta’ bidliet

  • Aġixxi: ħaddem it-tests / lint

  • Osserva: analizza l-fallimenti

  • Aġġorna: applika garża u erġa’ pprova

Kif tinduna jekk l-aġent tiegħek ma jidhirx sew

Xi mistoqsijiet li spiss jikxfu disinji ta’ aġenti aċċidentali:

“L-aġent tiegħi jagħżel x’għandu jirkupra, jew dejjem nirkupra kollox?”

Jekk l-irkupru jsir dejjem, se tħallas b’dewmien, spiża, dilwizzjoni tal-kuntest u riskju akbar li żibel jidħol u żibel joħroġ.

“L-aġent tiegħi jista’ jinduna li żbalja?”

Jekk l-uniku sinjal ta’ rispons tal-aġent tiegħek huwa “l-utent jiddejjaq”, qed tagħmel RL bit-tbatija tal-bniedem. Loop ta’ tentattivi mill-ġdid immexxi minn validatur huwa l-aktar mod nadif biex tikkonfrontah mar-realtà.

“Il-memorja tista’ tinkiteb, u titjieb maż-żmien?”

Jekk il-“memorja” tiegħek sempliċement iżżid l-istorja taċ-chat, essenzjalment qed tikteb logs. Il-mod kif l-istħarriġ jippreżenta l-memorja huwa importanti: din issir kuntest li jikber b’mod dinamiku u li l-aġenti jirfinaw maż-żmien—mhux sempliċi traskrizzjoni.

Memorja li tassew tgħin

Il-logs jgħidulek x’ġara, filwaqt li l-memorja tgħidlek x’għandek tagħmel id-darba li jmiss. L-istorja taċ-chat hija traskrizzjoni. Il-memorja hija politika li tevolvi dwar dak li jaqbillek iżżomm għall-futur.

Bidu prattiku huwa tabella żgħira ta’ “lezzjonijiet meħuda”, organizzata skont it-tip ta’ kompitu, l-għodda u t-tip ta’ falliment, b’dak li ħadem u dak li għandu jiġi evitat bħala valuri. L-għan mhuwiex li tibni graff perfett tal-għarfien. L-għan huwa li toħloq imġiba li tkompli tissaħħaħ: il-memorja flimkien mar-rispons jibdlu l-aġenti minn “assistenti mingħajr stat” f’sistemi li jitjiebu maż-żmien.

Diversi aġenti: l-iżgħar tim vijabbli, mhux splużjoni ta’ aġenti

It-tentazzjoni hija li żżid aktar aġenti biex issolvi l-problema, iżda dan spiss jimmultiplika l-piż tal-koordinazzjoni. Mudell tajjeb ta’ “l-iżgħar tim vijabbli”:

  • Koordinatur: jaqsam il-kompitu + jassenjah

  • Eżekutur: jagħmel sejħiet tal-għodod / bidliet

  • Kritiku/evalwatur: jivverifika l-korrettezza/ir-riskju

  • Kustodju tal-memorja: jikteb/jikkura l-lezzjonijiet

Jekk ma tistax tispjega r-responsabbiltà ta’ kull aġent, probabbilment għad m’għandekx bżonn diversi aġenti.

Konklużjonijiet prattiċi, mhux preskrittivi

Jekk tassew naċċettaw il-bidla fil-paradigma, probabbilment nieqfu ndaħħlu kollox fil-prompts, nittrattaw il-fallimenti bħala outputs finali u nevalwaw lill-aġenti bħal chatbots. U nibdew nittrattaw lill-aġenti għal dak li huma: sistemi tas-software fejn il-lingwa hija l-pjan ta’ kontroll—u l-affidabbiltà tiġi mil-loop.

Qabel iżżid mudell ieħor, żid loop ieħor ta’ evalwazzjoni. Qabel tirkupra kollox, agħmel l-irkupru kundizzjonali. Irrilaxxa validatur wieħed qabel ma tirrilaxxa għaxra. Ittratta l-memorja bħal deċiżjonijiet ta’ politika, mhux bħal database. U meta taqleb għal diversi aġenti, ibda bi tnejn, mhux b’għoxrin. Dawn mhumiex regoli; huma l-mudelli li baqgħu validi fil-produzzjoni.

Awtur

Giorgos Lysandrou