X’inhu l-użu tal-kompjuter, u għaliex huwa importanti? L-użu tal-kompjuter huwa idea sempliċi b’implikazzjonijiet wesgħin: minflok nitolbu lill-mudelli jwieġbu mistoqsijiet, nitolbuhom iħaddmu software—jinnavigaw siti web, jimlew formoli, jgħaddu minn proċessi billi jikklikkjaw u jwettqu kompiti mill-bidu sat-tmiem b’mod awtonomu.
Dan jiftaħ il-bieb għal firxa kbira ta’ kompiti reali li bħalissa huma frammentati bejn interfaċċi, bħal prenotazzjonijiet mill-bidu sat-tmiem, checkouts tal-kummerċ elettroniku, ippjanar ta’ vjaġġi f’diversi stadji u proċessi amministrattivi mingħajr ekwivalenti ċar f’API. Dawn mhumiex problemi ġodda. Il-ġdid huwa li issa sar fattibbli li jissolvew b’mudelli għal skopijiet ġenerali.
Sistemi reċenti minn Anthropic u OpenAI wrew aġenti li mhux biss jaġixxu, iżda jirraġunaw dwar l-istat, jirkupraw minn żbalji u joħolqu minnufih soluzzjonijiet speċifiċi għall-kompitu. Dan ibiddel il-browser f’ambjent ta’ eżekuzzjoni ġenerali għall-aġenti, iżda jqajjem mistoqsija immedjata tad-disinn: kemm minn dak l-ambjent għandna nesponu lill-mudell?
Is-sistemi bikrija wieġbu billi poġġew il-browser f’wrapper b’sett fiss ta’ azzjonijiet sikuri u definiti minn qabel. Kif se nargumentaw f’din il-kitba, dak l-approċċ qed jilħaq il-limiti tiegħu.
Meta jinbnew aġenti għall-browser, hemm istint familjari: tafdax wisq lill-mudell.
Għalhekk inpoġġu l-browser f’wrapper. Nesponu għodod definiti minn qabel bħal click, type, scroll, select u read_text. Nissimplifikaw id-Document Object Model (DOM). Innaqqsu l-firxa tal-azzjonijiet. Nippruvaw nagħmlu l-imġiba tinftiehem u tiġi kkontrollata permezz ta’ astrazzjonijiet li nfasslu aħna.
Dan huwa punt tat-tluq raġonevoli. Iżda dejjem aktar qed isir ukoll l-arkitettura ħażina fit-tul.
Hekk kif il-mudelli l-aktar avvanzati jitjiebu, il-limitazzjoni ma tibqax sempliċement li l-mudell m’għandux għodod. Il-problema hi li qed inġegħluh jopera permezz ta’ astrazzjonijiet li jneħħu wisq mis-sistema sottostanti. Nikkompressaw ambjent dinamiku u diżordinat f’interfaċċa fissa ta’ azzjonijiet, imbagħad nitolbu lill-mudell jaħdem tajjeb minkejja dak it-telf ta’ informazzjoni.
Dan il-kompromess qed isir inqas attraenti.
Il-bidla li qed nesploraw hija faċli biex tiddeskriviha, iżda għandha konsegwenzi sinifikanti. Minflok ma nqisu lill-aġent bħala selettur ta’ azzjonijiet definiti minn qabel, inqisuh bħala sintetizzatur tal-programmi li jopera f’ambjent ta’ eżekuzzjoni ristrett.
Il-mudelli saru tassew tajbin u m’għadhomx jeħtieġu l-barrieri astratti tiegħek—jeħtieġu l-firxa sħiħa tal-azzjonijiet biex ifasslu, jeżegwixxu u jirfinaw il-kompitu sakemm jilħqu l-għan tagħhom.
Din il-kitba tittratta dik il-bidla, mill-awtomatizzazzjoni tal-browser mgħobbija bl-astrazzjonijiet għall-użu ristrett tal-kompjuter, u x’jinbidel meta s-sistemi jitfasslu b’dan il-mod.
Il-problema mhijiex li interfaċċi b’azzjonijiet fissi huma kunċettwalment żbaljati. Il-problema hi li l-web ma tadattax ruħha għalihom.
L-interfaċċi moderni jinbnew fuq React, Vue u Angular, b’aġġornamenti asinkroniċi tal-istat, sistemi ta’ avvenimenti sintetiċi u widgets integrati ta’ partijiet terzi li jinsabu f’iframes cross-origin biċ-ċikli tal-ħajja tagħhom stess. Wrapper li jgħid “ittajpja f’dan il-qasam” ikun korrett biss jekk il-paġna taqbel mad-definizzjoni tiegħek ta’ ttajpjar. Ħafna ma jaqblux. L-issettjar dirett ta’ valur spiss jaqbeż għalkollox is-sistema tal-qafas li tinduna bil-bidliet. Il-qasam jidher mimli. Il-validazzjoni qatt ma tiġi attivata. Il-formola tibqa’ ma taħdimx.
Tista’ tirranġa dan b’garża. Tista’ żżid każijiet speċjali għall-inputs ta’ React, tiskatta avvenimenti blur wara focus u tistenna li n-network ma jibqax attiv qabel taqra l-istat. Kull garża tkun korretta fil-kuntest tagħha. Flimkien, dawn jinġemgħu f’sistema li ssir dejjem aktar diffiċli biex tinżamm u dejjem aktar speċifika għas-siti li diġà ltqajt magħhom.
Il-problema aktar profonda hija li qed tikkodifika fis-saff tal-astrazzjoni suppożizzjonijiet dwar kif għandhom jaħdmu l-interazzjonijiet, imbagħad tiskopri li l-web għandha suppożizzjonijiet differenti.
Ikkunsidra formola tal-ħlas integrata permezz ta’ Stripe jew Adyen f’iframe cross-origin. Il-wrapper tiegħek ma jistax jaċċessaha direttament għax tinsab f’oriġini separata. L-għodda read_text tiegħek ma tistax tosserva l-istat intern tagħha. L-għodda type tiegħek ma tistax taċċessa l-inputs tagħha. Aġent ibbażat fuq wrapper jeħel hawn. L-astrazzjoni tfasslet għad-dokument ewlieni. Il-kompitu reali jinsab fejn l-astrazzjoni ma tistax tara.
Diskrepanza simili tidher fi proċessi inqas ovvji. Lista dropdown ikkontrollata minn framework tista’ ma tirrispondi xejn għal klikks diretti, għax l-element viżibbli mhuwiex il-kontroll proprju. Tista’ teħtieġ sekwenza ta’ avvenimenti mit-tastiera biex tattiva t-tranżizzjoni tal-istat sottostanti. Minn barra, l-UI tidher li tista’ tiġi kklikkjata. L-astrazzjoni tgħid “ikklikkja”. Ma jiġri xejn.
Jew ikkunsidra proċess modali f’diversi stadji fejn l-aġġornamenti viżibbli tad-DOM jaslu wara l-bidliet fl-istat intern. L-azzjoni korretta li jmiss tiddependi fuq tranżizzjoni tal-istat li għadha mhix riflessa fl-elementi li l-wrapper tiegħek jista’ jara. Aġent ibbażat fuq wrapper jispiċċa jaġixxi kmieni wisq jew jaqra stat skadut, għax qed jopera b’dehra mhux kompluta tas-sistema.
F’kull każ, l-astrazzjoni taħbi s-sinjali li l-aġent tassew jeħtieġ.
Mudell li jopera f’livell aktar baxx—jispezzjona d-DOM attiv, jirraġuna dwar il-konfini tal-frames u joħloq is-sekwenza tal-interazzjoni għal dik l-interfaċċa speċifika—jista’ jimmaniġġja dawn is-sitwazzjonijiet. Mhux għax il-mudell huwa minnu nnifsu aktar intelliġenti. Iżda għax għandu aċċess għall-informazzjoni li kienet tneħħiet.
Il-bidla li qed naħdmu għaliha hija faċli biex tiddeskriviha: minflok nitolbu lill-mudell jagħżel minn azzjonijiet definiti minn qabel, nagħtuh ambjent ta’ eżekuzzjoni ta’ livell aktar baxx u nillimitawh permezz tal-politika tal-ambjent ta’ eżekuzzjoni, mhux bid-disinn tal-astrazzjoni.
Din l-għażla tad-disinn ġejja minn bidla usa’ fl-industrija li qed tibda tiffavorixxi għodod bażiċi ta’ livell aktar baxx—għodod li jisfruttaw il-kapaċità intrinsika tal-aġent li jikkoreġi ruħu waqt l-eżekuzzjoni u jipproduċi kodiċi ta’ kwalità għolja, minflok għodod speċifiċi kkodifikati b’mod riġidu li huma robusti iżda jneħħu lill-mudell il-kapaċità li jadatta għal ambjenti differenti.
Ikkunsidra s-suċċess ta’ Claude Code bħala għażla ewlenija fil-kaxxa tal-għodda ta’ ħafna żviluppaturi, u ċ-ċaqliq usa’ tal-industrija lejn aġenti bbażati fuq it-terminal. L-akbar vantaġġ ta’ Claude Code mhuwiex il-mudell innifsu, iżda l-harness ta’ livell aktar baxx. Meta l-mudell jingħata inqas għodod, iżda aktar modulari u ta’ livell aktar baxx—jiġifieri it-terminal—il-prestazzjoni fis-sejħiet tal-għodod titjieb, l-aktar għax l-aġent jista’ jirraġuna u joħloq skripts apposta għall-kompitu, minflok jipprova juża għodod ġeneralizzati li jimlew it-tieqa tal-kuntest b’informazzjoni żejda.
Fil-prattika, għall-awtomatizzazzjoni tal-browser dan ifisser li l-mudell jista’ jispezzjona direttament l-istat attiv tal-paġna, jgħaddi minn frames u jibni kodiċi ta’ interazzjoni apposta għall-interfaċċa attwali, minflok jimmappja kollox ma’ sett fiss ta’ azzjonijiet mibnija minn qabel.
Il-mudell iġib ruħu inqas bħal selettur u aktar bħal awtur waqt l-eżekuzzjoni. Jispezzjona l-istat attwali, jirraġuna dwar l-interfaċċa u joħloq il-loġika tal-interazzjoni għal dik is-sitwazzjoni speċifika. Jista’ jibni sekwenzi f’diversi stadji, jadatta għal proċessi mhux tas-soltu u jivvalida r-riżultati qabel ikompli. Meta azzjoni tfalli, il-mudell jara l-iżball sottostanti u jikkoreġi ruħu. Dan huwa aktar b’saħħtu u aktar riskjuż—iżda jixbah ħafna aktar lill-forma reali tal-problema.
Importanti li t-tneħħija tas-saff tal-astrazzjoni ma tagħmilx lis-sistema inqas dixxiplinata. Sempliċement tmexxi d-dixxiplina f’post ieħor.
Ix-xogħol li qabel kien isir fid-disinn tal-wrappers u fil-ġestjoni ta’ każijiet estremi jiċċaqlaq għal tliet postijiet: il-prompt (li jsir forma ta’ taħriġ operattiv), l-ambjent ta’ eżekuzzjoni (li jinforza limiti bħall-ambitu tan-navigazzjoni, l-azzjonijiet sensittivi u l-imġiba tal-provi mill-ġdid), u s-saff tal-evalwazzjoni (li jivvaluta mhux biss jekk il-kompitu rnexxiex, iżda wkoll jekk il-passi intermedji kinux korretti). Inqas astrazzjonijiet fraġli. Sistemi ta’ madwarhom aktar b’saħħithom.
Riżultat wieħed ta’ din il-bidla huwa li l-kodiċi tal-prodott spiss isir aktar sempliċi, anke waqt li s-sistema kollha ssir aktar kapaċi. Minflok ma jikkodifika mudelli ta’ interazzjoni bħala wrappers li jistgħu jerġgħu jintużaw, l-aġent joħloq l-imġiba waqt l-eżekuzzjoni. Int iżżomm sett żgħir ta’ għodod bażiċi b’saħħithom u ambjent ta’ eżekuzzjoni ristrett, minflok firxa dejjem tikber ta’ għodod speċjalizzati u loġika għal każijiet estremi.
Dan ibiddel ukoll il-mod kif is-sistema tiġġeneralizza. Aġent ibbażat fuq wrappers jiġġeneralizza sew għal kompiti li jixbhu lill-wrappers li diġà bnejt. Aġent b’ambjent ta’ eżekuzzjoni ristrett jiġġeneralizza għal kompiti li jużaw l-istess bażi ta’ eżekuzzjoni, anke meta l-interfaċċa viżibbli tkun differenti.
Pereżempju, l-interazzjoni ma’ formola tat-tiftix, proċess ta’ prenotazzjoni jew paġna tas-settings tista’ tidher għalkollox differenti fil-livell tal-UI. Iżda fil-bażi tagħhom għandhom mudelli komuni: il-qari tal-istat, l-attivazzjoni ta’ avvenimenti, il-validazzjoni tar-riżultati u l-ġestjoni ta’ aġġornamenti asinkroniċi. Sistema li topera f’dak il-livell tadatta b’mod aktar naturali għal kompiti differenti.
Il-komponent li jista’ jerġa’ jintuża mhuwiex il-lista ta’ azzjonijiet. Huwa l-kapaċità tal-mudell li jispezzjona l-istat, jaġixxi b’mod sikur u jivverifika r-riżultati.
L-aktar tagħlima ċara minn dan ix-xogħol hija li l-affidabbiltà ma tiġix billi l-mudell jingħata aktar funzjonijiet ta’ għajnuna. Spiss tiġi billi jingħata inqas għodod bażiċi, iżda aktar b’saħħithom, u dawn jiġu ristretti bil-modi xierqa. L-għajnuna żejda tinkorpora fil-kodiċi suppożizzjonijiet dwar kif għandu jitwettaq kompitu. Ir-restrizzjonijiet jiddefinixxu limiti operattivi sikuri u jippermettu lill-mudell isib soluzzjonijiet lokali aħjar.
Ambjent ta’ eżekuzzjoni aktar b’saħħtu jeħtieġ ukoll mudell tas-sikurezza aktar rigoruż. Ladarba l-aġent ma jibqax limitat għal sett żgħir ta’ azzjonijiet definiti minn qabel, fil-fatt ikun qed jopera direttament fuq software reali. Dan ibiddel minnufih il-profil tar-riskju.
Hemm erba’ kwistjonijiet li għandhom jitqiesu fid-disinn:
Espożizzjoni tad-data. Jekk l-aġent jinteraġixxi ma’ interfaċċi reali, spiss jiltaqa’ ma’ informazzjoni sensittiva. Dan jeħtieġ approċċ dixxiplinat għall-ħabi tad-data u l-kontroll tal-aċċess. Id-data għandha tinkixef biss meta tkun meħtieġa għall-eżekuzzjoni, filwaqt li r-reġistri u t-traċċi jridu jiġu ġestiti bir-reqqa biex l-osservabbiltà ma ssirx l-aktar parti sensittiva tas-sistema.
Ambitu tal-eżekuzzjoni. Aġent b’saħħtu m’għandux ikun jista’ jopera mingħajr limiti. Fil-prattika, dan ifisser li jiġi ristrett fejn jista’ jinnaviga, liema dominji jista’ jaċċessa u ma’ liema sistemi jista’ jinteraġixxi. Dawn ir-restrizzjonijiet għandhom jiġu infurzati fil-livell tal-ambjent ta’ eżekuzzjoni, mhux jitħallew bħala konvenzjonijiet fil-prompts.
Fiduċja fl-ambjent. Interfaċċi moderni jistgħu jinkludu struzzjonijiet, kontenut jew proċessi qarrieqa jew saħansitra ostili. L-injezzjoni tal-prompts permezz tal-kontenut tal-paġna hija vettur ta’ attakk reali. Is-sistema teħtieġ ġerarkija ċara ta’ struzzjonijiet, kontrolli ta’ validazzjoni u kundizzjonijiet ta’ terminazzjoni biex l-aġent ma jsegwix gwida mhux intenzjonata.
Spettru tal-awtonomija. Mhux l-azzjonijiet kollha għandhom ikunu għalkollox awtonomi. F’ħafna ambjenti ta’ produzzjoni, huwa importanti li l-awtonomija titqies bħala spettru. Is-sistema tista’ tkun tassew aġentika fil-mod kif tesplora u teżegwixxi, filwaqt li xorta teħtieġ approvazzjoni għal ċerti kategoriji ta’ azzjonijiet.
Il-prinċipju sottostanti huwa sempliċi: aktar setgħa għall-mudell teħtieġ sistema ta’ madwaru aktar b’saħħitha. Awtonomija mingħajr politika mhijiex lesta għall-produzzjoni.
Waqafna nistaqsu: liema huma l-azzjonijiet xierqa tal-browser li għandna nesponu?
Bdejna nistaqsu: x’nistgħu nagħmlu biex nagħtu lill-mudell firxa sħiħa ta’ azzjonijiet—u kif nistgħu noħolqu politiki madwarha fl-ambjent ta’ eżekuzzjoni li xorta jżommuha sikura?
Din il-perspettiva ġdida tbiddel il-prijoritajiet tiegħek. It-tassonomiji tal-azzjonijiet u l-kompletezza tal-wrappers isiru inqas importanti. Il-politika tal-ambjent ta’ eżekuzzjoni, l-osservabbiltà u l-evalwazzjoni ta’ kull pass isiru aktar importanti. Il-kapaċità tal-mudell u d-disinn tas-sistema ma jissostitwixxux lil xulxin. Hekk kif il-mudelli jitjiebu, ix-xogħol tas-sistema jsir aktar importanti, mhux inqas.
Aġenti tal-browser li jaħdmu fid-demos spiss jirnexxu għax il-kompitu jkun limitat u l-ambjent ikun kooperattiv. Is-sistemi tal-produzzjoni jeħtieġu xi ħaġa differenti: eżekuzzjoni ristretta, imġiba mmonitorjata u evalwazzjoni li tagħraf riżultat korrett minn wieħed fortunat.
Inqas disinn ta’ wrappers. Aktar inġinerija tas-sistemi.
U għalkemm iffukajna fuq l-aġenti tal-browser, dan jindika mod usa’ kif l-użu tal-kompjuter jista’ jitqies bħala dixxiplina tas-sistemi.