Il-biċċa l-kbira tat-timijiet li jadottaw l-ikkowdjar b'karatteristiċi aġenti jċaqalqu l-konġestjoni mill-ġenerazzjoni għar-rieżami; mingħajr ma jirranġaw dan iċ-ċiklu, iż-żieda netta fil-ħeffa tkun kważi żero.
F'ambjenti tas-CI fuq skala kbira (miljuni ta' testijiet kull lejl u mijiet ta' inġiniera), l-aktar kompitu siewi għal aġent huwa li jidentifika t-tim responsabbli u jagħmel it-trijaġġ, mhux li jiġġenera l-kodiċi.
Output utli minn aġent jgħaddi mill-iskrutinju u jispjega l-kawżalità, mhux sempliċement ix-xebh ma' mudelli.
Id-disinn tas-saff għall-ġbir tal-evidenza u l-assemblaġġ tal-kuntest huwa aktar importanti mis-saff tal-ġenerazzjoni.
Il-biċċa l-kbira tad-diskussjonijiet dwar l-ikkowdjar b'karatteristiċi aġenti għadhom jibdew b'wegħda sempliċi: aktar kodiċi, miktub aktar malajr.
Xi drabi din tikber f'viżjoni aktar ambizzjuża fejn l-aġenti jippjanaw ix-xogħol, jiftħu PRs u joħorġu bidliet b'intervent uman minimu. Iżda għall-biċċa l-kbira tat-timijiet tal-inġinerija, l-aktar valur ċar fuq żmien qasir huwa aktar speċifiku. Dan huwa t-tnaqqis tal-ispiża tal-iterazzjoni.
It-twassil tas-software mhuwiex biss ġenerazzjoni tal-kodiċi. Il-kitba tal-kodiċi hija stadju wieħed biss f'ċiklu itwal li jinkludi r-rieżami, l-ittestjar, id-deployment u l-investigazzjoni meta xi ħaġa tmur ħażin. Il-biċċa l-kbira tat-timijiet li jadottaw l-ikkowdjar b'karatteristiċi aġenti mingħajr ma jfasslu mill-ġdid iċ-ċiklu tar-rieżami sempliċement imexxu l-konġestjoni aktar 'l isfel fil-proċess.
It-tħaffif tal-ġenerazzjoni waħdu ma jagħmilx tim aktar mgħaġġel awtomatikament. Jista' sempliċement iċaqlaq aktar sforz lejn ir-rieżami, il-verifika u l-bini tal-fiduċja.
F'ħafna ambjenti tal-inġinerija, il-parti għalja mhijiex il-produzzjoni tal-ewwel abbozz, iżda li tinkiseb il-fiduċja fih.
Il-bidla tassew solviet il-problema jew tejbet is-sistema? Daħħlet rigressjoni xi mkien ieħor? Il-ħsara tinsab fil-kodiċi, fl-ambjent, fit-testijiet jew f'dipendenza? Is-soluzzjoni proposta qed tindirizza l-kawża, jew biss is-sintomu viżibbli?
L-aġenti jistgħu jgħinu hawnhekk, mhux għax jissostitwixxu lill-inġiniera, iżda għax jistgħu jagħmlu l-ewwel analiżi strutturata ta' evidenza diżordinata: jeżaminaw il-logs, iqabblu l-bidliet reċenti, jiġbru fil-qosor is-sinjali rilevanti, jintraċċaw il-kawżi probabbli, iwettqu l-kontrolli u jipproduċu xi ħaġa li bniedem jista' jiskrutinizza.
F'ħafna timijiet, l-użu ta' aġent bl-akbar impatt mhuwiex li jiġġenera l-kodiċi mill-bidu. Huwa li jnaqqas l-ispazju tat-tiftix madwar problema qabel ma bniedem iqatta' sigħat jagħmel dan manwalment.
Dan jidher ċar b'mod speċjali fil-flussi tax-xogħol tad-debugging fuq skala kbira. Immaġina CI li kull lejl iħaddem miljuni ta' testijiet fuq bażijiet ta' kodiċi li jaħdmu fuqhom mijiet ta' inġiniera (realtà għal wieħed mill-klijenti tagħna). Meta xi ħaġa tfalli, ikun diffiċli li jiġi identifikat it-tim responsabbli. Il-problema tista' tkun fil-kodiċi tal-applikazzjoni, f'dipendenza, fil-harness tat-testijiet jew xi mkien ieħor fl-istack. Il-logs jistgħu jilħqu gigabytes, u l-ewwel tim li jara l-problema mhux dejjem ikun dak responsabbli għaliha.
Fluss tax-xogħol bħal dan min-natura tiegħu ma jitlobx li aġent wieħed jikteb is-soluzzjoni. Huwa mfassal għal sistema li tnaqqas malajr l-ambitu tal-problema.
Pipeline utli jista' jikseb il-logs, jagħżel l-evidenza rilevanti, jiġbor fil-qosor dak li jgħodd, jeżamina l-kodiċi f'sandbox u jipproduċi analiżi strutturata tal-kawża ewlenija, bi klassifikazzjoni tal-fiduċja, traċċabbiltà u passi sussegwenti ssuġġeriti. Biex jiġi ġġenerat punteġġ tal-fiduċja, espert fis-suġġett jevalwa l-output inizjali tal-aġent. Dan imbagħad jingħata lil LLM li jaġixxi bħala ġudikatur, biex minn hemm 'il quddiem l-għoti tal-punteġġ jiġi awtomatizzat filwaqt li jibqa' allinjat mal-ġudizzju uman.
L-għan mhuwiex li jiġi eliminat il-ġudizzju tal-inġiniera, iżda li r-reviżuri jingħataw punt tat-tluq aktar b'saħħtu. It-trijaġġ tar-rigressjonijiet, ir-rieżami tal-PRs, it-tiswija tat-testijiet, il-validazzjoni tar-rilaxx u l-investigazzjoni wara d-deployment kollha għandhom l-istess għamla. Dawn jinvolvu ħafna evidenza u rieżami, u huma mimlijin ambigwità. Ma jitolbux lil aġent jissostitwixxi l-proċess tal-inġinerija, iżda biss jgħin biex dan il-proċess jimxi 'l quddiem.
Għal din ir-raġuni wkoll, it-timijiet għandhom joqogħdu attenti għal kif jevalwaw dawn is-sistemi.
Il-mistoqsija żbaljata hija jekk aġent jistax jipproduċi xi ħaġa impressjonanti waħdu. Il-mistoqsija aħjar hija jekk itejjibx fluss tax-xogħol reali mingħajr ma joħloq xkiel xi mkien ieħor.
Dan ifisser li wieħed jeżamina jekk l-output huwiex speċifiku biżżejjed biex jiġi vverifikat, jekk jispjegax il-kawżalità minflok sempliċement iqabbel ma' mudelli, u jekk jagħmilx ir-rieżami eħfef minflok aktar diffiċli. Tweġiba plawżibbli mhijiex neċessarjament waħda utli. Fil-prattika, it-timijiet jafdaw l-output ta' aġent meta jgħaddi mill-iskrutinju u jagħtihom xi ħaġa konkreta x'jivverifikaw.
Il-lezzjoni aktar profonda hija li sistemi utli b'karatteristiċi aġenti jiddependu fuq aktar mill-ġenerazzjoni. Jiddependu fuq kif tinġabar l-evidenza, kif jiġi assemblat il-kuntest, kif jiġu vverifikati l-outputs u kif l-inċertezza tintwera lir-reviżur.
Huwa għalhekk li l-futur qrib tal-inġinerija b'karatteristiċi aġenti aktarx mhux se jkun qabża waħda kbira lejn awtonomija sħiħa. Aktarx se jkun sett ta' ċikli mfassla bir-reqqa, fejn l-aġenti jgħinu lit-timijiet jeżaminaw, jirrieżaminaw, jivverifikaw u jirfinaw xogħolhom b'inqas sforz moħli bejn pass u ieħor.
Dan jista' jidher inqas drammatiku mill-viżjoni usa' tal-awtonomija, iżda huwa ħafna eqreb lejn kif fil-fatt jiġu adottati sistemi utli.