Većina timova koja usvoji kodiranje uz pomoć AI agenta samo premjesti usko grlo s generiranja na pregledavanje, pa je bez poboljšanja tog ciklusa neto dobitak u brzini gotovo ravan nuli.
U velikim CI okruženjima, s milijunima testova svake noći i stotinama inženjera, najvrjedniji zadatak agenta jest utvrđivanje nadležnosti i trijaža, a ne generiranje koda.
Koristan rezultat agenta izdržava pomnu provjeru i objašnjava uzročno-posljedične veze, a ne samo podudarnosti obrazaca.
Dizajn sloja za prikupljanje dokaza i sastavljanje konteksta važniji je od sloja za generiranje.
Većina rasprava o kodiranju uz pomoć AI agenta i dalje polazi od jednostavnog obećanja: pisati više koda, brže.
To se katkad razvije u ambiciozniju viziju u kojoj agenti planiraju rad, otvaraju PR-ove i isporučuju izmjene uz minimalnu ljudsku intervenciju. No za većinu inženjerskih timova najjasnija je kratkoročna korist užeg opsega. Riječ je o smanjenju troškova iteracije.
Isporuka softvera nije samo generiranje koda. Pisanje koda samo je jedna faza duljeg ciklusa koji obuhvaća pregled, testiranje, implementaciju i istraživanje problema kada nešto pođe po zlu. Većina timova koja usvoji kodiranje uz pomoć AI agenta bez redizajna ciklusa pregleda samo premjesti usko grlo u kasniju fazu.
Samo ubrzavanje generiranja ne čini tim automatski bržim. Može samo preusmjeriti više truda na pregled, provjeru i izgradnju povjerenja.
U mnogim inženjerskim okruženjima najskuplji dio nije izrada prvog nacrta, nego stjecanje pouzdanosti u rezultat.
Je li izmjena doista riješila problem ili poboljšala sustav? Je li negdje drugdje uzrokovala regresiju? Je li kvar u kodu, okruženju, testovima ili ovisnosti? Rješava li predloženi popravak uzrok ili samo vidljivi simptom?
Agenti tu mogu pomoći, ne zato što zamjenjuju inženjere, nego zato što mogu strukturirano pregledati neuredne dokaze: proučiti zapisnike, usporediti nedavne izmjene, sažeti relevantne signale, pratiti vjerojatne uzroke, pokrenuti provjere i vratiti rezultat koji čovjek može detaljno ispitati.
U mnogim timovima najkorisnija primjena agenta nije generiranje koda od nule. Njegova je najveća vrijednost sužavanje prostora pretrage problema prije nego što čovjek potroši sate radeći to ručno.
To je osobito jasno u opsežnim postupcima otklanjanja pogrešaka. Zamislite da CI svake noći izvodi milijune testova u bazama koda koje mijenjaju stotine inženjera, što je stvarnost za jednog od naših klijenata. Kada nešto zakaže, teško je utvrditi nadležnost. Problem može biti u aplikacijskom kodu, ovisnosti, testnom sklopu ili nekom drugom dijelu tehnološkog okruženja. Zapisnici mogu doseći veličinu od više gigabajta, a tim koji prvi uoči problem nije uvijek onaj koji je za njega nadležan.
Takav tijek rada po svojoj prirodi ne zahtijeva da jedan agent napiše popravak. Prikladniji je za sustav koji brzo sužava prostor problema.
Koristan proces mogao bi dohvatiti zapisnike, odabrati relevantne dokaze, sažeti ono što je važno, pregledati kod u izoliranom okruženju te izraditi strukturiranu analizu temeljnog uzroka s ocjenom pouzdanosti, sljedivošću i prijedlozima sljedećih koraka. Kako bi se dobila ocjena pouzdanosti, stručnjak za predmetno područje ocjenjuje početni rezultat agenta. Ta se ocjena zatim unosi u LLM u ulozi suca kako bi se ubuduće automatiziralo ocjenjivanje, a pritom zadržala usklađenost s ljudskom prosudbom.
Cilj nije ukloniti inženjersku prosudbu, nego pružiti bolju polaznu točku osobama koje obavljaju pregled. Trijaža regresija, pregled PR-ova, popravak testova, provjera izdanja i istraživanje nakon implementacije imaju istu strukturu. Svi se oslanjaju na mnogo dokaza i pregleda te su puni nejasnoća. Od agenta ne traže da zamijeni inženjerski proces, nego samo da pomogne u njegovu napretku.
Zbog toga bi timovi trebali pažljivo razmotriti i način na koji procjenjuju te sustave.
Pogrešno je pitati može li agent samostalno proizvesti nešto dojmljivo. Bolje je pitati poboljšava li stvarni tijek rada bez stvaranja poteškoća negdje drugdje.
To znači provjeriti je li rezultat dovoljno konkretan da se može potvrditi, objašnjava li uzročno-posljedične veze umjesto da samo prepoznaje obrasce te olakšava li pregled umjesto da ga otežava. Uvjerljiv odgovor nije nužno i koristan. Timovi u praksi vjeruju rezultatu agenta kada on izdrži pomnu provjeru i ponudi nešto konkretno što mogu provjeriti.
Dublja je pouka da korisni agentski sustavi ovise o mnogočemu osim o generiranju. Ovise o tome kako se prikupljaju dokazi, sastavlja kontekst i provjeravaju rezultati te kako se osobi koja obavlja pregled prikazuje nesigurnost.
Zato kratkoročna budućnost inženjerstva uz pomoć AI agenata vjerojatno neće biti jedan velik skok prema potpunoj autonomiji. Vjerojatnije je da će je činiti niz pomno osmišljenih ciklusa u kojima agenti pomažu timovima pregledavati, provjeravati i usavršavati svoj rad uz manje uzaludnog truda između koraka.
To možda zvuči manje dramatično od šire priče o autonomiji, ali mnogo bolje odgovara načinu na koji se korisni sustavi doista usvajaju.