Snimke sastanaka nedovoljno su iskorišten izvor znanja. Teško ih je pretraživati, ponovno pregledavanje oduzima mnogo vremena, a raspršene su po timskim diskovima, pa vrijedni uvidi često ostaju nezapaženi.
Tijekom jednodnevnog hackathona tročlani tim izradio je Callombiju. Riječ je o internoj platformi koja automatski transkribira, označava, sažima i izdvaja isječke snimljenih poziva u pretraživ repozitorij nalik YouTubeu, dostupan svim globalnim uredima.
Rješenje, u cijelosti izrađeno uz Codex, koristi semantičko pretraživanje koje pokreću OpenAI ugradnje i kosinusna sličnost kako bi pronašlo relevantne trenutke čak i kada se ne upotrebljavaju iste ključne riječi, a nadograđeno je RAG chatbotom i sustavom obavijesti.
Ono za što bi nekoć trebali tjedni dovršeno je za sedam sati, što pokazuje kako razvoj izvorno prilagođen umjetnoj inteligenciji, uz agente za programiranje poput Codex, može drastično skratiti životni ciklus razvoja proizvoda i iz internih hackathona izvući stvarnu poslovnu vrijednost.
Ako ste poput mene, rijetko imate vremena (ili dovoljno koncentracije) ponovno poslušati snimke sastanaka. Razlog je često to što morate pretraživati neorganizirane timske diskove, preskakati osrednje neobavezne razgovore i pokušavati doista slušati dok istodobno šaljete e-poruke i poruke.
Ali možda ne mora biti tako? Možda bismo mogli izraditi nešto što će potpuno promijeniti način korištenja snimljenih sastanaka? To je bila ideja našeg nedavnog hackathona.
U samo jednom danu 50 članova naših timova za inženjerstvo, isporuku i operacije bavilo se nizom poslovnih izazova: od povećanja opsega operacija zapošljavanja i pojednostavnjivanja izrade opisa poslova do razumijevanja stanja projekata, izrade prototipova uživo i pronalaženja uvida u snimljenim sastancima.
Na tom hackathonu utemeljenom na Codex izradili smo Callombiju. Callombia je YouTube naše tvrtke koji svaki poziv pretvara u živ i pretraživ izvor znanja. Svaki se poziv automatski transkribira, označava i sažima, zatim dijeli na tematske isječke i dodaje u repozitorij organiziran prema kanalima (klijentima) i temama (područjima specijalizacije za umjetnu inteligenciju). Tako svaki član tima iz Londona, Edinburgha, Singapura ili Australije može odmah pristupiti dijelovima poziva koji ga zanimaju.
Poznato korisničko sučelje usklađeno s brendom olakšava intuitivno otkrivanje sadržaja, a semantičko pretraživanje (i, naravno, RAG chatbot s umjetnom inteligencijom) pomaže ljudima pronaći upravo ono što traže. Sustav obavijesti kolegama omogućuje i pretplatu na određene teme te ih obavještava kada se objave novi isječci koji bi im mogli biti relevantni.
No najzanimljiviji dio Callombije nije sam proizvod, pa čak ni nagrada od 2000 £ za pobjedu na hackathonu (malo hvalisanja), nego činjenica da smo sve to izradili za samo sedam sati, s dva inženjera i voditeljem isporuke. Prije godinu dana to nije bilo moguće. Poboljšanja agenata za programiranje uvelike su ubrzala cjelokupan proces razvoja proizvoda, a ovaj se hackathon pokazao kao odličan poligon za upoznavanje njihovih neujednačenih granica. Kako smo, dakle, upotrijebili Codex?
Umjesto da samo napišemo hrpu zahtjeva, počeli smo tako što smo u obliku upita podijelili zajedničko viđenje problema i viziju Callombije. Namjerno smo ostali neodređeni kako bismo modelu prepustili posao i omogućili mu kreativno razmišljanje:
Nakon deset minuta razmjene uključili smo Plan Mode kako bismo precizirali zahtjeve i usmjerili tehnički dio izrade. Plan Mode djeluje kao odgovaranje na pitanja onog dosadnog prijatelja koji je (korisno) razmotrio svaki mogući scenarij. Nakon što smo dogovorili pojedinosti poput broja videozapisa, semantičkog pretraživanja ili pretraživanja prema ključnim riječima te arhitekture koju ćemo koristiti, izradio je Markdown datoteku koja je od tada bila temelj projekta.
Nakon što smo izradili plan, sljedeći je korak bio izraditi ključne komponente potrebne za rad Callombije. To je značilo izraditi proces koji snimljene pozive pretvara u pretražive izvore znanja:
Učitavanje videozapisa i transkripata,
njihovo dijeljenje na smislene trenutke,
obogaćivanje sažecima i oznakama,
njihovo izlaganje putem API-ja koje frontend može koristiti.
Ed se više usredotočio na pretvaranje sirovih snimki i transkripata u upotrebljiv format, dok se Nico bavio slojem za dohvat koji će omogućiti pronalaženje tih trenutaka. Uz Codex obojica su mnogo brže nego što bismo to mogli ručno postavili podatkovne modele, skripte za izdvajanje i pozadinsku infrastrukturu. Tako smo dobili mnogo više od transkripta priloženog videozapisu. Dobili smo trenutke: dio o Tescu, novosti o strategiji, raspravu o zapošljavanju, konkretnih 90 sekundi poziva koje netko doista želi pogledati.
Upravo je sloj za dohvat postao osobito zanimljiv. Željeli smo da netko može upisati nešto poput “financial performance,” “Tesco roadmap,” ili “conversation evals” i odmah doći do najrelevantnijih isječaka, čak i ako te riječi nikad nisu bile izgovorene. U tu smo svrhu izradili segmente s vremenskim oznakama, sažecima, tekstom transkripta i metapodacima. S jasnom arhitekturom na umu i uz veliku pomoć Codex spojili smo temu, sažetak i transkript u jedan ulaz te modelom OpenAI text-embedding-3-small generirali ugradnje za svaki segment. Te smo ugradnje pohranili u bazu podataka i kosinusnom sličnošću uspoređivali korisnički upit sa svakim segmentom, čime smo dobili sloj za semantički dohvat umjesto jednostavnog pretraživanja ključnih riječi.
To je pružilo iznimno precizne rezultate i proizvodu dalo „čaroban” dojam tijekom demonstracije na hackathonu. Istodobno smo znali da se taj pristup neće moći neograničeno skalirati bude li broj videozapisa nastavio rasti jer bi usporedba svakog upita sa svakim segmentom s vremenom postala preskupa. Prirodan sljedeći korak bio bi uvođenje učinkovitijih strategija dohvata, kao što je Hierarchical Navigable Small World, kako bi se smanjio broj usporedbi i zadržala niska latencija tijekom rasta korpusa. Nakon što je ta značajka proradila, Callombia je počela manje nalikovati medijskoj biblioteci, a više sustavu znanja.
Kao i na svakom dobrom hackathonu, i taj je dio trebalo doraditi: početne granice segmenata bile su pregrube, neke vremenske oznake trebalo je precizirati, pojedine su oznake bile preširoke, a datoteke transkripata i snimki nisu se uvijek uredno podudarale. No upravo je tu vrijednost postala očita. Codex nam je omogućio brzo usavršavanje sustava umjesto da zapnemo na postavljanju i ponovnoj izradi. Na kraju smo imali pozadinski sustav koji je mogao pokretati isječke, kratke izvatke i doista korisno semantičko pretraživanje. Tada je Callombia počela djelovati kao pravi proizvod, a ne samo kao demonstracija s hackathona.
Dok su Ed i Nico izrađivali sustav za unos i inteligentni sloj, ja sam izrađivao frontend. Koristeći naš predložak za cijeli tehnološki stog, brzo sam pokrenuo prvu verziju web-mjesta bez pisanja ijednog retka koda. Nakon što bih zatražio da lokalno otvori web-mjesto u mojem pregledniku, davao bih jednostavne povratne informacije u natuknicama kako bih postupno prilagodio dizajn svojim zamislima.
Nakon otprilike sat vremena razmjene dobio sam nešto čime sam bio prilično zadovoljan, i to bez ikakvog iskustva s korisničkim sučeljima ili dizajnom. Iako konačni proizvod definitivno nije savršen, riječ je o prilično dobroj prvoj verziji koja ljudima omogućuje da shvate proizvod.
Kako bismo bili sigurni da ćemo do kraja dana nešto dovršiti, podijelili smo posao. Naravno, nakon nekoliko sati djelomično neovisnog rada svi smo imali vlastite lokalne grane s mnoštvom sukoba.
Umjesto da vrijeme koje nismo imali potrošimo na pažljivo rješavanje sukoba, odlučili smo Codex pustiti da samostalno pregleda repozitorije i riješi ih. Iako to zasad ne bismo preporučili za razvoj poslovnog softvera, nevjerojatno je vidjeti koliko je učinkovito u okruženju s malim rizikom, a nama je uštedjelo mnogo sati.
Posljednji dio hackathona bilo je snimanje demonstracije Callombije za suce. Instinktivno smo htjeli otvoriti Loom i njime snimiti demonstraciju, ali pomislili smo da bi to mogao biti pravi test za Codex i zadatak koji donekle nadilazi njegove trenutačne mogućnosti. Stoga… Napisali smo upit, dali mu poveznicu na web-mjesto Callombije, dodali snimku mojeg glasa na razvojnoj platformi OpenAI i zatražili da obavi sve ostalo.
Prvi pokušaj bio je vrlo impresivan: napisao je scenarij demonstracije, snimio zaslon, dodao moj glas i gotovo u potpunosti ispunio zadatak. Jedino čime nismo odmah bili zadovoljni bila je sinkronizacija glasa sa snimkom demonstracije, pa smo mu zadali: “MANDATORY: align the voiceover exactly with what is being shown in the demo. There was misalignment (e.g. on the chat page). Triple check alignment of voiceover and the screen-recorded demo at the end. Match it up through whichever means possible.”
Kao odgovor na taj zahtjev Codex je podijelio glasovnu i videosnimku na manje dijelove te gotovo besprijekorno izvršio zadatak, baš na vrijeme za pivo i pizzu u 17:30 kojima smo proslavili uspjeh.
Znamo da Callombia rješava problem s kojim se suočava većina tvrtki. Teško je sudjelovati u svakom pozivu u tvrtki koja brzo raste, ali dragocjeni uvidi podijeljeni tijekom tih poziva neprocjenjivi su. Sada je samo trebamo pustiti u produkciju.
No ovdje postoji i šira pouka o izvornom prihvaćanju umjetne inteligencije te prednostima usmjeravanja inženjerskog i produktnog znanja na rješavanje zajedničkih problema. Izlaskom iz uobičajenog radnog ciklusa i suradnjom različitih timova u djelomično natjecateljskom okruženju dobili smo niz rješenja koja bi se uz nekoliko dorada mogla pustiti u produkciju. Budemo li to redovito radili, možemo osigurati da naši interni procesi budu jednako učinkoviti kao rješenja koja izrađujemo za klijente.