Snimljeni sastanci nedovoljno su iskorišten izvor znanja. Teško ih je pretraživati, ponovno pregledavanje oduzima mnogo vremena, a rasuti su po diskovima različitih timova, pa vrijedni uvidi često ostaju nezapaženi.
Tokom jednodnevnog hakatona tročlani tim napravio je Callombiju. To je interna platforma koja automatski transkribuje, označava, sažima i izdvaja isječke snimljenih poziva u pretraživ repozitorij nalik YouTubeu, dostupan svim uredima širom svijeta.
Rješenje, u potpunosti izrađeno pomoću Codexa, koristi semantičku pretragu zasnovanu na OpenAI vektorskim reprezentacijama i kosinusnoj sličnosti kako bi pronašlo relevantne trenutke čak i kada nisu upotrijebljene tačne ključne riječi, uz dodatne funkcije RAG chatbota i sistema obavijesti.
Ono za šta bi nekada bile potrebne sedmice završeno je za sedam sati, što pokazuje kako razvoj prilagođen umjetnoj inteligenciji, uz agente za kodiranje poput Codexa, može drastično skratiti ciklus razvoja proizvoda i omogućiti da interni hakatoni donesu stvarnu poslovnu vrijednost.
Ako ste poput mene, rijetko imate vremena (ili dovoljno koncentracije) da ponovo poslušate snimljene sastanke. Često je razlog to što morate pretraživati neorganizirane timske diskove, preskakati ne naročito zanimljive neobavezne razgovore i pokušavati zaista slušati dok istovremeno šaljete e-poruke i poruke.
Ali možda ne mora biti tako? Možda bismo mogli napraviti nešto što će potpuno promijeniti način korištenja snimljenih sastanaka? To je bila ideja iza našeg nedavnog hakatonskog projekta.
U samo jednom danu, 50 članova naših timova za inženjering, realizaciju i operacije bavilo se nizom poslovnih izazova: od proširenja procesa zapošljavanja i pojednostavljenja izrade opisa obima posla (SoW), preko praćenja stanja projekata i generiranja prototipa uživo, do otkrivanja uvida u snimljenim sastancima.
Na ovom hakatonu zasnovanom na Codexu napravili smo Callombiju. Callombia je YouTube naše kompanije koji svaki poziv pretvara u živ, pretraživ izvor znanja. Svaki poziv automatski se transkribuje, označava i sažima, zatim dijeli na tematske isječke i dodaje u repozitorij organiziran prema kanalima (klijentima) i temama (područjima stručnosti u umjetnoj inteligenciji). Tako svaki član tima iz Londona, Edinburgha, Singapura ili Australije može odmah pristupiti dijelovima poziva koji ga zanimaju.
Poznato korisničko sučelje usklađeno s našim brendom olakšava intuitivno otkrivanje sadržaja, dok semantička pretraga (i, naravno, RAG chatbot zasnovan na umjetnoj inteligenciji) pomaže ljudima da pronađu upravo ono što traže. Sistem obavijesti također omogućava kolegama da se pretplate na određene teme i dobiju obavijest kada se objave novi isječci koji su im relevantni.
Ali ono što je sjajno kod Callombije nije sam proizvod, pa čak ni nagrada od 2.000 £ za pobjedu na hakatonu (moramo se pohvaliti), već činjenica da smo sve ovo napravili za samo sedam sati, uz dva inženjera i voditelja realizacije. Prije godinu dana to nije bilo moguće. Unapređenja agenata za kodiranje znatno su ubrzala cjelokupan proces razvoja proizvoda, a ovaj hakaton bio je odlično mjesto za ispitivanje njihovih neravnomjernih granica mogućnosti. Kako smo, dakle, koristili Codex?
Umjesto da samo napišemo gomilu zahtjeva, počeli smo tako što smo u obliku upita iznijeli zajedničko viđenje problema i viziju Callombije. Namjerno smo ostali neodređeni kako bismo prepustili modelu da obavi posao i kreativno razmišlja:
Nakon deset minuta razmjene uključili smo način rada Plan Mode kako bismo precizirali zahtjeve i odredili tehnički dio izrade. Plan Mode djeluje kao da odgovarate na pitanja onog napornog prijatelja koji je (na svu sreću) razmotrio svaki mogući scenarij. Nakon što smo dogovorili stvari poput broja videozapisa, izbora semantičke pretrage ili pretrage po ključnim riječima te arhitekture koju ćemo koristiti, napravio je markdown datoteku koja je otad služila kao osnova projekta.
Nakon što smo napravili plan, sljedeći korak bila je izrada ključnih komponenti koje će omogućiti da Callombia zaista radi. To je značilo izraditi proces koji snimljene pozive pretvara u pretražive izvore:
Uvoz videozapisa i transkripata,
Njihovo dijeljenje na sadržajno zaokružene trenutke,
Obogaćivanje sažecima i oznakama,
Njihovo stavljanje na raspolaganje putem API-ja koje frontend može koristiti.
Ed se više usmjerio na pretvaranje sirovih snimaka i podataka iz transkripata u upotrebljiv format, dok se Nico bavio slojem za dohvaćanje koji će omogućiti pronalaženje tih trenutaka. Uz Codex su obojica uspjela uspostaviti modele podataka, skripte za izdvajanje i pozadinsku infrastrukturu mnogo brže nego što bismo to mogli ručno. Tako smo dobili mnogo više od transkripta priloženog videozapisu. Dobili smo konkretne trenutke: dio o Tescu, novosti o strategiji, razgovor o zapošljavanju ili baš onih 90 sekundi poziva koje neko zaista želi pogledati.
Upravo je taj sloj za dohvaćanje učinio stvari naročito zanimljivim. Željeli smo da neko može unijeti nešto poput “financial performance,” “Tesco roadmap,” ili “conversation evals” i odmah doći do najrelevantnijih isječaka, čak i ako te riječi nikada nisu doslovno izgovorene. Da bismo to ostvarili, napravili smo segmente s vremenskim oznakama, sažecima, tekstom transkripta i metapodacima. Uz jasnu arhitekturu i veliku pomoć Codexa, spojili smo temu, sažetak i transkript u jedan ulaz te pomoću OpenAI modela text-embedding-3-small generirali vektorske reprezentacije svakog segmenta. Te smo vektorske reprezentacije pohranili u bazu podataka i pomoću kosinusne sličnosti upoređivali korisnički upit sa svakim segmentom, čime smo dobili sloj za semantičko dohvaćanje umjesto obične pretrage po ključnim riječima.
To je bilo izuzetno precizno i proizvodu je tokom hakatonske demonstracije dalo osjećaj „magije“. Istovremeno smo znali da ovaj pristup neće moći neograničeno rasti ako se broj videozapisa nastavi povećavati jer bi poređenje svakog upita sa svakim segmentom s vremenom postalo preskupo. Prirodan sljedeći korak bio bi uvođenje efikasnijih strategija dohvaćanja, poput algoritma Hierarchical Navigable Small World, kako bi se smanjio broj poređenja i zadržalo kratko vrijeme odziva dok korpus raste. Kada je ova funkcija proradila, Callombia je počela manje ličiti na medijsku biblioteku, a više na sistem znanja.
Kao i na svakom dobrom hakatonu, i taj dio je zahtijevao dorade: početne granice segmenata bile su previše grube, neke vremenske oznake trebalo je precizirati, pojedine oznake bile su preširoke, a datoteke transkripata i snimaka nisu se uvijek uredno podudarale. Ali upravo se tu pokazala vrijednost. Codex nam je omogućio da brzo doradimo sistem umjesto da zapnemo na postavljanju i ponovnoj izradi. Na kraju smo imali backend koji je mogao pokretati isječke, kratke izdvojene dijelove i zaista korisnu semantičku pretragu. Tada je Callombia počela djelovati kao pravi proizvod, a ne samo kao hakatonska demonstracija.
Dok su Ed i Nico pravili slojeve za unos podataka i inteligentnu obradu, ja sam pravio frontend. Pomoću našeg predloška za cjelokupni tehnološki paket brzo sam pokrenuo prvu verziju web-stranice, a da nisam napisao nijedan red koda. Nakon što bih zatražio da lokalno otvori web-stranicu u mom pregledniku, davao bih jednostavne povratne informacije u obliku stavki kako bih kroz dorade dobio željeni dizajn.
Nakon otprilike sat vremena razmjene dobio sam nešto čime sam bio prilično zadovoljan, i to bez ikakvog iskustva s korisničkim sučeljima ili dizajnom. Iako konačni proizvod definitivno nije savršen, riječ je o prilično dobroj prvoj verziji koja ljudima omogućava da razumiju proizvod.
Kako bismo bili sigurni da ćemo do kraja dana imati gotov rezultat, podijelili smo posao među sobom. Naravno, nakon nekoliko sati uglavnom samostalnog rada svi smo imali vlastite lokalne grane s mnoštvom konflikata.
Umjesto da potrošimo vrijeme koje nismo imali na pažljivo pregledavanje i rješavanje konflikata, odlučili smo jednostavno pustiti Codex da samostalno pregleda repozitorije i otkloni ih. Iako ovo zasad ne bismo preporučili za razvoj poslovnog softvera, bilo je nevjerovatno vidjeti koliko je djelotvorno u okruženju s malim rizikom, a uštedjelo nam je mnogo sati.
Posljednji dio hakatona bio je snimanje demonstracije Callombije za sudije. Instinktivno smo htjeli otvoriti Loom i njime snimiti demonstraciju, ali pomislili smo da bi ovo mogao biti pravi test za Codex i zadatak koji donekle izlazi iz okvira njegovih trenutnih mogućnosti. Dakle… Napisali smo upit, dali mu poveznicu na web-stranicu Callombije, dodali snimak mog glasa na OpenAI platformi za programere i zatražili da uradi sve ostalo.
Prvi pokušaj bio je veoma impresivan: napisao je scenarij demonstracije, snimio ekran, dodao moj glas i gotovo u potpunosti ispunio zadatak. Jedino čime nismo odmah bili zadovoljni bila je sinhronizacija glasa sa snimkom demonstracije, pa smo mu zadali: “MANDATORY: align the voiceover exactly with what is being shown in the demo. There was misalignment (e.g. on the chat page). Triple check alignment of voiceover and the screen-recorded demo at the end. Match it up through whichever means possible.”
Kao odgovor na taj zahtjev, Codex je podijelio glasovni zapis i snimak na manje dijelove te gotovo besprijekorno izvršio zadatak taman do 17:30, kada je došlo vrijeme za slavljeničko pivo i pizzu.
Znamo da Callombia rješava problem s kojim se suočava većina kompanija. Teško je prisustvovati svakom pozivu u kompaniji koja brzo raste, ali dragocjeni uvidi podijeljeni tokom tih razgovora neprocjenjivi su. Sada je samo trebamo pustiti u produkciju.
Međutim, ovdje se krije i važnija pouka o prilagođavanju umjetnoj inteligenciji te koristima koje donosi primjena inženjerskog i proizvodnog znanja na zajedničke probleme. Izlaskom iz uobičajenog ritma rada i saradnjom različitih timova u polutakmičarskom okruženju došli smo do niza rješenja koja bi se, uz nekoliko dorada, mogla pustiti u produkciju. Budemo li ovo redovno radili, možemo osigurati da naši interni procesi budu jednako efikasni kao rješenja koja pravimo za klijente.