Salvestatud koosolekud on alakasutatud teadmiste vara. Neist on raske otsida, nende uuesti läbivaatamine võtab aega ja need on hajutatud meeskondade ketastele, mistõttu jäävad väärtuslikud tähelepanekud sageli märkamata.
Kolmeliikmeline meeskond ehitas ühepäevasel häkatonil Callombia. See on siseplatvorm, mis transkribeerib, sildistab ja võtab salvestatud kõned automaatselt kokku, lõikab need klippideks ning lisab üleilmsetele kontoritele kättesaadavasse YouTube’i-laadsesse otsitavasse varamusse.
Täielikult Codexiga loodud lahendus kasutab OpenAI siirdevektoritel ja koosinussarnasusel põhinevat semantilist otsingut, et leida asjakohased hetked ka täpsete märksõnadeta, ning sellele lisanduvad RAG-vestlusrobot ja teavitussüsteem.
Varem nädalaid nõudnud lahendus valmis seitsme tunniga. See näitab, kuidas Codexi-suguste kodeerimisagentidega tehisintellektikeskne arendus võib tootearendustsüklit märkimisväärselt lühendada ja sisehäkatonidel tõelist äriväärtust luua.
Kui olete nagu mina, napib teil harva aega (või tähelepanu), et salvestatud koosolekuid uuesti kuulata. Sageli tuleb selleks otsida korrastamata meeskonnaketastelt, kerida üle keskpärasest lobisemisest ning püüda e-kirju ja sõnumeid saates päriselt kuulata.
Aga ehk ei pea see nii olema? Äkki saaksime ehitada midagi, mis muudab salvestatud koosolekute kasutamist täielikult? Sellest mõttest sündiski meie hiljutine häkatoniprojekt.
Vaid ühe päevaga asusid 50 meie inseneeria-, tarne- ja käitustiimi liiget lahendama ettevõtte eri osadest kogutud probleeme: värbamistoimingute skaleerimine, töökirjelduste koostamise lihtsustamine, projektide seisu mõistmine, prototüüpide reaalajas loomine ja salvestatud koosolekutest tähelepanekute leidmine.
Sellel Codexil põhineval häkatonil ehitasime Callombia. Callombia on meie ettevõtte YouTube, mis muudab iga kõne elavaks ja otsitavaks varaks. Iga kõne transkribeeritakse, sildistatakse ja võetakse automaatselt kokku, seejärel lõigatakse temaatilisteks klippideks ning lisatakse kanalite (kliendid) ja teemade (tehisintellekti pädevusvaldkonnad) järgi rühmitatud varamusse. Nii pääseb iga meeskonnaliige Londonist, Edinburghist, Singapurist või Austraaliast kohe ligi talle olulistele kõnehetkedele.
Tuttav ja brändiga kooskõlas kasutajaliides muudab sisu avastamise loomulikuks ning semantiline otsing (ja mõistagi RAG-i tehisintellekti vestlusrobot) aitab leida täpselt seda, mida otsitakse. Teavitussüsteem võimaldab kolleegidel ka soovitud teemasid jälgida ja saada märguande, kui avaldatakse neile asjakohaseid uusi klippe.
Callombia puhul pole aga lahe mitte toode ega häkatoni võidu eest saadud 2000 naela suurune auhind (väike uhkustamine), vaid tõsiasi, et kaks inseneri ja tarnejuht ehitasid selle kõik valmis vaid seitsme tunniga. Aasta tagasi poleks see olnud võimalik. Kodeerimisagentide areng on kiirendanud kogu tootearendusprotsessi tohutult ning häkaton oli suurepärane katsepolügoon nende ebaühtlaste võimete piiride uurimiseks. Kuidas me siis Codexit kasutasime?
Selle asemel et koostada lihtsalt hulk nõudeid, jagasime esmalt viibana oma ühist arusaama probleemiruumist ja Callombia visioonist. Jätsime kirjelduse teadlikult üldsõnaliseks, et mudel saaks ise töö ära teha ja loovalt mõelda:
Pärast kümneminutilist edasi-tagasi arutelu lülitasime sisse plaanirežiimi, et nõudeid täpsustada ja lahenduse tehnilist osa suunata. Plaanirežiim tundub nagu vastamine tüütu sõbra küsimustele, kes on (abivalmilt) kõik võimalikud olukorrad läbi mõelnud. Kui olime kokku leppinud videote arvu, semantilise või märksõnaotsingu ja kasutatava arhitektuuri, lõi see Markdowni faili, millest sai edasise projekti alus.
Kui plaan oli paigas, tuli järgmisena luua põhikomponendid, mis paneksid Callombia päriselt tööle. Selleks tuli luua töövoog, mis muudaks salvestatud kõned otsitavaks varaks:
videote ja transkriptsioonide sisestamine,
nende jagamine sisukateks hetkedeks,
nende rikastamine kokkuvõtete ja siltidega,
nende kättesaadavaks tegemine API-de kaudu, mida kasutajarakendus saaks kasutada.
Ed keskendus rohkem algsete salvestiste ja transkriptsiooniandmete kasutatavasse vormingusse viimisele, Nico aga otsingukihile, mis teeks need hetked leitavaks. Codexi abil said nad andmemudelid, ekstraktimisskriptid ja taustasüsteemi ühendused tööle palju kiiremini, kui käsitsi oleksime suutnud. Nii saime palju enamat kui videole lisatud transkriptsiooni. Saime konkreetsed hetked: Tesco osa, strateegiaülevaate, värbamisteemalise arutelu või just need 90 sekundit kõnest, mida keegi päriselt vaadata tahab.
Eriti huvitavaks läks asi otsingukihi juures. Tahtsime, et kasutaja võiks sisestada näiteks „majandustulemused“, „Tesco tegevuskava“ või „vestluste hindamised“ ja jõuda kõige asjakohasemate klippideni isegi siis, kui neid täpseid sõnu polnud kordagi öeldud. Selleks lõime ajatempleid, kokkuvõtteid, transkriptsiooniteksti ja metaandmeid sisaldavad lõigud. Selget arhitektuuri järgides ja Codexilt palju abi saades ühendasime teema, kokkuvõtte ja transkriptsiooni üheks sisendiks ning kasutasime iga lõigu siirdevektori loomiseks OpenAI mudelit text-embedding-3-small. Talletasime siirdevektorid andmebaasi ja võrdlesime koosinussarnasuse abil kasutaja päringut iga lõiguga. Nii saime lihtsa märksõnaotsingu asemel semantilise otsingukihi.
See andis äärmiselt täpseid tulemusi ja tekitas häkatoni demos toote „maagilise“ tunde. Samas teadsime, et videote arvu jätkuva kasvu korral pole see lähenemisviis lõputult skaleeritav, sest iga päringu võrdlemine iga lõiguga muutuks viimaks liiga kulukaks. Loomulik järgmine samm oleks võtta kasutusele tõhusamad otsingustrateegiad, näiteks Hierarchical Navigable Small World, et vähendada võrdluste arvu ja hoida latentsus andmekogumi kasvades väike. Kui see funktsioon tööle hakkas, sarnanes Callombia üha vähem meediateegiga ja üha rohkem teadmussüsteemiga.
Nagu igal heal häkatonil, vajas ka see osa korduvat täiustamist: lõikude esialgsed piirid olid liiga ebatäpsed, osa ajatempleid vajas korrigeerimist, mõned sildid olid liiga üldised ning transkriptsiooni- ja salvestusfailid ei langenud alati korralikult kokku. Kuid just siin ilmnes ka tegelik väärtus. Codex võimaldas meil süsteemi kiiresti täiustada, selle asemel et seadistamisse ja ümbertegemisse takerduda. Lõpuks oli meil taustasüsteem, mis suutis toetada klippe, katkendeid ja päriselt kasulikku semantilist otsingut. Sel hetkel hakkas Callombia tunduma häkatonidemo asemel tõelise tootena.
Samal ajal kui Ed ja Nico ehitasid sisestus- ja nutikihti, lõin mina kasutajarakenduse. Meie täispinu malli kasutades sain veebisaidi esimese versiooni kiiresti käivitada, kirjutamata ridagi koodi. Kui olin palunud sellel veebisaidi kohalikult minu brauseris avada, andsin kujunduse soovitud suunas täiustamiseks lihtsat täpploendina tagasisidet.
Pärast umbes tunnist edasi-tagasi täiendamist oli mul lahendus, millega olin üsna rahul, ehkki mul puudus igasugune kasutajaliidese- või disainikogemus. Lõpptoode pole kindlasti täiuslik, kuid see on päris hea esimene versioon, mis aitab inimestel tootest aru saada.
Et päeva lõpuks kindlasti midagi valmis saada, jagasime töö omavahel ära. Mõistagi oli meil pärast mõnetunnist üsna iseseisvat tööd igaühel oma kohalik haru ja hulgaliselt konflikte.
Selle asemel et kulutada aega, mida meil polnud, konfliktide hoolikale läbivaatamisele ja lahendamisele, lasime Codexi lihtsalt varamute kallale ning palusime tal konfliktid ise parandada. Praegu ei soovitaks me seda ettevõttetasemel tarkvaraarenduses kasutada, kuid väikeste riskidega keskkonnas oli selle tõhusus hämmastav ja säästis meile mitu tundi.
Häkatoni viimane osa oli Callombia demo salvestamine kohtunikele. Esmalt tahtsime salvestamiseks vaistlikult Loomi avada, kuid leidsime, et see võiks olla Codexile tõeline proovikivi ja jääda veidi väljapoole selle praeguseid võimeid. Niisiis… kirjutasime viiba, andsime sellele Callombia veebisaidi lingi, lisasime OpenAI arendusplatvormil tehtud salvestise minu häälest ja palusime ülejäänu ära teha.
Esimene katse oli väga muljetavaldav: see oli kirjutanud demo stsenaariumi, salvestanud ekraani, lisanud minu pealelugemise ja täitnud ülesande peaaegu täielikult. Ainus, millega me kohe rahul polnud, oli pealelugemise sünkroonimine demosalvestisega, seega palusime: “MANDATORY: align the voiceover exactly with what is being shown in the demo. There was misalignment (e.g. on the chat page). Triple check alignment of voiceover and the screen-recorded demo at the end. Match it up through whichever means possible.”
Selle peale jagas Codex pealelugemise ja salvestise väiksemateks osadeks ning täitis ülesande peaaegu veatult, jõudes valmis täpselt kella 17.30-ks, et saaksime õlle ja pitsaga tähistada.
Teame, et Callombia lahendab probleemi, millega seisab silmitsi enamik ettevõtteid. Kiiresti kasvavas ettevõttes on raske igal kõnel osaleda, kuid neis jagatud tarkuseterad on hindamatud. Nüüd peame selle lihtsalt tootmiskeskkonda viima.
Siin peitub aga laiem õppetund tehisintellektikesksest mõtteviisist ning sellest, kui kasulik on rakendada inseneeria- ja tooteteadmisi ühiste probleemide lahendamiseks. Tavapärasest töörütmist välja astudes, meeskondadeüleselt koostööd tehes ja mõõdukalt võistluslikus keskkonnas jõudsime mitme lahenduseni, mille saaks pärast mõningast kohendamist tootmiskeskkonda viia. Kui teeme seda korrapäraselt, saame tagada, et meie sisemine töö on sama ladus kui klientidele loodavad lahendused.