Een slimme tool voor het doorzoeken van vergaderingen bouwen met Codex

Ontdek hoe Codex opgenomen bedrijfsvergaderingen via een snelle, praktische interne bouw omzet in doorzoekbare kennis.

Managementsamenvatting

  • Opgenomen vergaderingen zijn een onderbenutte kennisbron. Ze zijn lastig te doorzoeken, het kost veel tijd om ze terug te kijken en ze staan verspreid over afgeschermde teamschijven, waardoor waardevolle inzichten vaak onopgemerkt blijven.

  • Tijdens een eendaagse hackathon bouwde een team van drie mensen Callombia. Dit interne platform transcribeert, tagt en vat opgenomen gesprekken automatisch samen, knipt ze op in fragmenten en slaat ze op in een doorzoekbare, YouTube-achtige repository die wereldwijd vanuit alle kantoren toegankelijk is.

  • De oplossing, die volledig met Codex is gebouwd, gebruikt semantisch zoeken op basis van embeddings van OpenAI en cosinusgelijkenis om relevante momenten te vinden, zelfs als de exacte trefwoorden niet worden gebruikt. Daarbovenop zijn een RAG-chatbot en meldingssysteem gebouwd.

  • Wat vroeger weken zou hebben gekost, werd in zeven uur opgeleverd. Dit laat zien hoe AI-native ontwikkeling met programmeeragenten zoals Codex de productontwikkelingscyclus drastisch kan verkorten en interne hackathons echte bedrijfswaarde kan laten opleveren.

Als je op mij lijkt, heb je zelden de tijd (of het concentratievermogen) om opgenomen vergaderingen terug te luisteren. Dat komt vaak doordat je ongeordende teamschijven moet doorzoeken, matige koetjes-en-kalfjesgesprekken moet doorspoelen en echt moet proberen te luisteren terwijl je ondertussen e-mails en berichten verstuurt.

Maar misschien hoeft dat helemaal niet? Misschien kunnen we iets bouwen dat opgenomen vergaderingen compleet verandert? Dat was het idee achter ons recente hackathonproject.

In slechts één dag gingen vijftig collega's uit onze engineering-, delivery- en operationele teams aan de slag met uiteenlopende bedrijfsvraagstukken: van het opschalen van wervingsactiviteiten en het stroomlijnen van SoW-creatie tot inzicht in de gezondheid van projecten, live prototypes genereren en inzichten uit opgenomen vergaderingen halen.

Tijdens deze hackathon rond Codex bouwden we Callombia. Callombia is de YouTube van ons bedrijf en maakt van elk gesprek een levende, doorzoekbare kennisbron. Elk gesprek wordt automatisch getranscribeerd, getagd en samengevat, vervolgens opgeknipt in thematische fragmenten en toegevoegd aan een repository die is ingedeeld op kanaal (klanten) en onderwerp (AI-specialismen). Zo kan ieder teamlid in Londen, Edinburgh, Singapore en Australië direct naar de relevante momenten in gesprekken gaan.

Een vertrouwde gebruikersinterface in onze huisstijl maakt het vinden van content intuïtief, terwijl semantisch zoeken (en natuurlijk een RAG-AI-chatbot) mensen helpt precies te vinden wat ze zoeken. Dankzij een meldingssysteem kunnen onze collega's zich bovendien abonneren op bepaalde onderwerpen en een melding krijgen wanneer er nieuwe, voor hen relevante fragmenten verschijnen.

Maar het mooiste aan Callombia is niet het product of de prijs van £ 2.000 voor het winnen van de hackathon (even opscheppen), maar dat we dit alles in slechts zeven uur konden bouwen met twee engineers en een delivery lead. Een jaar geleden was dat nog niet mogelijk. Verbeteringen aan programmeeragenten hebben het volledige productontwikkelingsproces enorm versneld. Deze hackathon bleek een ideale proeftuin om de grillige grenzen van die technologie te verkennen. Hoe hebben we Codex dan gebruikt?

Onze oplossing plannen

In plaats van simpelweg een hele lijst vereisten op te stellen, begonnen we met onze gezamenlijke kijk op het probleemgebied en onze visie voor Callombia, die we als prompt invoerden. Door bewust weinig details te geven, lieten we het model het werk doen en creatief nadenken:

Na tien minuten heen en weer praten schakelden we Plan Mode in om de vereisten af te bakenen en richting te geven aan het technische deel van de bouw. Plan Mode voelt alsof je vragen beantwoordt van die irritante vriend die (gelukkig maar) elk mogelijk scenario al heeft doordacht. Nadat we het eens waren over zaken als het aantal video's, semantisch zoeken of zoeken op trefwoorden en de te gebruiken architectuur, maakte Codex een markdownbestand dat vanaf dat moment de basis van het project vormde.

Schermafbeelding van het plannen van onze oplossing.

De kerncomponenten bouwen

Toen het plan klaar was, gingen we de kerncomponenten bouwen die Callombia daadwerkelijk zouden laten werken. Daarvoor moesten we een pijplijn maken die opgenomen gesprekken omzet in doorzoekbare bronnen:

  1. Video's en transcripties invoeren,

  2. Ze opdelen in betekenisvolle momenten,

  3. Ze verrijken met samenvattingen en tags,

  4. Ze beschikbaar stellen via API's die de frontend kon gebruiken.

Ed richtte zich vooral op het omzetten van de ruwe opnamen en transcriptiegegevens naar een bruikbaar formaat, terwijl Nico zich concentreerde op de opvraaglaag waarmee die momenten vindbaar werden. Met Codex konden ze de datamodellen, extractiescripts en backend-infrastructuur veel sneller opzetten dan handmatig mogelijk was geweest. Dat leverde ons veel meer op dan een transcriptie bij een video. Het gaf ons concrete momenten: het onderdeel over Tesco, de strategie-update, het gesprek over werving of precies die negentig seconden uit een gesprek die iemand daadwerkelijk wil bekijken.

Vooral die opvraaglaag maakte het interessant. We wilden dat iemand bijvoorbeeld "financial performance", "Tesco roadmap" of "conversation evals" kon typen en vervolgens bij de relevantste fragmenten terechtkwam, zelfs als die exacte woorden nooit waren uitgesproken. Daarvoor maakten we segmenten met tijdstempels, samenvattingen, transcriptietekst en metadata. Met een duidelijke architectuur voor ogen en veel hulp van Codex voegden we het onderwerp, de samenvatting en het transcript samen tot één invoer. Vervolgens gebruikten we het model text-embedding-3-small van OpenAI om voor elk segment embeddings te genereren. We sloegen die embeddings op in onze database en gebruikten cosinusgelijkenis om een zoekopdracht van een gebruiker met elk segment te vergelijken. Zo kregen we een semantische opvraaglaag in plaats van een eenvoudige zoekfunctie op basis van trefwoorden.

Dit leverde een bijzonder hoge nauwkeurigheid op en gaf het product tijdens de hackathondemo een bijna "magisch" karakter. Tegelijkertijd wisten we dat deze aanpak bij een groeiend aantal video's niet onbeperkt schaalbaar zou zijn, omdat het uiteindelijk te duur zou worden om elke zoekopdracht met elk segment te vergelijken. Een logische volgende stap is het invoeren van efficiëntere opvraagstrategieën, zoals Hierarchical Navigable Small World, om het aantal vergelijkingen te beperken en de latentie laag te houden naarmate de verzameling groeit. Toen deze functie eenmaal werkte, begon Callombia minder op een mediabibliotheek en meer op een kennissysteem te lijken.

Zoals bij elke goede hackathon moest ook dit onderdeel worden bijgeschaafd: de eerste segmentgrenzen waren te grof, sommige tijdstempels moesten nauwkeuriger, sommige tags waren te breed en de transcriptie- en opnamebestanden sloten niet altijd netjes op elkaar aan. Maar juist daar werd de meerwaarde zichtbaar. Dankzij Codex konden we het systeem snel verfijnen, zonder vast te lopen in configuratie en herstelwerk. Uiteindelijk hadden we een backend voor fragmenten, snippets en echt nuttige semantische zoekopdrachten. Vanaf dat moment begon Callombia aan te voelen als een echt product in plaats van slechts een hackathondemo.

Frontendbouw en gebruikersinterface

Terwijl Ed en Nico de gegevensinvoer en intelligentielaag bouwden, werkte ik aan de frontend. Met onze full-stacktemplate kon ik snel een eerste versie van de website opzetten zonder ook maar één regel code te schrijven. Nadat ik Codex had gevraagd de website lokaal in mijn browser te openen, gaf ik eenvoudige feedback in opsommingstekens om het ontwerp stapsgewijs aan mijn wensen aan te passen.

Na ongeveer een uur heen en weer werken had ik iets waar ik behoorlijk tevreden mee was, zonder enige ervaring met gebruikersinterfaces of ontwerp. Hoewel het eindproduct zeker niet perfect is, is het een prima eerste versie waarmee mensen een goed beeld van het product krijgen.

Schermafbeelding van de frontendbouw en gebruikersinterface.

Alle code samenvoegen

Om ervoor te zorgen dat we aan het eind van de dag iets konden opleveren, hadden we het werk onderling verdeeld. Na een paar uur grotendeels zelfstandig werken hadden we natuurlijk allemaal onze eigen lokale branches, met een heleboel conflicten.

In plaats van de tijd te nemen (die we niet hadden) om alle conflicten zorgvuldig door te nemen en op te lossen, lieten we Codex los op de repositories om de conflicten zelfstandig te verhelpen. Hoewel we dit momenteel niet zouden aanraden voor softwareontwikkeling op bedrijfsniveau, was het geweldig om te zien hoe effectief het in een omgeving met weinig risico was. Bovendien bespaarde het ons vele uren.

De volledige demo

Het laatste onderdeel van de hackathon was het opnemen van de Callombia-demo voor de jury. Instinctief wilden we Loom openen om de opname te maken, maar we bedachten dat dit een echte test voor Codex kon zijn, iets wat enigszins buiten de huidige mogelijkheden lag. Dus... We schreven een prompt, gaven Codex een link naar de Callombia-website, voegden via het ontwikkelaarsplatform van OpenAI een opname van mijn stem toe en vroegen Codex de rest te doen.

De eerste poging was bijzonder indrukwekkend: Codex had een demoscript geschreven, het scherm opgenomen, mijn voice-over toegevoegd en de opdracht vrijwel volledig uitgevoerd. Alleen de synchronisatie van de voice-over met de demo-opname beviel ons niet meteen. Daarom vroegen we: "MANDATORY: align the voiceover exactly with what is being shown in the demo. There was misalignment (e.g. on the chat page). Triple check alignment of voiceover and the screen-recorded demo at the end. Match it up through whichever means possible."

Naar aanleiding van dat verzoek splitste Codex de voice-over en opname op in kleinere delen en voerde de taak vrijwel foutloos uit, net op tijd voor bier en pizza om 17.30 uur om het te vieren.

Meer AI-native worden

We weten dat Callombia een probleem oplost waar de meeste bedrijven mee kampen. Het is lastig om elk gesprek bij te wonen in een snel groeiend bedrijf, maar de waardevolle inzichten die tijdens die gesprekken worden gedeeld, zijn onmisbaar. Nu hoeven we het alleen nog maar in productie te nemen.

Maar hier schuilt een bredere les in AI-native werken en in de voordelen van het inzetten van technische en productkennis om gezamenlijke problemen aan te pakken. Door onze gebruikelijke werkroutine te doorbreken en in een enigszins competitieve omgeving over teams heen samen te werken, kwamen we tot diverse oplossingen die met enkele aanpassingen in productie konden worden genomen. Door dit regelmatig te doen, kunnen we ervoor zorgen dat onze interne werkwijze net zo soepel is als de oplossingen die we voor klanten bouwen.

Auteur

George Montagu, Ed Jeffery, Nicolas Franco Gonzalez