Pangunahing nabigasyon

Pagbuo ng smart meeting discovery tool gamit ang Codex

Alamin kung paano ginamit ang Codex sa mabilis at praktikal na internal build para gawing searchable na kaalaman ang mga naka-record na meeting ng kumpanya.

Buod para sa mga ehekutibo

  • Hindi lubos na napapakinabangan bilang sanggunian ng kaalaman ang mga naka-record na meeting. Mahirap hanapin ang mga ito, matagal balikan, at nakahiwa-hiwalay sa mga team drive, kaya madalas hindi napapansin ang mahahalagang insight.

  • Sa isang araw na hackathon, binuo ng tatlong miyembro ng team ang Callombia. Isa itong internal platform na awtomatikong nagta-transcribe, nagta-tag, nagbubuod, at gumagawa ng mga clip mula sa mga naka-record na call para maging searchable na repository na parang YouTube at maa-access sa lahat ng opisina sa mundo.

  • Ang solusyon, na buong binuo gamit ang Codex, ay gumagamit ng semantic search na pinapagana ng OpenAI embeddings at cosine similarity para mahanap ang mga nauugnay na sandali kahit hindi ginamit ang eksaktong keyword, at dinagdagan pa ng RAG chatbot at notification system.

  • Ang dating aabutin sana ng ilang linggo ay natapos sa loob ng pitong oras. Ipinakita nito kung paano lubos na napaiikli ng AI-native development gamit ang mga coding agent gaya ng Codex ang product development lifecycle at kung paano ito nakalilikha ng tunay na halaga para sa negosyo mula sa mga internal hackathon.

Kung katulad kita, bihira kang magkaroon ng oras—o sapat na atensyon—para muling pakinggan ang mga naka-record na meeting. Madalas, dahil kailangan mong maghalungkat sa magulong mga team drive, lampasan ang hindi gaanong kapaki-pakinabang na kuwentuhan, at subukang talagang makinig habang sabay na nagpapadala ng mga email at mensahe.

Pero baka hindi naman kailangang ganito? Baka puwede tayong bumuo ng isang bagay na lubos na magbabago sa mga naka-record na meeting? Iyan ang ideya sa likod ng aming kamakailang proyekto sa Hackathon.

Sa loob lamang ng isang araw, 50 miyembro ng aming engineering, delivery, at ops team ang tumugon sa iba’t ibang problemang mula sa buong negosyo—kabilang ang pagpapalawak ng hiring ops, pagpapadali sa paggawa ng SoW, pag-unawa sa kalagayan ng proyekto, live na pagbuo ng prototype, at pagtukoy ng mga insight mula sa mga naka-record na meeting.

Sa hackathon na ito na nakabatay sa Codex, binuo namin ang Callombia. Ang Callombia ang YouTube ng aming negosyo, na ginagawang buhay at searchable na asset ang bawat call. Awtomatikong tina-transcribe, tina-tag, at binubuod ang bawat call bago ito hatiin sa mga clip ayon sa tema at idagdag sa isang repository na nakaayos ayon sa channel (mga kliyente) at paksa (mga larangan ng espesyalisasyon sa AI). Dahil dito, agad na maa-access ng sinumang miyembro ng team sa London, Edinburgh, Singapore, at Australia ang mga bahagi ng call na mahalaga sa kanila.

Ginagawang madaling maunawaan ng pamilyar at naaayon sa brand na user interface ang pagtuklas ng content, habang tinutulungan ng semantic search—at siyempre ng RAG AI chatbot—ang mga tao na mahanap mismo ang hinahanap nila. Sa pagdagdag ng notification system, makakapag-subscribe rin ang aming mga kasamahan sa mga partikular na paksa at makakatanggap ng abiso kapag may bagong clip na nauugnay sa kanila.

Pero ang kahanga-hanga sa Callombia ay hindi ang produkto o ang £2k na premyo sa pagkapanalo sa Hackathon—kaunting pagyayabang lang—kundi ang katotohanang nabuo namin ang lahat ng ito sa pitong oras lamang, kasama ang dalawang engineer at isang delivery lead. Hindi iyon posible noong nakaraang taon. Lubhang pinabilis ng mga pagpapahusay sa coding agent ang buong proseso ng product development, at naging mahusay na testing ground ang Hackathon na ito para maunawaan ang hindi pantay na hangganan ng kakayahan nito. Kaya, paano namin ginamit ang Codex?

Pagpaplano ng aming solusyon

Sa halip na basta magsulat ng napakaraming requirement, nagsimula kami sa pagbabahagi ng aming sama-samang pananaw—bilang prompt—sa problema at sa bisyon para sa Callombia. Sinadya naming gawing hindi masyadong detalyado ang paglalarawan para ang modelo ang gumawa ng trabaho at malayang makapag-isip nang malikhain:

Pagkatapos ng 10 minutong palitan ng ideya, binuksan namin ang Plan Mode para linawin ang mga requirement at gabayan ang teknikal na bahagi ng pagbuo. Ang Plan Mode ay parang pagsagot sa mga tanong ng nakakainis mong kaibigan na—sa kapaki-pakinabang na paraan—pinag-isipan na ang bawat posibleng sitwasyon. Matapos magkasundo sa mga bagay gaya ng bilang ng video, semantic o keyword search, at gagamiting architecture, gumawa ito ng markdown file na naging batayan ng proyekto mula noon.

Screenshot na nagpapakita ng pagpaplano sa aming solusyon.

Pagbuo ng mga pangunahing component

Nang mayroon na kaming plano, ang sumunod ay buuin ang mga pangunahing component na magpapagana sa Callombia. Nangangahulugan itong gumawa ng pipeline mula sa mga naka-record na call hanggang sa mga searchable na asset:

  1. Pag-ingest ng mga video at transcript,

  2. Paghahati sa mga ito sa mahahalagang sandali,

  3. Pagdaragdag ng mga buod at tag,

  4. Paglalantad sa mga ito sa pamamagitan ng mga API na magagamit ng frontend.

Mas nagtuon si Ed sa pag-aayos ng mga raw recording at transcript data upang magamit ang mga ito, habang mas nagtuon si Nico sa retrieval layer na magpapadaling mahanap ang mahahalagang sandali. Sa tulong ng Codex, mas mabilis nilang naitayo ang mga data model, extraction script, at backend plumbing kaysa kung mano-mano namin itong ginawa. Higit pa ito sa isang transcript na naka-attach sa video. Binigyan kami nito ng mahahalagang sandali: ang seksyon tungkol sa Tesco, ang update sa strategy, ang talakayan sa hiring, o ang mismong 90 segundo sa isang call na talagang gustong panoorin ng isang tao.

Sa retrieval layer lalong naging kawili-wili ang mga bagay-bagay. Gusto naming makapag-type ang isang tao ng tulad ng “financial performance,” “Tesco roadmap,” o “conversation evals” at madala sa mga pinakanauugnay na clip, kahit hindi kailanman binanggit ang eksaktong mga salitang iyon. Para magawa iyon, gumawa kami ng mga chunk na may timestamp, buod, transcript text, at metadata. Gamit ang malinaw na architecture at malaking tulong mula sa Codex, pinagsama namin ang paksa, buod, at transcript bilang iisang input at ginamit ang text-embedding-3-small na modelo ng OpenAI upang bumuo ng embedding para sa bawat chunk. Inimbak namin ang mga embedding na iyon sa aming database at gumamit ng cosine similarity upang ihambing ang query ng user sa bawat chunk. Dahil dito, nagkaroon kami ng semantic retrieval layer sa halip na simpleng keyword search.

Napakahusay ng katumpakan nito at nagbigay ito sa produkto ng tila “mahikang” karanasan sa demo ng hackathon. Kasabay nito, alam naming hindi pangmatagalan ang scalability ng paraang ito kung patuloy na darami ang mga video, dahil magiging masyadong magastos kalaunan ang paghahambing ng bawat query sa bawat chunk. Ang natural na susunod na hakbang ay gumamit ng mas mahusay na retrieval strategy, gaya ng Hierarchical Navigable Small World, upang mabawasan ang mga paghahambing at mapanatiling mababa ang latency habang lumalaki ang corpus. Nang gumana na ang feature na ito, nagsimulang magmukhang knowledge system ang Callombia sa halip na karaniwang media library.

Gaya sa lahat ng mahusay na hackathon, kinailangan ding ulit-ulitin at ayusin ang bahaging iyon: masyadong magaspang ang unang mga hangganan ng chunk, may mga timestamp na kailangang higpitan, may mga tag na masyadong malawak, at hindi laging maayos ang pagtutugma ng transcript at recording file. Pero doon din nakita ang tunay na halaga nito. Dahil sa Codex, mabilis naming napahusay ang system sa halip na maipit sa setup at paulit-ulit na paggawa. Sa huli, mayroon kaming backend na kayang magpatakbo ng mga clip, snippet, at tunay na kapaki-pakinabang na semantic search. Dito nagsimulang magmukhang totoong produkto ang Callombia sa halip na demo lamang sa hackathon.

Frontend build at UI

Habang binubuo nina Ed at Nico ang ingestion at intelligence layer, ako naman ang bumuo ng frontend. Gamit ang aming full-stack template, mabilis akong nakagawa ng unang bersyon ng website nang hindi sumusulat ng kahit isang linya ng code. Matapos kong ipabukas dito ang website nang lokal sa browser ko, nagbibigay ako ng simpleng feedback na naka-bullet upang paulit-ulit na ayusin ang design hanggang tumugma ito sa gusto ko.

Matapos ang halos isang oras na palitan ng feedback, nakabuo ako ng isang bagay na lubos kong nagustuhan—kahit wala akong karanasan sa UI o design. Bagama’t tiyak na hindi perpekto ang huling produkto, mahusay itong unang bersyon na tumutulong sa mga tao na maunawaan ang produkto.

Screenshot na nagpapakita ng frontend build at UI.

Pagsasama-sama ng lahat ng code

Para matiyak na may mabubuo kami sa pagtatapos ng araw, hinati-hati namin ang gawain. Siyempre, matapos ang ilang oras ng halos magkakahiwalay na pagtatrabaho, nagkaroon kami ng kani-kaniyang local branch na punô ng conflict.

Sa halip na ubusin ang oras na wala kami sa masusing pagresolba ng mga conflict, hinayaan na lang naming kumilos nang malaya ang Codex sa mga repository at ayusin ang mga conflict nang mag-isa. Bagama’t hindi pa namin ito irerekomenda ngayon para sa enterprise-grade software development, kahanga-hanga ang pagiging epektibo nito sa isang low-stakes na kapaligiran, at nakatipid kami ng maraming oras.

Ang buong demo

Ang huling bahagi ng hackathon ay ang pag-record ng demo ng Callombia para sa mga hurado. Bagama’t una naming naisip na buksan ang Loom para sa recording, naisip naming magiging tunay itong pagsubok para sa Codex at medyo lampas sa kasalukuyan nitong mga kakayahan. Kaya… Sumulat kami ng prompt, ibinigay dito ang link ng Callombia website, nagdagdag ng recording ng boses ko sa developer platform ng OpenAI, at ipinagawa rito ang natitira.

Napakaganda ng unang pagsubok—nakapagsulat ito ng demo script, nakapag-record ng screen, naidagdag ang voiceover ko, at halos ganap na nasunod ang brief. Ang hindi lang namin agad nagustuhan ay ang pag-sync ng voiceover sa demo recording, kaya sinabi namin dito: “MANDATORY: align the voiceover exactly with what is being shown in the demo. There was misalignment (e.g. on the chat page). Triple check alignment of voiceover and the screen-recorded demo at the end. Match it up through whichever means possible.”

Bilang tugon, hinati ng Codex ang voiceover at recording sa mas maliliit na seksyon at halos walang kamali-maling natapos ang gawain bago mag-5:30 p.m.—sakto para sa beer at pizza bilang selebrasyon.

Pagiging mas AI-native

Alam naming nilulutas ng Callombia ang problemang kinakaharap ng karamihan sa mga negosyo. Mahirap dumalo sa bawat call sa isang kumpanyang mabilis lumalawak, pero napakahalaga ng mahuhusay na ideyang naibabahagi sa mga call na ito. Ngayon, kailangan na lang namin itong ilagay sa Production.

Pero may mas malaking aral dito tungkol sa pagiging AI-native at sa pakinabang ng paglalaan ng husay sa engineering at produkto upang lutasin ang magk magkakatulad na problema. Sa paglabas sa nakasanayan naming paraan ng pagtatrabaho, pakikipagtulungan sa iba’t ibang team, at paggawa ng lahat sa isang medyo kompetitibong kapaligiran, nakabuo kami ng ilang solusyong maaari nang ilagay sa production matapos ang kaunting pagbabago. Kung regular itong gagawin, matitiyak naming kasinghusay ng mga solusyong ginagawa namin para sa mga customer ang sarili naming internal na operasyon.

May-akda

George Montagu, Ed Jeffery, Nicolas Franco Gonzalez