Снимените состаноци се недоволно искористен извор на знаење. Тешко се пребаруваат, одземаат многу време за повторно прегледување и се расфрлани низ дисковите на различни тимови, па вредните сознанија честопати остануваат незабележани.
На еднодневен хакатон, тим од тројца ја создаде Callombia. Тоа е интерна платформа што автоматски ги транскрибира, означува, сумира и претвора снимените повици во кратки исечоци, сместени во пребарлив репозиториум во стилот на YouTube, достапен за сите канцеларии низ светот.
Решението, целосно изградено со Codex, користи семантичко пребарување засновано на вградувања од OpenAI и косинусна сличност за да ги пронајде релевантните моменти дури и кога не се користат точните клучни зборови, надополнето со RAG-четбот и систем за известувања.
Она за што некогаш би биле потребни недели беше завршено за седум часа, покажувајќи како развојот заснован на вештачка интелигенција, со агенти за програмирање како Codex, може драстично да го скрати животниот циклус на развој на производи и да создаде вистинска деловна вредност од интерните хакатони.
Ако сте како мене, ретко имате време (или доволно внимание) повторно да слушате снимени состаноци. Тоа е најчесто затоа што треба да пребарувате низ неорганизирани тимски дискови, да прескокнувате неособено интересни муабети и да се обидувате навистина да слушате додека истовремено испраќате е-пораки и други пораки.
Но, можеби не мора да биде така? Можеби би можеле да создадеме нешто што целосно ќе го промени начинот на кој ги користиме снимените состаноци? Тоа беше идејата зад нашиот неодамнешен хакатонски проект.
За само еден ден, 50 колеги од нашите тимови за инженерство, испорака и операции работеа на низа проблеми од целата компанија: од проширување на операциите за вработување и поедноставување на изработката на описи на работата, до следење на состојбата на проектите, генерирање прототипови во живо и откривање сознанија во снимените состаноци.
На овој хакатон заснован на Codex ја создадовме Callombia. Callombia е YouTube на нашата компанија, кој секој повик го претвора во жив, пребарлив ресурс. Секој повик автоматски се транскрибира, означува и сумира, а потоа се дели на тематски исечоци и се додава во репозиториум организиран по канали (клиенти) и теми (области на специјализација за вештачка интелигенција). Така, секој член на тимот од Лондон, Единбург, Сингапур или Австралија може веднаш да пристапи до моментите од повиците што му се важни.
Познатиот кориснички интерфејс усогласен со нашиот бренд овозможува интуитивно откривање содржини, а семантичкото пребарување (и, секако, RAG-четботот со вештачка интелигенција) им помага на луѓето да го најдат токму она што го бараат. Системот за известувања им овозможува и на колегите да следат одредени теми и да добијат известување кога ќе се објават нови исечоци што се релевантни за нив.
Но, најинтересното кај Callombia не е производот, ниту наградата од 2.000 фунти за победата на хакатонот (мала пофалба), туку тоа што успеавме да го создадеме сето ова за само седум часа, со двајца инженери и еден раководител за испорака. Пред една година тоа не беше можно. Подобрувањата на агентите за програмирање значително го забрзаа целиот процес на развој на производи, а овој хакатон беше одличен полигон за да ги разбереме нивните нерамномерни граници. Па, како го користевме Codex?
Наместо само да составиме долг список со барања, почнавме така што го споделивме нашето заедничко гледиште (како промпт) за проблемот и визијата за Callombia. Намерно останавме неодредени, му ја препуштивме работата на моделот и му овозможивме да размислува креативно:
По десет минути размена на идеи, го вклучивме режимот Plan Mode за попрецизно да ги одредиме барањата и да го насочиме техничкиот дел од изработката. Plan Mode е како да одговарате на прашања од оној досаден пријател кој (за среќа) детално го разгледал секое можно сценарио. Откако се договоривме за работи како бројот на видеа, семантичко пребарување или пребарување по клучни зборови и архитектурата што ќе ја користиме, тој создаде Markdown-датотека што стана основа за понатамошниот развој на проектот.
Откако имавме план, следниот чекор беше да ги изградиме основните компоненти со кои Callombia навистина ќе функционира. Тоа значеше создавање процес што ќе ги претвора снимените повици во пребарливи ресурси:
Внесување видеа и транскрипти,
Нивно делење на значајни моменти,
Збогатување со резимеа и ознаки,
Нивно изложување преку API-ја што може да ги користи предниот дел.
Ед повеќе се посвети на претворањето на необработените снимки и транскрипти во употреблив формат, додека Нико се фокусираше на слојот за пронаоѓање што ќе овозможи откривање на тие моменти. Со Codex, двајцата многу побрзо ги поставија моделите на податоци, скриптите за извлекување и инфраструктурата на задниот дел отколку што би можеле рачно. Така добивме многу повеќе од транскрипт прикачен на видео. Добивме моменти: делот за Tesco, ажурирањето за стратегијата, дискусијата за вработување — конкретните 90 секунди од повикот што некој навистина сака да ги погледне.
Токму слојот за пронаоѓање стана особено интересен. Сакавме некој да може да внесе нешто како “financial performance,” “Tesco roadmap,” или “conversation evals” и да биде однесен до најрелевантните исечоци, дури и ако тие точни зборови никогаш не биле изговорени. За таа цел создадовме делови со временски ознаки, резимеа, текст од транскриптот и метаподатоци. Со јасна архитектура на ум и голема помош од Codex, ги споивме темата, резимето и транскриптот во еден влез и го употребивме моделот text-embedding-3-small на OpenAI за да генерираме вградувања за секој дел. Ги зачувавме тие вградувања во нашата база на податоци и користевме косинусна сличност за да го споредиме корисничкото барање со секој дел, со што добивме слој за семантичко пронаоѓање наместо едноставно пребарување по клучни зборови.
Ова беше исклучително прецизно и му го даде на производот чувството на „магија“ за време на хакатонското демо. Истовремено, знаевме дека овој пристап нема да може бесконечно да се проширува ако бројот на видеа продолжи да расте, бидејќи споредувањето на секое барање со секој дел на крајот ќе стане прескапо. Логичниот следен чекор би бил воведување поефикасни стратегии за пронаоѓање, како Hierarchical Navigable Small World, за да се намали бројот на споредби и да се задржи ниска латентност додека корпусот расте. Откако оваа функција проработе, Callombia почна помалку да личи на медиумска библиотека, а повеќе на систем за знаење.
Како и на секој добар хакатон, и овој дел бараше доработка: првичните граници на деловите беа премногу груби, некои временски ознаки требаше да се прецизираат, некои ознаки беа премногу општи, а транскриптите и снимките не секогаш се совпаѓаа уредно. Но, токму тука се покажа и вредноста. Codex ни овозможи брзо да го усовршуваме системот, наместо да заглавиме во поставувањето и повторната изработка. На крајот имавме заден дел способен да поддржува исечоци, кратки извадоци и навистина корисно семантичко пребарување — моментот кога Callombia почна да изгледа како вистински производ, а не само како хакатонско демо.
Додека Ед и Нико ги градеа слојот за внесување и интелигентниот слој, јас го изработував предниот дел. Користејќи го нашиот шаблон за целосниот технолошки пакет, брзо ја поставив првата верзија на веб-локацијата без да напишам ниту една линија код. Откако ќе побарав да ја отвори веб-локацијата локално во мојот прелистувач, давав едноставни повратни информации во точки за постепено да го приспособам дизајнот на она што го замислував.
По околу еден час размена, имав нешто со кое бев прилично задоволен — и тоа без никакво искуство со кориснички интерфејси или дизајн. Иако крајниот производ дефинитивно не е совршен, тоа е прилично добра прва верзија што им овозможува на луѓето да го разберат производот.
За да бидеме сигурни дека на крајот од денот ќе имаме нешто готово, ја поделивме работата меѓу нас. Секако, по неколку часа полунезависна работа, секој од нас имаше своја локална гранка со еден куп конфликти.
Наместо да го трошиме времето што го немавме за внимателно да ги прегледаме и разрешиме конфликтите, решивме да му дадеме слобода на Codex во репозиториумите и самиот да ги поправи. Иако засега не би го препорачале ова за развој на деловен софтвер, неверојатно е колку беше ефикасно во средина со низок ризик и ни заштеди многу часови.
Последниот дел од хакатонот беше снимањето на демото на Callombia за жирито. Инстинктивно сакавме да го отвориме Loom за снимањето, но помисливме дека ова може да биде вистински тест за Codex и задача малку надвор од неговите сегашни можности. И така... Напишавме промпт, му дадовме врска до веб-локацијата на Callombia, додадовме снимка од мојот глас на програмерската платформа на OpenAI и побаравме да го направи останатото.
Првиот обид беше навистина впечатлив — имаше напишано сценарио за демото, го имаше снимено екранот, го имаше додадено мојот говор и речиси целосно ја имаше исполнето задачата. Единственото нешто со кое не бевме веднаш задоволни беше синхронизацијата на говорот со снимката од демото, па му рековме: “MANDATORY: align the voiceover exactly with what is being shown in the demo. There was misalignment (e.g. on the chat page). Triple check alignment of voiceover and the screen-recorded demo at the end. Match it up through whichever means possible.”
Како одговор на барањето, Codex ги подели говорот и снимката на помали делови и ја изврши задачата речиси беспрекорно, токму навреме за пиво и пица во 17:30 часот за да прославиме.
Знаеме дека Callombia решава проблем со кој се соочуваат повеќето компании. Тешко е да се присуствува на секој повик во компанија што брзо расте, но бисерите на мудрост споделени во тие повици се непроценливи. Сега само треба да ја пуштиме во продукција.
Но, тука има и поширока поука за работењето со вештачка интелигенција во основата и за придобивките од насочувањето на инженерското и производното знаење кон решавање заеднички проблеми. Излегувајќи од вообичаениот работен ритам и соработувајќи меѓу тимовите во полунатпреварувачка средина, стигнавме до низа решенија што, со неколку измени, би можеле да се пуштат во продукција. Ако го правиме ова редовно, можеме да обезбедиме нашите интерни процеси да бидат исто толку ефикасни како решенијата што ги создаваме за клиентите.