Уулзалтын бичлэг бол хангалттай ашиглагддаггүй мэдлэгийн чухал нөөц юм. Тэдгээрээс хайлт хийхэд хэцүү, дахин үзэхэд цаг их ордог, мөн багуудын драйвт тус тусдаа хадгалагддаг тул үнэ цэнтэй санаа, мэдээлэл анзаарагдалгүй өнгөрөх нь элбэг.
Гурван хүний бүрэлдэхүүнтэй баг нэг өдрийн хакатоны үеэр Callombia-г бүтээв. Энэ бол дуудлагын бичлэгийг автоматаар текст болгон буулгаж, шошголон, хураангуйлж, хэсэгчлэн таслаад дэлхийн бүх оффисоос ашиглах боломжтой, YouTube маягийн хайлттай репозиторт оруулдаг дотоод платформ юм.
Codex-оор бүхэлд нь бүтээсэн уг шийдэл нь OpenAI-ийн эмбеддинг болон косинус төстэй байдлаар ажилладаг семантик хайлтын тусламжтайгаар яг ижил түлхүүр үг ашиглаагүй ч холбогдох мөчүүдийг олж харуулдаг. Үүн дээр RAG чатбот болон мэдэгдлийн систем нэмсэн.
Өмнө нь хэдэн долоо хоног шаардах ажлыг долоон цагт дуусгасан нь Codex зэрэг кодчиллын агент ашигласан AI-д суурилсан хөгжүүлэлт бүтээгдэхүүн хөгжүүлэх мөчлөгийг эрс богиносгож, дотоод хакатоноос бизнесийн бодит үнэ цэн бий болгож чаддагийг харууллаа.
Та надтай адил бол уулзалтын бичлэгийг эргүүлж сонсох цаг (эсвэл тэвчээр) бараг гардаггүй байх. Учир нь эмх замбараагүй багийн драйвуудаас бичлэг хайж, чанаргүй сул яриаг алгасан, имэйл ба зурвас илгээхийн хажуугаар үнэхээр сонсох хэрэг гардаг.
Гэхдээ заавал ийм байх албагүй юм биш үү? Уулзалтын бичлэгийг бүрэн өөрчлөх ямар нэг зүйл бүтээж болох юм биш үү? Манай саяхны хакатоны төсөл ийм бодлоос эхэлсэн.
Инженерчлэл, хүргэлт, үйл ажиллагааны багийн 50 гишүүн ганцхан өдрийн дотор ажилд авах үйл ажиллагааг өргөжүүлэх, SoW боловсруулах явцыг хялбарчлах, төслийн төлөвийг ойлгох, прототипийг шууд үүсгэх, уулзалтын бичлэгээс хэрэгтэй мэдээлэл илрүүлэх зэрэг бизнесийн өнцөг булан бүрээс ирсэн олон асуудлыг шийдэхээр ажиллав.
Codex-д суурилсан энэ хакатоноор бид Callombia-г бүтээсэн. Callombia бол дуудлага бүрийг байнга шинэчлэгддэг, хайлттай нөөц болгон хувиргадаг манай байгууллагын YouTube юм. Дуудлага бүрийг автоматаар текст болгон буулгаж, шошголон, хураангуйлсны дараа сэдэвчилсэн клипүүдэд хувааж, суваг (харилцагч) болон сэдвээр (AI-ийн мэргэшлийн чиглэл) ангилсан репозиторт нэмдэг. Ингэснээр Лондон, Эдинбург, Сингапур, Австралийн аль ч багийн гишүүн дуудлагын өөрт хэрэгтэй мөчүүдэд шууд хандах боломжтой.
Танил, брэндийн өнгө төрхтэй хэрэглэгчийн интерфэйс нь контент олоход хялбар болгоно. Харин семантик хайлт (мэдээж RAG AI чатботын хамт) хүмүүсийн яг хайж буй зүйлийг олж өгнө. Мэдэгдлийн систем нэмснээр хамт олон тодорхой сэдвүүдийг дагаж, өөрт нь хамааралтай шинэ клип нийтлэгдэхэд мэдэгдэл авах боломжтой болсон.
Гэхдээ Callombia-гийн хамгийн гайхалтай зүйл нь бүтээгдэхүүн ч биш, хакатонд түрүүлж авсан £2 мянгын шагнал ч биш (бага зэрэг гайхуулчихъя), харин хоёр инженер, нэг хүргэлтийн ахлагчтайгаар энэ бүхнийг ердөө долоон цагт бүтээсэн явдал юм. Жилийн өмнө үүнийг хийх боломжгүй байлаа. Кодчиллын агентуудын сайжрал бүтээгдэхүүн хөгжүүлэх бүхий л үйл явцыг асар их хурдасгасан бөгөөд энэхүү хакатон тэдгээрийн боломж, хязгаарын жигд бус заагийг таних туршилтын гайхалтай орчин боллоо. Тэгвэл бид Codex-ийг хэрхэн ашигласан бэ?
Олон шаардлага шууд бичихийн оронд бид эхлээд асуудлын хүрээ болон Callombia-гийн талаарх хамтын төсөөллөө өгөгдөл болгон хуваалцсан. Бид зориуд ерөнхий тайлбар өгч, ажлыг загварт даатган, бүтээлчээр сэтгэх боломж олгосон:
10 минут харилцан ярилцсаны дараа шаардлагуудыг нарийсгаж, бүтээх ажлын техникийн хэсгийг тодорхойлохын тулд Plan Mode-ийг асаав. Plan Mode нь боломжит бүх хувилбарыг (аштайхан) урьдчилан бодчихсон, залхаадаг найзынхаа асуултад хариулж байгаа мэт санагддаг. Видеоны тоо, семантик эсвэл түлхүүр үгийн хайлт, ашиглах архитектур зэрэг зүйлсийг тохирсны дараа Codex төслийн цаашдын суурь болсон markdown файл үүсгэсэн.
Төлөвлөгөө бэлэн болмогц Callombia-г бодитоор ажиллуулах үндсэн бүрэлдэхүүн хэсгүүдийг бүтээх дараагийн алхамдаа орсон. Үүний тулд дуудлагын бичлэгийг хайлттай нөөц болгох дараах дамжлагыг бий болгох шаардлагатай байв:
Видео болон текстэн буулгалтыг оруулах,
Утга бүхий мөчүүдээр хэсэгчлэх,
Хураангуй болон шошгоор баяжуулах,
Фронтэнд ашиглах боломжтой API-уудаар дамжуулан хүргэх.
Эд түүхий бичлэг болон текстэн буулгалтын өгөгдлийг ашиглах боломжтой хэлбэрт оруулахад түлхүү анхаарсан бол Нико тухайн мөчүүдийг олох боломж бүрдүүлэх сэргээх давхарга дээр төвлөрсөн. Codex-ийн тусламжтайгаар тэд өгөгдлийн загвар, задлан авах скрипт, бэкэндийн холболтуудыг гараар хийхээс хавьгүй хурдан босгож чадсан. Ингэснээр бид видеонд хавсаргасан текстэн буулгалтаас хавьгүй илүү зүйлтэй болсон. Бид мөчүүдтэй болсон: Tesco-гийн хэсэг, стратегийн шинэчлэл, ажилд авах тухай хэлэлцүүлэг, өөрөөр хэлбэл хэн нэгний үнэхээр үзэхийг хүссэн дуудлагын тодорхой 90 секунд.
Сэргээх энэ давхарга дээр ажиллах үед бүх зүйл бүр ч сонирхолтой болсон. Хэрэглэгч “financial performance,” “Tesco roadmap,” эсвэл “conversation evals” гэх мэт зүйл бичихэд яг тэр үгсийг огт хэлээгүй байсан ч хамгийн хамааралтай клипүүд рүү хүргэдэг болгохыг бид хүссэн. Үүний тулд цагийн тэмдэглэгээ, хураангуй, текстэн буулгалт, мета өгөгдөл бүхий хэсгүүд үүсгэсэн. Тодорхой архитектур болон Codex-ийн ихээхэн тусламжтайгаар бид сэдэв, хураангуй, текстэн буулгалтыг нэг өгөгдөл болгон нэгтгэж, OpenAI-ийн text-embedding-3-small загвараар хэсэг бүрийн эмбеддинг үүсгэсэн. Эдгээр эмбеддингийг өгөгдлийн санд хадгалж, хэрэглэгчийн хайлтыг хэсэг бүртэй косинус төстэй байдлаар харьцуулсан. Ингэснээр энгийн түлхүүр үгийн хайлтын оронд семантик сэргээх давхаргатай болсон.
Энэ арга маш өндөр нарийвчлалтай ажиллаж, хакатоны демоны үеэр бүтээгдэхүүнд “ид шидийн” мэт мэдрэмж төрүүлсэн. Гэхдээ видеоны тоо нэмэгдсээр байвал хайлт бүрийг хэсэг бүртэй харьцуулах зардал эцэстээ хэт өндөр болох тул энэ арга хязгааргүй өргөжих боломжгүйг бид мөн ойлгож байв. Дараагийн зүй ёсны алхам нь харьцуулалтын тоог бууруулж, сан өргөжих үед хариу өгөх хугацааг бага хэвээр байлгахын тулд Hierarchical Navigable Small World зэрэг илүү үр ашигтай сэргээх стратеги нэвтрүүлэх явдал байв. Энэ боломж ажиллаж эхлэхэд Callombia медиа сангаас илүүтэй мэдлэгийн систем мэт санагдаж эхэлсэн.
Сайн хакатон бүрийн адил энэ хэсгийг ч давтан сайжруулах шаардлагатай байлаа: эхний хэсгүүдийн зааг хэт бүдүүн, зарим цагийн тэмдэглэгээ тодорхой бус, зарим шошго хэт ерөнхий байсан бөгөөд текстэн буулгалт, бичлэгийн файлууд үргэлж цэгцтэй таардаггүй байв. Гэхдээ үнэ цэн нь чухам эндээс харагдсан. Codex биднийг тохиргоо болон дахин хийх ажилд гацалгүйгээр системээ хурдан сайжруулах боломжтой болгосон. Эцэст нь бид клип, богино хэсэг, үнэхээр хэрэгтэй семантик хайлтыг ажиллуулах бэкэндтэй болсон. Тэр мөчөөс Callombia хакатоны демо бус, жинхэнэ бүтээгдэхүүн мэт санагдаж эхэлсэн.
Эд, Нико хоёр өгөгдөл оруулах болон оюун ухааны давхаргыг бүтээх зуур би фронтэндийг хөгжүүлсэн. Манай full stack загварыг ашигласнаар би нэг ч мөр код бичилгүйгээр вэбсайтын эхний хувилбарыг хурдан босгож чадсан. Вэбсайтыг миний браузерт локал орчинд нээхийг хүссэний дараа дизайныг хүссэн хэлбэртээ хүргэхийн тулд энгийн цэгэн жагсаалтаар санал өгч, давтан сайжруулсан.
Ингэж нэг цаг орчим нааш цааш ажилласны эцэст UI эсвэл дизайны ямар ч туршлагагүй атлаа сэтгэлд нэлээд хүрсэн зүйлтэй болсон. Эцсийн бүтээгдэхүүн төгс биш нь мэдээж ч хүмүүст бүтээгдэхүүнийг ойлгуулахуйц нэлээд сайн эхний хувилбар болсон.
Өдрийн эцэст бэлэн зүйлтэй үлдэхийн тулд бид ажлаа хоорондоо хуваасан байв. Хэдэн цаг хагас бие даан ажилласны дараа мэдээж хүн бүрийн локал салбарт маш олон зөрчил үүссэн.
Байгаагүй цагаа зарцуулж зөрчил бүрийг нягтлан шийдэхийн оронд Codex-ийг репозиторууд дээр чөлөөтэй ажиллуулж, зөрчлүүдийг өөрөөр нь засуулахаар шийдсэн. Одоогоор байгууллагын түвшний програм хангамж хөгжүүлэхдээ ийм аргыг зөвлөхгүй ч эрсдэл багатай орчинд хэр үр дүнтэй байгааг харах үнэхээр гайхалтай байлаа. Бас бидэнд олон цаг хэмнэсэн.
Хакатоны сүүлийн ажил нь шүүгчдэд зориулсан Callombia-гийн демог бичих байв. Бичлэг хийхийн тулд шууд Loom нээхийг хүссэн ч энэ нь Codex-ийн хувьд жинхэнэ сорилт, одоогийн чадвараас нь бага зэрэг давсан ажил байж болохыг бодсон. Тэгээд… бид өгөгдөл бичиж, Callombia вэбсайтын холбоосыг өгөөд, OpenAI-ийн хөгжүүлэгчийн платформ дээрх миний дууны бичлэгийг хавсарган, үлдсэнийг нь хийлгэхээр хүссэн.
Эхний оролдлого үнэхээр гайхалтай байлаа—демогийн зохиол бичиж, дэлгэцийн бичлэг хийгээд, миний дуу оруулгыг нэмж, даалгаврыг бараг бүрэн биелүүлсэн. Бидний шууд сэтгэлд хүрээгүй цорын ганц зүйл нь дуу оруулгыг демогийн бичлэгтэй тааруулах явдал байсан тул түүнд “MANDATORY: align the voiceover exactly with what is being shown in the demo. There was misalignment (e.g. on the chat page). Triple check alignment of voiceover and the screen-recorded demo at the end. Match it up through whichever means possible.” гэж хүссэн.
Энэ хүсэлтийн дагуу Codex дуу оруулга болон бичлэгийг жижиг хэсгүүдэд хувааж, ажлыг бараг өөгүй гүйцэтгэн 17:30 гэхэд, баярын шар айраг, пиццанаас яг өмнө дуусгасан.
Callombia ихэнх бизнест тулгардаг асуудлыг шийддэгийг бид мэднэ. Хурдтай өргөжиж буй компанийн дуудлага бүрд оролцох хэцүү ч тэдгээрээр хуваалцдаг ухаалаг санаа, мэдлэг үнэлж баршгүй. Одоо үүнийг үйлдвэрлэлийн орчинд нэвтрүүлэх л үлдлээ.
Гэхдээ энд AI-д суурилан ажиллах, мөн нийтлэг асуудлыг шийдэхэд инженерчлэл ба бүтээгдэхүүний мэдлэг чадвараа зориулахын ач тусын тухай илүү том сургамж бий. Ердийн ажлын мөчлөгөөсөө гарч, багуудын хүрээнд хамтран, бага зэрэг өрсөлдөөнтэй орчинд ажилласнаар бид багахан засвар хийгээд үйлдвэрлэлд нэвтрүүлж болох хэд хэдэн шийдэлтэй болсон. Үүнийг тогтмол хийснээр бид дотоод ажиллагаагаа харилцагчдад зориулан бүтээдэг шийдлүүдтэйгээ адил түвшинд шуурхай, цэгцтэй байлгаж чадна.