Codex மூலம் திறன்மிகு சந்திப்புத் தேடல் கருவியை உருவாக்குதல்

• பதிவுசெய்யப்பட்ட சந்திப்புகள் முழுமையாகப் பயன்படுத்தப்படாத அறிவுச் சொத்தாக உள்ளன. அவற்றில் தேடுவது கடினம், மீண்டும் பார்ப்பதற்கு அதிக நேரம் தேவை, மேலும் அவை பல்வேறு குழு இயக்ககங்களில் தனித்தனியாகக் கிடக்கின்றன. இதனால் மதிப்புமிக்க நுண்ணறிவுகள் பெரும்பாலும் கவனிக்கப்படுவதில்லை.

• ஒரே நாள் ஹேக்கத்தானில், மூவர் கொண்ட குழு Callombia-வை உருவாக்கியது. இது பதிவுசெய்யப்பட்ட அழைப்புகளைத் தானாகவே எழுத்தாக்கி, குறிச்சொற்களைச் சேர்த்து, சுருக்கி, சிறு காணொளிகளாகப் பிரித்து, உலகளாவிய அலுவலகங்கள் முழுவதும் அணுகக்கூடியதும் தேடக்கூடியதுமான YouTube பாணி ரிபாசிட்டரியாக மாற்றும் உள்தளமாகும்.

• முழுவதும் Codex மூலம் உருவாக்கப்பட்ட இந்தத் தீர்வு, OpenAI உட்பொதிவுகள் மற்றும் கோசைன் ஒற்றுமையால் இயங்கும் பொருள்சார் தேடலைப் பயன்படுத்தி, சரியான திறவுச்சொற்கள் இடம்பெறாதபோதும் தொடர்புடைய தருணங்களைக் கண்டறிகிறது. இதனுடன் RAG உரையாடல் பொறியும் அறிவிப்பு அமைப்பும் இணைக்கப்பட்டுள்ளன.

• முன்பு பல வாரங்கள் எடுத்திருக்கக்கூடிய ஒன்றை ஏழு மணிநேரத்தில் வழங்கினோம். Codex போன்ற குறியீட்டு ஏஜென்ட்களைப் பயன்படுத்தும் செயற்கை நுண்ணறிவை மையமாகக் கொண்ட மேம்பாடு, தயாரிப்பு உருவாக்கச் சுழற்சியைப் பெருமளவில் சுருக்கி, உள் ஹேக்கத்தான்கள் மூலம் உண்மையான வணிக மதிப்பை உருவாக்க முடியும் என்பதை இது காட்டியது.

நீங்களும் என்னைப் போன்றவர் என்றால், பதிவுசெய்யப்பட்ட சந்திப்புகளை மீண்டும் கேட்பதற்கான நேரமோ அதற்குத் தேவையான கவனமோ உங்களுக்கு அரிதாகவே இருக்கும். ஒழுங்கற்ற குழு இயக்ககங்களில் தேடுவது, தரமற்ற வெற்றுப் பேச்சுகளைத் தாண்டிச் செல்வது, மின்னஞ்சல்களையும் செய்திகளையும் அனுப்பிக்கொண்டே உண்மையாகவே கவனித்துக் கேட்க முயல்வது போன்றவை இதற்குப் பெரும்பாலும் காரணமாகின்றன.

ஆனால் அது அப்படித்தான் இருக்க வேண்டிய அவசியமில்லையே? பதிவுசெய்யப்பட்ட சந்திப்புகளையே முற்றிலும் மாற்றும் ஒன்றை நாம் உருவாக்க முடியுமோ? எங்களின் அண்மைய ஹேக்கத்தான் திட்டத்திற்குப் பின்னால் இருந்த சிந்தனை இதுதான்.

ஒரே நாளில், எங்கள் பொறியியல், வழங்கல் மற்றும் செயல்பாட்டுக் குழுக்களைச் சேர்ந்த 50 பேர், பணியமர்த்தல் செயல்பாடுகளை விரிவுபடுத்துதல், பணிக்கூற்று உருவாக்கத்தை எளிதாக்குதல், திட்டத்தின் நிலையைக் கண்டறிதல், உடனடி முன்மாதிரிகளை உருவாக்குதல், பதிவுசெய்யப்பட்ட சந்திப்புகளிலிருந்து நுண்ணறிவுகளைக் கண்டறிதல் என வணிகம் முழுவதிலுமிருந்து பெறப்பட்ட பல சிக்கல்களுக்குத் தீர்வு கண்டனர்.

Codex அடிப்படையிலான இந்த ஹேக்கத்தானில், நாங்கள் Callombia-வை உருவாக்கினோம். ஒவ்வொரு அழைப்பையும் தொடர்ந்து பயன்படும், தேடக்கூடிய சொத்தாக மாற்றும் எங்கள் நிறுவனத்தின் YouTube தான் Callombia. ஒவ்வொரு அழைப்பும் தானாகவே எழுத்தாக்கப்பட்டு, குறிச்சொற்கள் சேர்க்கப்பட்டுச் சுருக்கப்படுகிறது. பின்னர் கருப்பொருள் சார்ந்த சிறு காணொளிகளாகப் பிரிக்கப்பட்டு, சேனல்கள் மற்றும் தலைப்புகளின் அடிப்படையில் தொகுக்கப்பட்ட ரிபாசிட்டரியில் சேர்க்கப்படுகிறது. இங்கு சேனல்கள் வாடிக்கையாளர்களையும், தலைப்புகள் செயற்கை நுண்ணறிவுத் திறன்சார் துறைகளையும் குறிக்கின்றன. இதன் மூலம் லண்டன், எடின்பர்க், சிங்கப்பூர் மற்றும் ஆஸ்திரேலியாவில் உள்ள எந்தக் குழு உறுப்பினரும், தமக்கு முக்கியமான அழைப்புத் தருணங்களை உடனடியாக அணுகலாம்.

பரிச்சயமான, நிறுவனப் பாணியுடன் ஒத்த பயனர் இடைமுகம் உள்ளடக்கத்தைக் கண்டறிவதை எளிதாக்குகிறது. பொருள்சார் தேடலும், இயல்பாகவே RAG செயற்கை நுண்ணறிவு உரையாடல் பொறியும், மக்கள் தாங்கள் தேடுவதைத் துல்லியமாகக் கண்டறிய உதவுகின்றன. அறிவிப்பு அமைப்பைச் சேர்த்ததன் மூலம், எங்கள் சக பணியாளர்கள் குறிப்பிட்ட தலைப்புகளுக்குச் சந்தாதாரராகி, தங்களுக்குத் தொடர்புடைய புதிய சிறு காணொளிகள் வெளியானால் அறிவிப்பைப் பெறலாம்.

ஆனால் Callombia-வில் சிறப்பானது தயாரிப்போ, ஹேக்கத்தானில் வென்றதற்கான £2k பரிசோ அல்ல. அதை இரு பொறியாளர்களும் ஒரு வழங்கல் தலைவரும் சேர்ந்து ஏழே மணிநேரத்தில் உருவாக்க முடிந்ததுதான் உண்மையான பெருமை. ஓராண்டுக்கு முன்பு இது சாத்தியமில்லை. குறியீட்டு ஏஜென்ட்களில் ஏற்பட்டுள்ள மேம்பாடுகள், தயாரிப்பு உருவாக்கத்தின் தொடக்கம் முதல் முடிவு வரையிலான செயல்முறையைப் பெருமளவில் விரைவுபடுத்தியுள்ளன. அவற்றின் சீரற்ற திறன் எல்லைகளைப் புரிந்துகொள்ள இந்த ஹேக்கத்தான் சிறந்த சோதனைக் களமாக அமைந்தது. அப்படியென்றால், Codex-ஐ எப்படிப் பயன்படுத்தினோம்?

ஏராளமான தேவைகளை மட்டும் எழுதுவதற்குப் பதிலாக, சிக்கலின் பரப்பையும் Callombia குறித்த தொலைநோக்கையும் பற்றிய எங்கள் கூட்டு எண்ணத்தை ஒரு ப்ராம்ப்டாகப் பகிர்ந்து தொடங்கினோம். வேண்டுமென்றே விவரங்களைக் குறிப்பிடாமல் விட்டதால், மாடல் தானாகச் செயல்பட்டுப் படைப்பாற்றலுடன் சிந்திக்க இடமளித்தோம்.

பத்து நிமிட உரையாடலுக்குப் பிறகு, தேவைகளைக் குறுக்கி உருவாக்கத்தின் தொழில்நுட்பப் பகுதிக்கு வழிகாட்டத் திட்டமிடல் பயன்முறையை இயக்கினோம். சாத்தியமான ஒவ்வொரு சூழலையும் பயனுள்ள வகையில் முன்கூட்டியே சிந்தித்துவிட்ட அந்த எரிச்சலூட்டும் நண்பரின் கேள்விகளுக்குப் பதிலளிப்பதைப் போல் திட்டமிடல் பயன்முறை உணரப்படுகிறது. காணொளிகளின் எண்ணிக்கை, பொருள்சார் தேடலா திறவுச்சொல் தேடலா, எந்தக் கட்டமைப்பைப் பயன்படுத்துவது போன்றவற்றை முடிவுசெய்த பிறகு, திட்டத்தின் அடுத்தடுத்த பணிகளுக்கு அடித்தளமான ஒரு Markdown கோப்பை அது உருவாக்கியது.

திட்டம் தயாரானதும், Callombia உண்மையில் செயல்படத் தேவையான முக்கியக் கூறுகளை உருவாக்குவது அடுத்த படியாக இருந்தது. அதாவது, பதிவுசெய்யப்பட்ட அழைப்புகளைத் தேடக்கூடிய சொத்துகளாக மாற்றும் செயலாக்கத் தொடரை உருவாக்க வேண்டியிருந்தது.

1. காணொளிகளையும் எழுத்தாக்கங்களையும் உள்வாங்குதல்.

2. அவற்றைப் பொருளுள்ள தருணங்களாகப் பிரித்தல்.

3. சுருக்கங்கள் மற்றும் குறிச்சொற்களால் அவற்றை வளப்படுத்துதல்.

4. முன்புறம் பயன்படுத்தக்கூடிய API-கள் மூலம் அவற்றை வழங்குதல்.

மூலப் பதிவுகளையும் எழுத்தாக்கத் தரவையும் பயன்படுத்தக்கூடிய வடிவத்திற்குக் கொண்டுவருவதில் Ed அதிக கவனம் செலுத்தினார். அந்தத் தருணங்களைக் கண்டறிய உதவும் மீட்டெடுப்பு அடுக்கில் Nico அதிக கவனம் செலுத்தினார். Codex உதவியுடன், தரவு மாடல்கள், பிரித்தெடுப்பு நிரல்கள் மற்றும் பின்புற இணைப்புகளை அவர்கள் இருவரும் கைமுறையாகச் செய்வதைவிட மிக வேகமாக உருவாக்க முடிந்தது. இதன் மூலம் காணொளியுடன் இணைக்கப்பட்ட ஓர் எழுத்தாக்கத்தைவிட மிக அதிகம் கிடைத்தது. அது எங்களுக்குத் தருணங்களை வழங்கியது. Tesco பகுதி, உத்திப் புதுப்பிப்பு, பணியமர்த்தல் விவாதம், ஒருவர் உண்மையில் பார்க்க விரும்பும் அழைப்பின் குறிப்பிட்ட 90 விநாடிகள் என அனைத்தையும் வழங்கியது.

அந்த மீட்டெடுப்பு அடுக்கில்தான் விஷயங்கள் குறிப்பாகச் சுவாரசியமடைந்தன. ஒருவர் “நிதிச் செயல்திறன்,” “Tesco செயல்திட்டம்,” அல்லது “உரையாடல் மதிப்பீடுகள்” போன்ற ஒன்றைத் தட்டச்சுசெய்தால், அந்தச் சொற்கள் அப்படியே பேசப்படாவிட்டாலும் மிகவும் தொடர்புடைய சிறு காணொளிகளுக்கு அவரை அழைத்துச் செல்ல வேண்டும் என்று விரும்பினோம். இதற்காக நேர முத்திரைகள், சுருக்கங்கள், எழுத்தாக்க உரை மற்றும் மேனிலைத் தரவு அடங்கிய பகுதிகளை உருவாக்கினோம். தெளிவான கட்டமைப்பையும் Codex-இன் பெருமளவு உதவியையும் கொண்டு, தலைப்பு, சுருக்கம் மற்றும் எழுத்தாக்கத்தை ஒரே உள்ளீடாக இணைத்தோம். பின்னர் ஒவ்வொரு பகுதிக்கும் உட்பொதிவுகளை உருவாக்க OpenAI-இன் text-embedding-3-small மாடலைப் பயன்படுத்தினோம். அந்த உட்பொதிவுகளை எங்கள் தரவுத்தளத்தில் சேமித்து, பயனரின் வினவலை ஒவ்வொரு பகுதியுடனும் ஒப்பிடக் கோசைன் ஒற்றுமையைப் பயன்படுத்தினோம். இதனால் எளிய திறவுச்சொல் தேடலுக்குப் பதிலாக ஒரு பொருள்சார் மீட்டெடுப்பு அடுக்கு கிடைத்தது.

இது மிகத் துல்லியமாகச் செயல்பட்டதுடன், ஹேக்கத்தான் செயல்விளக்கத்தின்போது தயாரிப்பிற்கு ஒரு “மாயாஜால” உணர்வையும் அளித்தது. அதே நேரத்தில், காணொளிகளின் எண்ணிக்கை தொடர்ந்து அதிகரித்தால் இந்த அணுகுமுறை எப்போதும் விரிவடையாது என்பதையும் அறிந்திருந்தோம். ஏனெனில் ஒவ்வொரு வினவலையும் ஒவ்வொரு பகுதியுடனும் ஒப்பிடுவது இறுதியில் அதிகச் செலவாகிவிடும். ஒப்பீடுகளின் எண்ணிக்கையைக் குறைத்து, தரவுத் தொகுப்பு விரிவடையும்போதும் தாமதத்தைக் குறைவாக வைத்திருக்க, அடுக்குநிலை வழிசெலுத்தக்கூடிய சிற்றுலகம் போன்ற திறன்மிக்க மீட்டெடுப்பு உத்திகளை அறிமுகப்படுத்துவதே இயல்பான அடுத்த படியாக இருக்கும். இந்த அம்சம் செயல்படத் தொடங்கியதும், Callombia ஒரு ஊடக நூலகத்தைவிட அறிவு அமைப்பைப் போல் தோன்றத் தொடங்கியது.

எல்லா நல்ல ஹேக்கத்தான்களையும் போலவே, இந்தப் பகுதிக்கும் திருத்தங்கள் தேவைப்பட்டன. முதலில் பகுதிகளின் எல்லைகள் மிகவும் தோராயமாக இருந்தன, சில நேர முத்திரைகளைத் துல்லியமாக்க வேண்டியிருந்தது, சில குறிச்சொற்கள் மிகப் பொதுவாக இருந்தன, எழுத்தாக்கக் கோப்புகளும் பதிவுக் கோப்புகளும் எப்போதும் சரியாகப் பொருந்தவில்லை. ஆனால் அதில்தான் இதன் மதிப்பும் வெளிப்பட்டது. அமைப்புப் பணிகளிலும் மறுவேலையிலும் சிக்கிக்கொள்வதற்குப் பதிலாக, அமைப்பை விரைவாக மேம்படுத்த Codex எங்களுக்கு உதவியது. இறுதியில், சிறு காணொளிகள், உரைத் துணுக்குகள் மற்றும் உண்மையிலேயே பயனுள்ள பொருள்சார் தேடலை இயக்கக்கூடிய பின்புற அமைப்பு எங்களிடம் இருந்தது. அந்தக் கட்டத்தில்தான் Callombia ஒரு ஹேக்கத்தான் செயல்விளக்கமாக மட்டுமல்லாமல் உண்மையான தயாரிப்பாகத் தோன்றத் தொடங்கியது.

Ed மற்றும் Nico உள்வாங்கல், நுண்ணறிவு அடுக்குகளை உருவாக்கியபோது, நான் முன்புறத்தை உருவாக்கினேன். எங்கள் முழுத் தொழில்நுட்ப அடுக்கின் வார்ப்புருவைப் பயன்படுத்தி, ஒரு வரிக் குறியீடுகூட எழுதாமல் இணையதளத்தின் முதல் பதிப்பை விரைவாக உருவாக்க முடிந்தது. எனது உலாவியில் இணையதளத்தை உள்ளகமாகத் திறக்குமாறு கேட்ட பிறகு, நான் எதிர்பார்த்த வடிவமைப்பைப் பெற எளிய குறிப்புப் பட்டியல் வடிவில் கருத்துகளை வழங்கித் தொடர்ந்து மேம்படுத்தினேன்.

சுமார் ஒரு மணிநேர உரையாடலுக்குப் பிறகு, பயனர் இடைமுகம் அல்லது வடிவமைப்பில் எந்த அனுபவமும் இல்லாமலேயே எனக்கு மிகவும் திருப்தியளித்த ஒன்றை உருவாக்கியிருந்தேன். இறுதித் தயாரிப்பு நிச்சயமாக முழுமையானதல்ல. இருப்பினும், தயாரிப்பைப் புரிந்துகொள்ள மக்களுக்கு உதவும் மிகச் சிறந்த முதல் பதிப்பாக அது உள்ளது.

நாளின் முடிவில் ஏதாவது ஒன்றை உருவாக்கியிருப்பதை உறுதிசெய்ய, வேலையை எங்களுக்குள் பிரித்துக்கொண்டோம். சில மணிநேரம் ஓரளவு தனித்தனியாகப் பணியாற்றிய பிறகு, ஏராளமான முரண்பாடுகளுடன் ஒவ்வொருவருக்கும் தனித்தனி உள்ளகக் கிளைகள் இருந்தன.

எங்களிடம் இல்லாத நேரத்தைச் செலவிட்டு ஒவ்வொரு முரண்பாட்டையும் கவனமாகத் தீர்ப்பதற்குப் பதிலாக, ரிபாசிட்டரிகளில் Codex-ஐச் சுதந்திரமாகச் செயல்படவிட்டு, முரண்பாடுகளைத் தானாகவே சரிசெய்ய முடிவெடுத்தோம். நிறுவனத் தர மென்பொருள் உருவாக்கத்திற்கு இப்போதே இதைப் பரிந்துரைக்க மாட்டோம். ஆனால் அபாயம் குறைந்த சூழலில் இது செயல்படும் விதம் வியப்பளித்ததுடன், எங்களுக்குப் பல மணிநேரத்தை மிச்சப்படுத்தியது.

நடுவர்களுக்காக Callombia-வின் செயல்விளக்கத்தைப் பதிவுசெய்வதே ஹேக்கத்தானின் இறுதிப் பகுதியாக இருந்தது. பதிவைக் கையாள இயல்பாகவே Loom-ஐத் திறக்கத் தோன்றியது. ஆனால் இது Codex-க்கு உண்மையான சோதனையாகவும், அதன் தற்போதைய திறன்களுக்கு ஓரளவு அப்பாற்பட்ட பணியாகவும் இருக்கலாம் என்று நினைத்தோம். எனவே, ஒரு ப்ராம்ப்டை எழுதி, Callombia இணையதளத்திற்கான இணைப்பை வழங்கி, OpenAI-இன் உருவாக்குநர் தளத்தில் பதிவுசெய்த எனது குரலை இணைத்து, மீதமுள்ள அனைத்தையும் செய்யுமாறு கேட்டோம்.

முதல் முயற்சியே மிகவும் வியப்பூட்டியது. அது செயல்விளக்க உரையை எழுதி, திரையைப் பதிவுசெய்து, எனது குரல் விளக்கத்தைச் சேர்த்து, ஏறக்குறைய எங்கள் கோரிக்கையை நிறைவேற்றியிருந்தது. செயல்விளக்கப் பதிவுடன் குரல் விளக்கம் ஒத்திசையாதது மட்டுமே எங்களுக்கு உடனடியாகத் திருப்தியளிக்கவில்லை. எனவே அதனிடம், “கட்டாயம்: செயல்விளக்கத்தில் காட்டப்படுவதுடன் குரல் விளக்கத்தைத் துல்லியமாக ஒத்திசைக்கவும். சில இடங்களில் ஒத்திசைவு தவறியிருந்தது. எடுத்துக்காட்டாக, உரையாடல் பக்கத்தில். இறுதியில் குரல் விளக்கமும் திரைப்பதிவுச் செயல்விளக்கமும் ஒத்திசைந்துள்ளனவா என்பதை மூன்று முறை சரிபார்க்கவும். சாத்தியமான எந்த வழியிலாவது இரண்டையும் பொருத்தவும்.” என்று கேட்டோம்.

அந்தக் கோரிக்கைக்குப் பதிலளிக்கும் வகையில், குரல் விளக்கத்தையும் பதிவையும் Codex சிறிய பகுதிகளாகப் பிரித்து, பணியை ஏறக்குறைய குறையின்றி முடித்தது. மாலை 5.30 மணிக்குள் சரியாக முடிந்ததால், பியரும் பீட்சாவும் கொண்டு கொண்டாட முடிந்தது.

பெரும்பாலான நிறுவனங்களுக்கு இருக்கும் ஒரு சிக்கலை Callombia தீர்க்கிறது என்பது எங்களுக்குத் தெரியும். வேகமாக விரிவடையும் நிறுவனத்தில் ஒவ்வொரு அழைப்பிலும் கலந்துகொள்வது கடினம். ஆனால் அந்த அழைப்புகளில் பகிரப்படும் மதிப்புமிக்க அறிவுத் துளிகள் விலைமதிப்பற்றவை. இப்போது அதை நடைமுறைப் பயன்பாட்டுக்குக் கொண்டுவருவது மட்டுமே எஞ்சியுள்ளது.

ஆனால் செயற்கை நுண்ணறிவை இயல்பாக ஏற்றுக்கொள்வது குறித்த பெரிய பாடமும் இதில் உள்ளது. பொதுவான சிக்கல்களைத் தீர்க்கப் பொறியியல் திறனையும் தயாரிப்பு நுண்ணறிவையும் அர்ப்பணிப்பதால் கிடைக்கும் பலனையும் இது காட்டுகிறது. வழக்கமான பணிச் சுழற்சியிலிருந்து வெளியேறி, குழுக்களுக்கு இடையே ஒத்துழைத்து, ஓரளவு போட்டித்தன்மை கொண்ட சூழலில் செயல்பட்டதால், சில மாற்றங்களுடன் நடைமுறைப் பயன்பாட்டுக்குக் கொண்டுவரக்கூடிய பல தீர்வுகளை இறுதியில் உருவாக்கினோம். இதைத் தொடர்ந்து செய்தால், வாடிக்கையாளர்களுக்காக நாங்கள் உருவாக்கும் தீர்வுகளைப் போலவே எங்கள் உள் செயல்பாடுகளும் திறம்பட இருப்பதை உறுதிசெய்யலாம்.