Тодорхой нэг өгөгдөл сайн ажиллаж байснаа гэнэт ажиллахаа больж байсан уу?
Үр дүнгээ сайжруулах гэж системийн өгөгдлөө байнга нөхөн зассан ч юу ч ажиллахгүй тойрогт орж байсан уу?
Системийн өгөгдлөөс суралцах нь танд яг хэрэгтэй зүйл байж мэднэ.
Системийн өгөгдлөөс суралцах (SPL) нь AI нийгэмлэгийн сонирхлыг шинээр татаж буй салбар бөгөөд тавдугаар сард Андрей Карпати X дээр өргөнөөр таниулсан.
Системийн өгөгдлөөс суралцах нь хөдөлгөөнгүй системийн өгөгдөл эсвэл нүсэр нарийн тохируулгад тулгуурладаг, уян хатан бус, хэврэг AI системүүдийн хязгаарлалтыг шийддэг. Энэ нь AI системийн тасралтгүй суралцах чадварыг дэмжих өөр нэг арга юм.
Дэлгэрүүлж үзэхээсээ өмнө өгөгдөл боловсруулах зарим үндсийг товчхон эргэн харъя.
Агент эсвэл тусгай загвар хөгжүүлэхдээ эхлээд хоёр үндсэн бүрэлдэхүүнийг боловсруулах ёстой:
Системийн өгөгдөл
Хэрэглэгчийн өгөгдөл
Системийн өгөгдөл нь загвар хэрхэн ажиллах үндсэн дүрмийг тогтоодог. Тусгай AI шийдэлд зориулж бичихдээ ихэвчлэн дараах маягаар эхэлдэг:
“You are an intelligent assistant. Your role is to perform <insert task here>.
You must not do (A), (B), or (C).”
Харин хэрэглэгчийн өгөгдөл нь ихэвчлэн хэрэглэгчийн асуулт болон цагийн бүс, сонголт зэрэг бусад холбогдох мэдээллийг агуулдаг. Хэрэглэгчийн өгөгдөл дараах байдлаар харагдаж болно:
I’m in the capital city of Portugal. Can you suggest some things I can do tonight?
Томоохон AI лабораториуд шинэ загвар гаргасны дараа хэрэглэгчид чатботод jailbreak хийж, суурь зааврыг нь ил болгодог тул системийн өгөгдөл алдагдах явдал түгээмэл болсон. Одоо алдартай GitHub репозитор эдгээр системийн өгөгдлийн олныг нэг дор цуглуулдаг. Эдгээр нь загварыг зохистой ажиллуулахын тулд AI лабораториудын олон жилийн турш боловсруулсан «нууц жор»-ыг илчилдэг. Жишээлбэл, саяхан алдагдсан GPT-5-ын системийн өгөгдөл (ChatGPT дотроос илэрсэн) 6,000 орчим үгтэй. Энэ нь системийн ажиллагааг чиглүүлэхийн тулд хэр их мэдлэг, зааврыг кодлох шаардлагатайг харуулдаг.
Ийм иж бүрэн системийн өгөгдөл нь ихэвчлэн дараах үндсэн чиглэлүүдийг хамардаг:
Хайлтын заавар
Хэрэгслийн тодорхойлолт
Хэрэглэгчийн сонголт
Эшлэлийн заавар
Мэдэгдэж буй асуудлын шуурхай засвар
Бодит ажилд тусгай AI системийн хөгжүүлэгчид аппаа туршиж, сайжруулахдаа системийн өгөгдлийг давтан гараар засдаг бөгөөд энэ үйл явцыг голчлон үнэлгээгээр чиглүүлдэг.
Загварын ажиллагааг чиглүүлэх бусад аргад дараах зүйлс орно:
Загварт өгөх агуулгыг хянадаг, хайлтаар баяжуулсан үүсгэлт (RAG) багтсан өгөгдлийн инженерчлэл
Нарийн тохируулга (загварын суурь жинг шууд өөрчлөх)
Загварын ажиллагаанд нөлөөлөх өөр арга байвал яах вэ? Өмнө нь үүсгэсэн бодол, төлөвлөгөө, стратегиа ашиглан системийн өгөгдлөө динамикаар сурч, өөрөө сайжруулдаг системийг төсөөлөөрэй. Энэ нь гаралтаа үнэлэхдээ хэрэглэгчийн санал хүсэлт болон Том хэлний загвар (LLM)-ыг шүүгчээр ашигласан үнэлгээний аль алийг түшиж чадна.
Агентлаг системээр автоматжуулахыг хүсэж буй байнгын бизнесийн сорилтоо бодож үзье. Үр дүнтэй шийдэлд ажлын урсгалын энгийн автоматжуулалтаас давсан сэтгэн бодох чадвар шаардлагатай. Ийм үед AI системдээ төлөвлөгөө үүсгэх бүрэлдэхүүн оруулах нь зайлшгүй. Ингэснээр систем даалгавраас хамааран олон агенттай өөр өөр аргаар ажиллаж чадна. Тусдаа алхмуудад дэд даалгавар гүйцэтгэхээр бусад агент руу хандах эсвэл хэрэгсэл ашиглах заавар багтаж болно.
Тайлбар: Агентын хэрэгсэл гэдэг нь AI агент зөвхөн бичвэрээс хальж, бодит үйлдэл хийхийн тулд дуудаж болох гадаад функц, API эсвэл нөөц юм.
Загварын системийн өгөгдөлд хүний дагах логик алхмууд бүхий төлөвлөгөөг «эхлэл» болгон оруулж болно. Гэхдээ Том хэлний загваруудад (LLM) хэрэгсэл ашиглах, гаралтыг форматлах болон бусад шаардлагын талаар илүү тодорхой заавар хэрэгтэй байдаг. Заримдаа оновчтой стратеги тодорхой бус байх эсвэл өмнө нь шийдэгдсэн гэж үзээд дахин үнэлээгүй асуудалтай тулгарч болно. Энд системийн өгөгдлөөс суралцах (SPL) хэрэгтэй болно.
SPL нь өмнө үүсгэсэн стратегиудыг нэгтгэн системийн өгөгдлийг давтамжтай сайжруулдаг. Шинэ асуудал гарахын хэрээр систем мэдлэгээ аажмаар хуримтлуулж, илүү бат бөх болно. Үүнийг өөрийн салбарын асуудлыг шийдэх гарын авлага бүтээж байна гэж төсөөлөөрэй.
SPL нь хэрэглэгчийн санал хүсэлтээс олсон ойлголтыг системийн өгөгдөлд аажмаар тусгадаг. Систем тань боловсронгуй болохын хэрээр илүү ерөнхий, дээд түвшний зарчим болгон нэгтгэж болох давтагддаг асуудлуудыг илрүүлж болно.
Үйл явц хэрхэн ажилладгийг алхам алхмаар дэлгэрүүлж үзье:
Системээс тодорхой даалгавар гүйцэтгэхийг хүссэн хэрэглэгчийн асуултаас эхэлнэ.
Систем тань зөвхөн нэг асуудал шийддэг бол өмнөх ажиллуулалтаас хамгийн өндөр оноотой стратегийг сонгох «шунахай» аргыг хэрэглэж болно. Эсвэл өндөр үнэлгээтэй стратегид давуу эрх өгч, хааяа бага үнэлгээтэйг багтаасан тархалтаас түүвэрлэн эрэл хайгуулыг дэмжиж болно. Энэ нь стратеги цуглуулж эхэлж байгаа үед онцгой тустай.
Олон төрлийн асуудал шийдэх системд тохирох аргыг олохын тулд ангиллын давхарга нэмэх эсвэл эмбеддинг ба косинусын төстэй байдал-ыг (RAG-д түгээмэл ашигладаг ижил аргууд) хэрэглэх талаар бодоорой. Ингэснээр тухайн асуудалд тохирсон, жишээлбэл код бичих даалгаварт зориулсан стратегийг сонгоно.
Тайлбар: Эмбеддингийг косинусын төстэй байдалтай ашигласнаар хоёр мэдээлэл хэр зэрэг холбоотойг хэмжиж, яг ижил үгээр бичээгүй байсан ч баримт бичиг, асуулт эсвэл санааг хялбархан тааруулж болно.
Кодын асуудал шийдэх хялбаршуулсан стратегийн сангийн эхлэлийн жишээ.
Тайлбар: Энд үзүүлсэн «эхлэлийн стратегиуд» нь зөвхөн жишээ юм. Бодит кодын нөхцөлд бид тэдгээрийг цааш сайжруулна. Нарийн чиглэлийн бизнесийн асуудалд нэмэлт ойлголтыг цаг хугацааны явцад цуглуулах шаардлагатай.
Generation_id (урвуу дарааллаар) | Сэдэв | Оноо | Strategy_text | Тайлбар |
|---|---|---|---|---|
4 | код бичих | 1 | Асуудал, хязгаарлалт, захын тохиолдлуудыг ойлго. Зөв өгөгдлийн бүтэц бүхий алгоритм боловсруул. Төлөвлөгөөг жишээ болон инвариантаар баталгаажуул. Цэвэр, уншихад хялбар код бич. Дахин бүтэцлэх, оновчлох, эцсийн форматлалтаар сайжруул. Хэрэгслийн хэрэглээ: Хэрэгсэл ашиглахдаа яагаад хэрэгтэй байсныг товч тайлбарла. | Доорх гурван стратегийн хамгийн хүчтэй элементүүдийг нэгтгэсэн. |
3 | код бичих | 1 | Асуудал, хязгаарлалт, захын тохиолдлуудыг ойлго. Зөв өгөгдлийн бүтэц бүхий алгоритм боловсруул. Төлөвлөгөөг жишээ болон инвариантаар баталгаажуул. Цэвэр, уншихад хялбар код бич. Дахин бүтэцлэх, оновчлох, эцсийн форматлалтаар сайжруул. | Илүү цогц стратеги боловч хэрэгсэл ашиглах зааваргүй. |
2 | код бичих | -1 | Асуудал, хязгаарлалт, захын тохиолдлуудыг ойлго. Зөв өгөгдөл бүхий алгоритм боловсруул. Цэвэр, уншихад хялбар код бич. Хэрэгслийн хэрэглээ: хэрэгсэлд хандахдаа яагаад ашигласнаа товч тайлбарла. | Хэрэгслийн хэрэглээг дурдсан илүү сайн стратеги боловч сайжруулах боломжтой. |
1 | код бичих | -1 | Асуудлыг гүйлгэн хар. Асуудлыг шийд. Хамгийн цөөн тест үүсгэ. Ажиллаж байгаа юуг ч хамаагүй илгээ. | Тестийг дурдсан ч ерөнхийдөө сул стратеги. |
3. N-ийг түүвэрлэсний дараа системийн өгөгдөлд нэгтгэ. Ингэснээр загвар хамгийн бага заавраар төлөвлөгөө зохиохын оронд өмнөх шинжээчийн санал хүсэлтэд тулгуурлан төлөвлөгөө үүсгэнэ. Загварыг жишээ стратегийг үгчлэн хуулахын оронд «хэвшмэл хүрээнээс гадуур сэтгэж», шаардлагатай үед алхам нэмэхэд урамшуул.
4. Динамикаар үүсгэсэн системийн өгөгдлөө ашиглан хэрэглэгчийн хүсэлтийг шийдэх шинэ стратеги үүсгэнэ үү. Энэ үйл явц эцсийн гаралтыг сайжруулах нэмэлт даалгавруудыг бий болгох ёстой. Зорилго нь бүтээлч байдал: өмнөх стратегиудын хамгийн хүчтэй талыг нэгтгэж, давхардсан алхмуудыг цэгцлэн, шаардлагатай газарт тустай шинэ алхам нэмнэ.
Тайлбар: Температур нь илүү олон янз, урьдчилан тогтоогдоогүй гаралт гаргахаар тохируулж болдог параметр тул бүтээлч байдал шаардсан үед хэрэгтэйг санаарай. Температур тэгээс өөр байвал үүсгэсэн төлөвлөгөө бүр ялгаатай байж болно.
5. Загварын гаралтыг хүлээн авсны дараа асуудлын сайн шийдлийг тодорхойлох шалгуураар хүн эсвэл Том хэлний загвар (LLM) шүүгч ашиглан үнэлнэ үү. Өмнө дурдсан Португал дахь үйл ажиллагааны жишээний үнэлгээний шалгуурт дараах зүйлс багтаж болно:
Товч байдал (хариулт нэг өгүүлбэрээс хэтрэхгүй)
Санал болгосон үйл ажиллагааны нийцэл
Байршлын үнэн зөв байдал
6. Энэ үнэлгээнд үндэслэн өөр загвар ашиглаж стратегиа сайжруулна уу. Нэмэлт санал хүсэлтийн давталтад хүний оролцоог тусгаж, хамтын сайжруулалтыг дэмжиж болно. Хувилбар, өөрчлөлтийг хянахад тохирох мета өгөгдлийн хамт сайжруулсан стратегиа өгөгдлийн санд хадгална уу.
Тэгвэл яагаад энэ бүх төвөгтэй ажлыг хийх ёстой вэ? Та гаралтыг гараар хянаж, системийн өгөгдлийг тохируулж болно. Гэхдээ сэтгэн бодох чадвар сайтай загварууд гаралтын нөхцөл болон хүний санал хүсэлтийг ашиглан стратегиа сайжруулж чадна. Хүмүүс энгийн аргын дутагдлыг амархан олдог ч өргөн хүрээний асуудлыг шийддэг нарийн төвөгтэй системд тэдгээрийг илрүүлэх нь хэцүү, залхмаар болдог.
Хүмүүсийн асуудалд аяндаа авчирдаг нөхцөл байдлын мэдлэгийг цуглуулахын тулд Том хэлний загварууд (LLM) ихэвчлэн дэлгэрэнгүй заавар, нэмэлт алхам шаарддаг. Систем илүү өргөн хүрээний асуудлыг шийдэхийн хэрээр шаардлагатай даалгаврын тоо хурдан өсөж болно. Жишээлбэл, кодын асуудал шийдэхдээ хүн эргэн тойрны кодын санг зөнгөөрөө ойлгож болох бол Том хэлний загвар (LLM) эхлээд олон файл «унших» шаардлагатай байж болно.
Хэзээ тустай вэ: Та хэрэглэгчийн дэмжлэгийн баг удирддаг бөгөөд AI агент хүсэлтүүдийг ангилдаг гэж төсөөлье. Цаг хугацааны явцад SPL танай багийн өмнө нь бодоогүй ангиллын аргыг нээж, дээд шатанд шилжүүлэх хувийг бууруулж болно.
Хэзээ тусгүй вэ: Санхүүгийн тайлагнал зэрэг ажлын урсгалыг нийцлийн шаардлага эсвэл журам аль хэдийн тодорхойлсон бол бүтээлч байдал давуу тал бус эрсдэл болох тул SPL төдийлөн үнэ цэнгүй.
Хэзээ тустай вэ: Судалгаа их шаарддаг ажилд (зах зээлийн судалгаа, бүтээгдэхүүний стратеги гэх мэт) AI-ийн төлөвлөгөөг сайжруулж, гаралтыг баяжуулан, эдгээр сайжруулалтыг цаашид ашиглахаар тусгах замаар хамтран ажиллаж болно. Харилцан үйлдэл бүр системийн үр нөлөөг нэмэгдүүлнэ.
Хэзээ тусгүй вэ: Танай баг AI-ийг хүний оролцоо бага шаарддаг энгийн ажлын урсгалд (жишээлбэл, нэхэмжлэх боловсруулахад) голчлон ашигладаг бол хамтын ажиллагааны нэмэлт ачаалал үр өгөөжөөсөө давж болно.
Хэзээ тустай вэ: Та шинэ бүс нутагт үйл ажиллагаагаа тэлж, AI гэнэт орон нутгийн татварын асуултад хариулах шаардлагатай боллоо гэж бодъё. SPL нь шинээр гарч ирсэн дүрэм, эвристикийг хурдан кодолж, алдааг давтахаас сэргийлэх боломж олгоно.
Хэзээ тусгүй вэ: Уулзалтын бичлэгийг стандарт хураангуй болгох зэрэг орчин тань тогтвортой бол байнга дасан зохицох нь бараг үр өгөөжгүй.
Онолын хувьд энэ бүхэн ирээдүйтэй сонсогдож байгаа ч SPL-ийг нэвтрүүлэхэд бодит сорилтууд бий. Гол сорилтуудын заримыг доор авч үзье:
Стратеги үүсгэх эхний шатанд ахиц ихэвчлэн зогсонги болдог: шинэ гаралт өмнөхөө ахиулахгүй, эрч саарна. Үүнд ихэвчлэн хоёр үндсэн асуудал нөлөөлдөг:
Шийдэл: Систем ашиглах хангалттай гүн мэдлэгтэй байлгахын тулд бизнесийн бүх боломжит мэдлэгийг эхнээс нь кодол.
Шийдэл: Хариултын үнэн зөв, ойлгомжтой, хамааралтай байдал зэрэг олон талыг оноодог нарийвчилсан шалгуур боловсруулж, түүвэрлэлтийг эдгээр дохиотой нийцүүлэн тохируул.
Систем тань хэдэн зуун стратеги үүсгэдэг ч сайныг муугаас ялгах санал хүсэлт бага авбал түүвэрлэлт хурдан удирдахад төвөгтэй болно. Шийдэл нь цөөлөх юм.
Стратегийн сангаа сайжруулахдаа дараахыг анхаарна уу:
Ашиглах хугацаа: Тогтоосон хугацаа эсвэл үүсгэлтийн тооноос хэтэрсэн стратегийг хэрэглээнээс хас.
Оноо: Тогтмол муу үзүүлэлттэй стратегийг үнэлгээний шалгуураар шүүн хас. Үүнийг ашиглах хугацаатай хослуулснаар зөвхөн урт хугацаанд үнэ цэнээ нотолсон аргуудыг хадгална.
Том хэлний загварын (LLM) шүүлт: Ашигтай элементүүд нь шинэ хувилбаруудад аль хэдийн шингэсэн байх тул өвөрмөц шинэ ойлголт өгөхөө больсон стратегийг тогтмол үнэлж илрүүл.
Шийдэл: Стратегийн өгөгдлийн сангаа амьд систем гэж үз: зөвхөн хамааралтай, өндөр үнэ цэнтэй мэдлэгийг үлдээхийн тулд тогтмол цөөл.
Системийн өгөгдлөөс суралцах нь дөнгөж эхэн үедээ байгаа ч асар их боломжтой. Зөвхөн хөдөлгөөнгүй өгөгдөл эсвэл эцэс төгсгөлгүй нарийн тохируулгад тулгуурласан бизнесүүд хэврэг систем, өсөн нэмэгдэх зардал, үргүй хөдөлмөр гэх танил хязгаарлалттай тулгарна. SPL нь тусгаарласан засварын оронд дээд түвшний зарчмыг кодолж, цаг хугацааны явцад сайжирдаг систем бүтээснээр энэ мөчлөгөөс гарах замыг санал болгодог.
SPL хөгжлийн эхэн үедээ байгаа ч чиглэл нь тодорхой: өөрөөсөө суралцдаг системүүд суралцаж чаддаггүй системүүдээс илүү хурдан хөгжинө. Одоо туршиж, багаас эхэлж, сургамжаа бүртгэн, харилцан үйлдэл бүрээр сайжрах AI системийн суурийг тавих цаг.