Qatt sibt prompt partikolari li jaħdem tajjeb, iżda mbagħad f’daqqa waħda jieqaf jaħdem?
Qatt inqbadt f’ċiklu fejn tibqa’ tirranġa l-prompt tas-sistema biex ittejjeb ir-riżultati, iżda xejn ma jaħdem?
It-tagħlim tal-prompt tas-sistema jista’ jkun eżattament dak li għandek bżonn.
It-tagħlim tal-prompt tas-sistema (SPL) huwa qasam ta’ interess emerġenti fil-komunità tal-IA u sar popolari ħafna bis-saħħa ta’ Andrej Karpathy fuq X f’Mejju.
It-tagħlim tal-prompt tas-sistema jindirizza l-limitazzjonijiet ta’ sistemi tal-IA inflessibbli u fraġli li jiddependu fuq prompts statiċi tas-sistema jew konfigurazzjonijiet diffiċli ta’ rfinar. Dan joffri mod ieħor kif jiġi appoġġjat it-tagħlim kontinwu fis-sistemi tal-IA.
Qabel nidħlu fid-dettall, ejja nirrevedu fil-qosor xi prinċipji fundamentali tal-prompts.
Meta niżviluppaw aġent jew mudell personalizzat, l-ewwel irridu nfasslu żewġ komponenti ewlenin:
Prompt tas-sistema
Prompt tal-utent
Il-prompts tas-sistema jistabbilixxu r-regoli bażiċi dwar kif għandu jġib ruħu mudell. Meta jinkitbu għal soluzzjonijiet tal-IA personalizzati, spiss jibdew b’xi ħaġa bħal din:
“You are an intelligent assistant. Your role is to perform <insert task here>.
You must not do (A), (B), or (C).”
B’kuntrast, il-prompts tal-utent normalment ikun fihom il-mistoqsija tal-utent u informazzjoni rilevanti oħra, bħaż-żona tal-ħin u l-preferenzi tiegħu. Prompt tal-utent jista’ jkun bħal dan:
I’m in the capital city of Portugal. Can you suggest some things I can do tonight?
It-tnixxijiet tal-prompts tas-sistema saru komuni wara l-ħruġ ta’ mudelli ġodda minn laboratorji ewlenin tal-IA, hekk kif l-utenti jagħmlu jailbreak liċ-chatbots biex jikxfu l-istruzzjonijiet sottostanti tagħhom. Repożitorju popolari fuq GitHub issa jiġbor ħafna minn dawn il-prompts tas-sistema f’post wieħed. Dawn jikxfu l-«ingredjent sigriet» li l-laboratorji tal-IA żviluppaw maż-żmien biex iħeġġu mġiba xierqa mill-mudell. Pereżempju, il-prompt tas-sistema ta’ GPT-5 li nixxa dan l-aħħar (u ġie żvelat fi ChatGPT) fih madwar 6,000 kelma, u juri kemm iridu jiġu inkorporati għarfien u gwida biex tissawwar l-imġiba tas-sistema.
Dawn il-prompts komprensivi tas-sistema normalment ikopru diversi oqsma ewlenin, bħal:
Struzzjonijiet għat-tiftix
Definizzjonijiet tal-għodod
Preferenzi tal-utent
Struzzjonijiet għaċ-ċitazzjonijiet
Soluzzjonijiet ta’ malajr għal problemi magħrufa
Fil-prattika, l-iżviluppaturi ta’ sistemi tal-IA personalizzati jirranġaw il-prompts tas-sistema manwalment u b’mod iterattiv waqt li jittestjaw u jirfinaw l-applikazzjonijiet tagħhom, u jużaw prinċipalment l-evals biex jiggwidaw dan il-proċess ta’ titjib.
Modi oħra kif tiggwida l-imġiba ta’ mudell jinkludu:
L-inġinerija tal-prompts, inkluża l-ġenerazzjoni msaħħa bl-irkupru (RAG), li tikkontrolla l-kontenut ipprovdut lil mudell
L-irfinar (it-tibdil dirett tal-piżijiet sottostanti tal-mudell)
U kieku kien hemm mod ieħor kif ninfluwenzaw l-imġiba tal-mudell? Immaġina sistema li titgħallem u tirfina b’mod dinamiku l-prompt tas-sistema tagħha stess permezz ta’ ħsibijiet, pjanijiet u strateġiji ġġenerati qabel. Tista’ tuża kemm il-feedback tal-utenti kif ukoll evalwazzjonijiet ta’ LLM bħala ġudikatur biex tivvaluta l-outputs tagħha.
Aħseb fi sfida persistenti tan-negozju li trid tawtomatizza permezz ta’ sistema b’aġenti. Soluzzjonijiet effettivi jeħtieġu kapaċitajiet ta’ raġunament li jmorru lil hinn mill-awtomatizzazzjoni bażika tal-flussi tax-xogħol. F’każijiet bħal dawn, isir essenzjali li fis-sistema tal-IA tiegħek tinkorpora komponent li jiġġenera l-pjanijiet. Dan jippermetti lis-sistema taħdem ma’ diversi aġenti b’modi differenti, skont il-kompitu. Il-passi individwali jistgħu jinkludu struzzjonijiet biex jiġu aċċessati aġenti oħra ħalli jlestu sottokompiti, jew biex jintużaw għodod.
Nota: Għodda ta’ aġent hija kwalunkwe funzjoni esterna, API jew riżorsa li aġent tal-IA jista’ jsejjaħ biex imur lil hinn mit-test u jwettaq azzjonijiet reali.
Tista’ tagħżel li «tiżra’» l-prompt tas-sistema tal-mudell bi pjan li jsegwi l-passi loġiċi li jieħu bniedem, għalkemm l-LLMs normalment jeħtieġu gwida aktar speċifika dwar l-użu tal-għodod, l-ifformattjar tal-output u rekwiżiti relatati. Xi drabi l-aħjar strateġija tista’ ma tkunx ċara, jew tista’ tkun qed tindirizza problema li ma ġietx evalwata mill-ġdid għax qabel kienet meqjusa solvuta. Hawnhekk jidħol it-tagħlim tal-prompt tas-sistema (SPL).
L-SPL itejjeb b’mod iterattiv prompt tas-sistema billi jinkorpora strateġiji ġġenerati qabel. Hekk kif jitfaċċaw problemi ġodda, is-sistema gradwalment takkumula l-għarfien u ssir aktar robusta. Aħseb fih bħala manwal biex issolvi l-problemi fil-qasam tiegħek.
L-SPL jinkorpora gradwalment fil-prompt tas-sistema l-għarfien miksub mill-feedback tal-utenti. Hekk kif is-sistema tiegħek timmatura, tista’ tiskopri problemi rikorrenti li jistgħu jitnaqqsu għal prinċipji aktar ġeneralizzati u ta’ livell ogħla.
Ejja naraw aktar mill-qrib kif jaħdem il-proċess, pass pass:
Ibda bil-mistoqsija tal-utent u itlob lis-sistema twettaq kompitu speċifiku.
Jekk is-sistema tiegħek tindirizza problema waħda biss, tista’ tuża approċċ «greedy» billi tagħżel l-istrateġiji bl-ogħla punteġġ minn eżekuzzjonijiet preċedenti. Inkella, tista’ tħeġġeġ l-esplorazzjoni billi tieħu kampjuni minn distribuzzjoni li tiffavorixxi strateġiji b’valutazzjoni għolja, iżda kultant tinkludi oħrajn b’valutazzjoni aktar baxxa. Dan huwa partikolarment utli meta tkun għadek qed tibda tiġbor l-istrateġiji.
Għal sistemi mfassla biex jindirizzaw settijiet differenti ta’ problemi, ikkunsidra li żżid saff ta’ klassifikazzjoni jew tuża embeddings u similarità tal-kosinu—l-istess tekniki li normalment jintużaw fir-RAG—biex tidentifika approċċi rilevanti. Dan jgħinek tagħżel strateġiji adattati għall-problema speċifika—pereżempju, strateġiji mfassla għal kompiti tal-ipprogrammar.
Nota: L-embeddings użati mas-similarità tal-kosinu jippermettulna nkejlu kemm żewġ biċċiet ta’ informazzjoni huma relatati mill-qrib, u b’hekk ikun aktar faċli li nqabbdu dokumenti, mistoqsijiet jew ideat anke meta l-kliem eżatt tagħhom ikun differenti.
Eżempju ta’ punt tat-tluq għal maħżen issimplifikat ta’ strateġiji biex jiġu indirizzati problemi tal-ipprogrammar.
Nota: L-«istrateġiji inizjali» murija hawn huma illustrattivi. F’xenarji reali tal-ipprogrammar, nirfinawhom aktar. Problemi kummerċjali speċjalizzati jkunu jeħtieġu li jinġabar aktar għarfien maż-żmien.
Generation_id (ordni bil-maqlub) | Suġġett | Punteġġ | Strategy_text | Spjegazzjoni |
|---|---|---|---|---|
4 | ipprogrammar | 1 | Ifhem il-problema, ir-restrizzjonijiet u l-każijiet estremi. Fassal algoritmu bl-istrutturi tad-data xierqa. Ivvalida l-pjan permezz ta’ eżempji u invarjanti. Implimenta kodiċi nadif u li jinqara faċilment. Irfina permezz tar-rifatturazzjoni, l-ottimizzazzjoni u l-ifformattjar finali. Użu tal-għodod: Meta tuża għodda, spjega fil-qosor għaliex kienet meħtieġa. | Tinkorpora u tgħaqqad l-aqwa elementi mit-tliet strateġiji t’hawn taħt. |
3 | ipprogrammar | 1 | Ifhem il-problema, ir-restrizzjonijiet u l-każijiet estremi. Fassal algoritmu bl-istrutturi tad-data xierqa. Ivvalida l-pjan permezz ta’ eżempji u invarjanti. Implimenta kodiċi nadif u li jinqara faċilment. Irfina permezz tar-rifatturazzjoni, l-ottimizzazzjoni u l-ifformattjar finali. | Strateġija aktar komprensiva, iżda ma tinkludi l-ebda gwida dwar l-użu tal-għodod. |
2 | ipprogrammar | -1 | Ifhem il-problema, ir-restrizzjonijiet u l-każijiet estremi. Fassal algoritmu bid-data xierqa. Implimenta kodiċi nadif u li jinqara faċilment. Użu tal-għodod: meta taċċessa l-għodod, ipprovdi sommarju qasir ta’ għaliex użajt dik l-għodda. | Strateġija aħjar li ssemmi l-użu tal-għodod, iżda xorta tista’ titjieb. |
1 | ipprogrammar | -1 | Agħti daqqa t’għajn lill-problema. Solvi l-problema. Oħloq testijiet minimi. Issottometti kulma jaħdem. | Issemmi t-testijiet, iżda b’mod ġenerali hija strateġija dgħajfa. |
3. Wara li tieħu kampjun ta’ N, inkorporahom fil-prompt tas-sistema. Dan isejjes il-ġenerazzjoni tal-pjanijiet fuq feedback preċedenti minn esperti, minflok iħalli lill-mudell joħloq pjanijiet bi ftit gwida. Ħeġġeġ lill-mudell «jaħseb b’mod kreattiv» u jżid passi meta jkun meħtieġ, minflok sempliċement jikkopja l-istrateġiji tal-kampjun kelma b’kelma.
4. Bil-prompt tas-sistema maħluq b’mod dinamiku, iġġenera strateġija ġdida biex tindirizza t-talba tal-utent. Dan il-proċess għandu jipproduċi kompiti addizzjonali li jtejbu l-output finali. L-għan huwa l-kreattività: għaqqad l-aqwa elementi tal-istrateġiji preċedenti, ikkonsolida l-passi li jikkoinċidu u żid passi ġodda utli fejn meħtieġ.
Nota: Ftakar li t-temperatura hija parametru li jista’ jiġi aġġustat biex jipproduċi outputs aktar varjati u inqas deterministiċi, li jkun utli meta tkun mixtieqa l-kreattività. B’temperatura differenti minn żero, kull pjan iġġenerat jista’ jkun differenti.
5. Wara li tirċievi l-output tal-mudell, evalwah permezz ta’ evalwatur uman jew ġudikatur LLM, abbażi ta’ kriterji speċifiċi li jiddefinixxu soluzzjoni tajba għall-problema tiegħek. Għall-eżempju tal-attivitajiet fil-Portugall imsemmi qabel, il-kriterji ta’ evalwazzjoni jistgħu jinkludu:
Konċiżjoni (tweġiba limitata għal sentenza waħda)
Rilevanza tal-attività ssuġġerita
Preċiżjoni tal-post
6. Abbażi ta’ din l-evalwazzjoni, uża mudell ieħor biex tirfina l-istrateġija. Ċiklu fakultattiv ta’ feedback jista’ jinkorpora l-kontribut tal-bniedem u jappoġġja titjib kollaborattiv. Aħżen l-istrateġija rfinata fil-bażi tad-data tiegħek b’metadata xierqa biex issegwi l-verżjonijiet u l-bidliet.
Allura għaliex għandek tgħaddi minn dan kollu? Tista’ tirrevedi l-outputs manwalment u taġġusta l-prompt tas-sistema kif meħtieġ. Madankollu, mudelli b’kapaċitajiet qawwija ta’ raġunament jistgħu jirfinaw l-istrateġiji billi jużaw kemm il-kuntest tal-output kif ukoll il-feedback tal-bniedem. Għalkemm il-bnedmin jistgħu faċilment jindunaw b’nuqqasijiet f’approċċi sempliċi, f’sistemi kumplessi li jindirizzaw firxa usa’ ta’ problemi dan isir diffiċli u tedjanti.
L-LLMs spiss jeħtieġu struzzjonijiet dettaljati u passi addizzjonali biex jiġbru l-għarfien kuntestwali li l-bnedmin iġibu magħhom b’mod naturali meta jindirizzaw problema. L-għadd ta’ kompiti meħtieġa jista’ jikber malajr hekk kif sistema tespandi biex tindirizza firxa usa’ ta’ problemi. Pereżempju, il-bnedmin li jindirizzaw problemi tal-ipprogrammar jistgħu jifhmu l-bażi tal-kodiċi tal-madwar b’mod intuwittiv, filwaqt li LLM jista’ l-ewwel ikollu bżonn «jaqra» diversi fajls.
Meta jgħin: Immaġina li tmexxi tim tal-appoġġ għall-klijenti u aġent tal-IA jieħu ħsieb it-trijaġġ tal-biljetti. Maż-żmien, l-SPL jista’ jiskopri metodu ta’ kategorizzazzjoni li t-tim tiegħek ma kienx ikkunsidra, u b’hekk inaqqas ir-rati ta’ eskalazzjoni.
Meta ma jgħinx: Jekk ir-rekwiżiti ta’ konformità jew ir-regolamenti diġà jiddefinixxu l-flussi tax-xogħol tiegħek, bħar-rappurtar finanzjarju, l-SPL jista’ jkun ta’ ftit valur għax il-kreattività ssir piż aktar milli vantaġġ.
Meta jgħin: Fi rwoli li jirrikjedu ħafna riċerka, bħall-intelliġenza tas-suq jew l-istrateġija tal-prodott, tista’ tikkollabora mal-IA billi tirfina l-pjanijiet tagħha, tarrikkixxi l-output tagħha u tinkorpora dan it-titjib għall-użu futur. Kull interazzjoni ttejjeb l-effettività tas-sistema.
Meta ma jgħinx: Jekk it-tim tiegħek juża l-IA l-aktar għal flussi tax-xogħol sempliċi fejn il-kontribut tal-bniedem huwa minimu, bħall-ipproċessar tal-fatturi, l-isforz tal-kollaborazzjoni jista’ jkun akbar mill-benefiċċju.
Meta jgħin: Ejja ngħidu li tespandi f’reġjun ġdid u l-IA f’daqqa waħda jkollha tittratta mistoqsijiet dwar it-taxxi lokali. L-SPL jippermettilek tinkorpora malajr regoli u euristiċi ġodda hekk kif jitfaċċaw, biex tevita żbalji ripetuti.
Meta ma jgħinx: Jekk l-ambjent tiegħek huwa statiku, bħal meta tittrasforma traskrizzjonijiet ta’ laqgħat f’sommarji standardizzati, l-adattament kontinwu joffri ftit li xejn benefiċċji.
Fit-teorija, dan kollu jidher promettenti, iżda l-implimentazzjoni tal-SPL iġġib magħha sfidi reali. Hawn taħt niddiskutu wħud mill-ewlenin:
Fl-istadji bikrija tal-ġenerazzjoni tal-istrateġiji, il-progress spiss jistaġna: outputs ġodda ma jibnux fuq dawk ta’ qabel u r-ritmu jonqos. Dan normalment jiġri minħabba żewġ problemi ewlenin:
Soluzzjoni: Inkorpora l-għarfien kummerċjali kollu disponibbli mill-bidu biex is-sistema jkollha bażi profonda minn fejn tislet.
Soluzzjoni: Fassal rubrika dettaljata li tivvaluta diversi aspetti ta’ tweġiba, bħall-preċiżjoni, iċ-ċarezza u r-rilevanza, u aġġusta l-kampjunar tiegħek biex jirrifletti dawn is-sinjali.
Jekk is-sistema tiegħek tiġġenera mijiet ta’ strateġiji iżda tirċievi ftit feedback biex tiddistingwi t-tajbin mill-ħżiena, il-kampjunar malajr isir diffiċli biex jiġi mmaniġġjat. Is-soluzzjoni hija ż-żbir.
Meta tirfina l-maħżen tal-istrateġiji tiegħek, ikkunsidra:
Ħajja utli: Irtira l-istrateġiji ladarba jaqbżu perjodu ta’ żmien jew għadd ta’ ġenerazzjonijiet definit.
Punteġġ: Uża r-rubrika tal-evalwazzjoni tiegħek biex telimina strateġiji li b’mod konsistenti jagħtu riżultati dgħajfa. Meta tgħaqqad dan mal-ħajja utli, tiżgura li żżomm biss l-approċċi li maż-żmien juru l-valur tagħhom.
Ġudizzju minn LLM: Ivvaluta l-istrateġiji perjodikament biex tidentifika dawk li m’għadhomx iżidu għarfien uniku, peress li l-elementi utli tagħhom aktarx diġà ġew inkorporati f’verżjonijiet aktar ġodda.
Soluzzjoni: Ittratta l-bażi tad-data tal-istrateġiji tiegħek bħala sistema ħajja: iżborha regolarment biex jibqa’ biss għarfien rilevanti u ta’ valur għoli.
It-tagħlim tal-prompt tas-sistema għadu fil-bidu tiegħu, iżda l-potenzjal tiegħu huwa enormi. In-negozji li jiddependu biss fuq prompts statiċi jew irfinar bla tmiem se jiltaqgħu ma’ limitazzjonijiet familjari: sistemi fraġli, spejjeż dejjem jiżdiedu u sforz moħli. L-SPL joffri mod kif toħroġ minn dan iċ-ċiklu billi tibni sistemi li jitjiebu maż-żmien u jinkorporaw prinċipji ta’ livell ogħla minflok soluzzjonijiet iżolati.
L-SPL għadu qed jevolvi, iżda d-direzzjoni tiegħu hija ċara: sistemi li jistgħu jitgħallmu minnhom infushom se javvanzaw aktar malajr minn dawk li ma jistgħux. Issa huwa ż-żmien li tesperimenta, tibda fuq skala żgħira, tiġbor it-tagħlimiet u tibni l-pedamenti għal sistemi tal-IA li jitjiebu ma’ kull interazzjoni.