Kas olete märganud, et mõni viip toimib hästi, kuid lakkab siis äkitselt töötamast?
Kas olete jäänud lõputult oma süsteemiviipa lappima ja tulemusi parandama, kuid miski ei näi toimivat?
Süsteemiviiba õppimine võib olla just see, mida vajate.
Süsteemiviiba õppimine (SPL) on tehisintellekti kogukonnas esile kerkiv huviala, mida Andrej Karpathy mais X-is laialdaselt populariseeris.
Süsteemiviiba õppimine aitab ületada staatilistele süsteemiviipadele või kohmakatele peenhäälestuslahendustele tuginevate jäikade ja haprate tehisintellektisüsteemide piiranguid. See pakub veel üht võimalust toetada tehisintellektisüsteemide pidevat õppimist.
Enne süvenemist vaatame lühidalt üle viipade koostamise põhitõed.
Agendi või kohandatud mudeli arendamisel tuleb esmalt kavandada kaks põhikomponenti:
Süsteemiviip
Kasutajaviip
Süsteemiviibad kehtestavad mudeli käitumise põhireeglid. Kohandatud tehisintellektilahenduste puhul algavad need sageli umbes nii:
“You are an intelligent assistant. Your role is to perform <insert task here>.
You must not do (A), (B), or (C).”
Seevastu sisaldavad kasutajaviibad tavaliselt kasutaja päringut ja muud asjakohast teavet, näiteks tema ajavööndit ja eelistusi. Kasutajaviip võib välja näha nii:
I’m in the capital city of Portugal. Can you suggest some things I can do tonight?
Pärast suurte tehisintellektilaborite uute mudelite väljalaskeid on süsteemiviipade lekked muutunud tavaliseks, sest kasutajad rakendavad vestlusrobotitele jailbreak’i, et nende aluseks olevaid juhiseid paljastada. Populaarne GitHubi varamu koondab nüüd paljud neist süsteemiviipadest ühte kohta. Need paljastavad „salajase retsepti“, mille tehisintellektilaborid on aja jooksul sobiva mudelikäitumise soodustamiseks välja töötanud. Näiteks sisaldab hiljuti lekkinud GPT-5 süsteemiviip (mis avaldati ChatGPT kaudu) ligikaudu 6000 sõna. See näitab, kui palju teadmisi ja juhiseid tuleb süsteemi käitumise kujundamiseks talletada.
Sellised põhjalikud süsteemiviibad hõlmavad tavaliselt mitut põhivaldkonda, näiteks:
Otsingujuhised
Tööriistade määratlused
Kasutaja eelistused
Viitamisjuhised
Teadaolevate probleemide kiirparandused
Praktikas lapivad kohandatud tehisintellektisüsteemide arendajad rakendusi katsetades ja täiustades süsteemiviipu käsitsi. Parendusprotsessi suunavad eeskätt hindamised.
Mudeli käitumist saab suunata ka järgmistel viisidel:
Viiba tehnoloogia, sealhulgas otsinguga täiendatud genereerimine (RAG), mis juhib mudelile antavat sisu
Peenhäälestamine (mudeli aluseks olevate kaalude otsene muutmine)
Mis oleks, kui mudeli käitumist saaks mõjutada veel ühel viisil? Kujutlege süsteemi, mis õpib dünaamiliselt ning täiustab enda süsteemiviipa varem loodud mõtete, plaanide ja strateegiate põhjal. See võiks oma väljundite hindamisel tugineda nii kasutajate tagasisidele kui ka LLM-kohtuniku hinnangutele.
Mõelge püsivale äriprobleemile, mida soovite agendipõhise süsteemi abil automatiseerida. Tõhusad lahendused nõuavad arutlusvõimet, mis ulatub lihtsast töövoo automatiseerimisest kaugemale. Sellistel juhtudel on hädavajalik lisada tehisintellektisüsteemi plaanide loomise komponent. See võimaldab süsteemil olenevalt ülesandest eri agentidega erineval viisil töötada. Üksikud sammud võivad sisaldada juhiseid teiste agentide kasutamiseks alamülesannete täitmisel või tööriistade kasutamiseks.
Märkus. Agendi tööriist on mis tahes väline funktsioon, API või ressurss, mida tehisintellektiagent saab tekstitöötlusest kaugemale minemiseks ja tegelike toimingute tegemiseks kasutada.
Võite mudeli süsteemiviiba „eeltäita“ plaaniga, mis järgib inimese loogilisi samme, kuigi LLM-id vajavad tavaliselt täpsemaid juhiseid tööriistade kasutamise, väljundi vormingu ja muude nõuete kohta. Mõnikord ei pruugi parim strateegia olla selge või tegelete probleemiga, mida pole uuesti hinnatud, sest seda peeti varem lahendatuks. Siin tulebki mängu süsteemiviiba õppimine (SPL).
SPL täiustab süsteemiviipa samm-sammult, lisades sellesse varem loodud strateegiaid. Uute probleemide tekkides kogub süsteem järk-järgult teadmisi ja muutub töökindlamaks. Mõelge sellest kui oma valdkonna probleemide lahendamise käsiraamatu koostamisest.
SPL lisab kasutajate tagasisidest saadud teadmisi järk-järgult süsteemiviipa. Süsteemi arenedes võite avastada korduvaid probleeme, millest saab tuletada üldisemad ja kõrgema taseme põhimõtted.
Vaatame lähemalt ja samm-sammult, kuidas protsess toimib:
Alustage kasutaja päringust, paludes süsteemil täita konkreetne ülesanne.
Kui teie süsteem lahendab ainult üht probleemi, võite kasutada „ahnet“ lähenemisviisi ja valida varasematest käitustest kõrgeima hindega strateegiad. Teise võimalusena saate soodustada avastamist, moodustades valimi jaotusest, mis eelistab kõrgelt hinnatud strateegiaid, kuid kaasab aeg-ajalt ka madalama hindega strateegiaid. See on eriti kasulik siis, kui alles alustate strateegiate kogumist.
Mitmekesiste probleemistike lahendamiseks loodud süsteemides kaaluge liigituskihi lisamist või kasutage sobivate lähenemisviiside leidmiseks manuseid ja koosinussarnasust (samu meetodeid kasutatakse tavaliselt RAG-is). See aitab valida konkreetse probleemi jaoks sobivaid strateegiaid, näiteks programmeerimisülesannetele kohandatud lähenemisviise.
Märkus. Manused koos koosinussarnasusega võimaldavad mõõta, kui tihedalt kaks infokildu omavahel seostuvad. Nii on dokumente, päringuid või ideid lihtsam sobitada isegi siis, kui nende sõnastus erineb.
Lihtsustatud strateegiahoidla näidislähtekoht programmeerimisülesannete lahendamiseks.
Märkus. Siin näidatud „algstrateegiad“ on illustratiivsed. Tegelikes programmeerimisolukordades täiustaksime neid veelgi. Kitsa valdkonna äriprobleemide lahendamiseks tuleks aja jooksul lisateadmisi koguda.
Generation_id (vastupidises järjekorras) | Teema | Hinne | Strategy_text | Selgitus |
|---|---|---|---|---|
4 | programmeerimine | 1 | Mõistke probleemi, piiranguid ja erijuhte. Kavandage sobivate andmestruktuuridega algoritm. Kontrollige plaani näidete ja invariantide põhjal. Kirjutage puhas ja loetav kood. Täiustage tulemust refaktoreerimise, optimeerimise ja lõpliku vormindamisega. Tööriista kasutamine. Tööriista kasutades selgitage lühidalt, miks seda vaja oli. | Ühendab alloleva kolme strateegia parimad osad. |
3 | programmeerimine | 1 | Mõistke probleemi, piiranguid ja erijuhte. Kavandage sobivate andmestruktuuridega algoritm. Kontrollige plaani näidete ja invariantide põhjal. Kirjutage puhas ja loetav kood. Täiustage tulemust refaktoreerimise, optimeerimise ja lõpliku vormindamisega. | Mitmekülgsem strateegia, kuid selles puuduvad tööriistade kasutamise juhised. |
2 | programmeerimine | -1 | Mõistke probleemi, piiranguid ja erijuhte. Kavandage sobivate andmetega algoritm. Kirjutage puhas ja loetav kood. Tööriista kasutamine: tööriistu kasutades tehke lühike kokkuvõte sellest, miks te seda tööriista kasutasite. | Parem strateegia, mis mainib tööriistade kasutamist, kuid mida saaks siiski täiustada. |
1 | programmeerimine | -1 | Sirvige probleem üle. Lahendage probleem. Looge minimaalsed testid. Esitage mis tahes töötav lahendus. | Mainib teste, kuid on üldiselt nõrk strateegia. |
3. Pärast N strateegia valimist lisage need süsteemiviipa. Nii põhineb plaanide loomine varasemal ekspertide tagasisidel, selle asemel et mudel peaks plaane koostama väheste juhiste põhjal. Julgustage mudelit „raamidest välja mõtlema“ ja vajaduse korral samme lisama, mitte näidisstrateegiaid lihtsalt sõna-sõnalt kopeerima.
4. Koostage dünaamiliselt loodud süsteemiviiba abil kasutaja taotluse lahendamiseks uus strateegia. See protsess peaks looma lisaülesandeid, mis parandavad lõpptulemust. Eesmärk on loovus: ühendage varasemate strateegiate parimad osad, koondage kattuvad sammud ja lisage vajaduse korral uusi kasulikke samme.
Märkus. Pidage meeles, et temperatuur on parameeter, mida saab kohandada mitmekesisemate ja vähem deterministlike väljundite loomiseks. See on kasulik, kui soovitakse loovust. Nullist erineva temperatuuri korral võib iga loodud plaan olla erinev.
5. Pärast mudeli väljundi saamist laske inimesel või LLM-kohtunikul seda hinnata konkreetsete kriteeriumide alusel, mis määratlevad teie probleemi hea lahenduse. Varem mainitud Portugali tegevuste näite hindamiskriteeriumid võiksid olla järgmised:
Lühidus (vastus piirdub ühe lausega)
Soovitatud tegevuse asjakohasus
Asukoha täpsus
6. Täiustage strateegiat selle hinnangu põhjal teise mudeli abil. Soovi korral võib tagasisideahel kaasata inimeste arvamusi ja toetada ühist täiustamist. Salvestage täiustatud strateegia koos sobivate metaandmetega andmebaasi, et jälgida versioone ja muudatusi.
Miks kogu see vaev siis vajalik on? Võiksite väljundid käsitsi üle vaadata ja süsteemiviipa vastavalt kohandada. Võimekad arutlusmudelid suudavad aga strateegiaid täiustada nii väljundi konteksti kui ka inimeste tagasiside põhjal. Inimesed märkavad lihtsate lähenemisviiside puudusi hõlpsasti, kuid laiemat probleemistikku käsitlevates keerukates süsteemides on nende leidmine raske ja tüütu.
LLM-id vajavad sageli üksikasjalikke juhiseid ja lisasamme, et koguda kontekstiteadmisi, mida inimesed probleemi lahendamisel loomulikult rakendavad. Vajalike ülesannete arv võib kiiresti kasvada, kui süsteem laieneb mitmekesisemaid probleeme lahendama. Näiteks võivad inimesed programmeerimisülesande puhul ümbritsevast koodibaasist vaistlikult aru saada, kuid LLM peab esmalt mitu faili „läbi lugema“.
Millal sellest abi on? Oletame, et juhite klienditoe meeskonda ja tehisintellektiagent tegeleb pöördumiste esialgse jaotamisega. Aja jooksul võib SPL avastada liigitamismeetodi, millele teie meeskond polnud mõelnud, ja vähendada seeläbi eskaleerimiste arvu.
Millal sellest abi pole? Kui vastavusnõuded või õigusaktid juba määravad teie töövood, näiteks finantsaruandluses, võib SPL-ist vähe kasu olla, sest loovus muutub eelise asemel riskiks.
Millal sellest abi on? Mahukat uurimistööd nõudvates rollides, näiteks turuteabe või tootestrateegia valdkonnas, saate tehisintellektiga koostööd teha, täiustades selle plaane ja väljundeid ning säilitades parandused edaspidiseks. Iga suhtlus muudab süsteemi tõhusamaks.
Millal sellest abi pole? Kui teie meeskond kasutab tehisintellekti peamiselt lihtsates töövoogudes, kus inimese panus on vähene (nt arvete töötlemisel), võib koostööle kuluv vaev kasu üles kaaluda.
Millal sellest abi on? Oletame, et laienete uude piirkonda ja tehisintellekt peab äkitselt hakkama tegelema kohalike maksuküsimustega. SPL võimaldab uued reeglid ja heuristikad nende tekkimisel kiiresti talletada ning vältida korduvaid vigu.
Millal sellest abi pole? Kui teie keskkond on muutumatu, näiteks kui koosolekute transkriptsioonid teisendatakse standardvormis kokkuvõteteks, annab pidev kohanemine vähe kasu.
Teoorias kõlab see kõik paljulubavalt, kuid SPL-i rakendamisega kaasnevad tõelised raskused. Allpool käsitleme neist olulisemaid.
Strateegiate loomise algfaasis takerdub areng sageli: uued väljundid ei tugine varasematele ja edasiminek aeglustub. Seda põhjustavad tavaliselt kaks põhiprobleemi:
Lahendus. Talletage kohe alguses kõik olemasolevad äriteadmised, et süsteemil oleks piisavalt sisulist materjali, millele tugineda.
Lahendus. Koostage nüansirikas hindamisjuhend, mis hindab vastuse mitut aspekti, näiteks täpsust, selgust ja asjakohasust, ning kohandage valimi moodustamist nende signaalide järgi.
Kui süsteem loob sadu strateegiaid, kuid saab heade ja halbade eristamiseks vähe tagasisidet, muutub valimi moodustamine kiiresti hallamatuks. Lahendus on kärpimine.
Strateegiate hoidla täiustamisel arvestage järgmist:
Eluiga. Kõrvaldage strateegiad, kui need ületavad kindlaksmääratud ajavahemiku või põlvkondade arvu.
Hinne. Kasutage hindamisjuhendit, et järjepidevalt kehvade tulemustega strateegiad välja filtreerida. Koos eluea arvestamisega tagab see, et säilitate ainult lähenemisviisid, mis tõestavad aja jooksul oma väärtust.
LLM-i hinnang. Hinnake strateegiaid korrapäraselt, et leida need, mis ei lisa enam ainulaadseid teadmisi, sest nende kasulikud osad on tõenäoliselt juba uuematesse versioonidesse üle võetud.
Lahendus. Käsitage strateegiate andmebaasi elava süsteemina: kärpige seda korrapäraselt, et alles jääksid ainult asjakohased ja väärtuslikud teadmised.
Süsteemiviiba õppimine on alles lapsekingades, kuid selle potentsiaal on tohutu. Ettevõtted, mis tuginevad ainult staatilistele viipadele või lõputule peenhäälestamisele, puutuvad kokku tuttavate piirangutega: haprad süsteemid, kasvavad kulud ja raisatud töö. SPL pakub sellest ringist väljapääsu, luues süsteeme, mis aja jooksul paranevad ja talletavad üksikute paikade asemel kõrgema taseme põhimõtteid.
SPL on alles kujunemas, kuid suund on selge: süsteemid, mis suudavad iseendalt õppida, edestavad neid, mis seda ei suuda. Praegu on õige aeg katsetada, alustada väikeselt, õppetunnid talletada ja rajada alus tehisintellektisüsteemidele, mis paranevad iga suhtlusega.