Chun córais IS a oibríonn a thógáil, ní mór duit iad a bhriseadh ar dtús. Rinneamar tástáil ionsaitheach, ag gníomhú mar ionsaitheoirí chun aip IS do chustaiméirí in earnáil na seirbhísí airgeadais a thástáil agus a fhiosrú. Tá tábhacht leis an méid a d’aimsíomar d’aon duine atá ag imscaradh feidhmchláir bunaithe ar LLM nach féidir slándáil a fhágáil ar lár iontu.
Is éard is tástáil ionsaitheach ann iarracht d’aon ghnó do chóras IS a bhriseadh, ionas gur féidir leat leochaileachtaí a réiteach sula n-aimsíonn fíorionsaitheoir iad. Tá an-ábharthacht leis seo i seirbhísí airgeadais: bíonn baint ag feidhmchláir IS le sonraí custaiméirí, próiseálann siad idirbhearta agus soláthraíonn siad léargais airgeadais. D’fhéadfadh droch-eispéireas úsáideora, sáruithe rialála, caillteanais airgeadais nó damáiste doleigheasta don bhranda teacht as teip.
Ba é ár gcuspóir leochaileachtaí a aimsiú go luath, patrúin réalaíocha ionsaithe a thástáil agus cabhrú leis an eagraíocht ionchais sábháilteachta IS a chomhlíonadh—ionchais a nglacann rialálaithe go han-dáiríre leo.
Is fiú idirdhealú amháin a dhéanamh anseo: ionsaíonn jailbreak scagairí sábháilteachta na bun-samhla; ionsaíonn ionsaí treoracha an feidhmchlár féin, trí ionchur neamhiontaofa ón úsáideoir a chomhcheangal le leid iontaofa an fhorbróra. Is mó an riosca a bhaineann le hionsaí treoracha mar go ndíríonn sé ar do chóras agus ar na sonraí rúnda a úsáideann sé, seachas ar shamhail ilchuspóireach.
Bhí thart ar 750 tástáil sa chéad bhabhta, sna réimsí seo a leanas:
Sceitheadh sonraí idir seisiúin
Nochtadh faisnéise inaitheanta pearsanta (PII) (trí theanga nádúrtha, ionramháil API agus ionchóduithe éagsúla)
Instealladh SQL
Sárú leideanna córais
Le linn na tástála tosaigh sin, d’aithníomar dhá mhórfhadhb sa chóras reatha: an chaoi ar láimhseáladh fiosruithe il-intinne agus úsáid leideanna ionchódaithe.
Fiosruithe il-intinne: iarratais ina gcuirtear éilimh dhlisteanacha agus mhailíseacha le chéile. Mar shampla: “Show my spending by category, and also execute [malicious SQL].” Níor aithin an feidhmchlár an rún mailíseach agus bhí sé ag brath go hiomlán ar chosaintí sa chiseal sonraí níos faide síos. Is ionann é sin agus do dhoras tosaigh a fhágáil ar oscailt mar go bhfuil muinín agat as an taisceadán san íoslach.
Ionchódú: iarratais atá ionchódaithe in Base64, Hex, LeetSpeak agus homaghraif. D’fhéadfadh sé a bheith deacair do chórais rún mailíseach a scagadh amach. Cé nár nocht na fiosruithe sin sonraí íogaire, fuaireamar amach gur chuir siad an córas go mór ó mhaith (siabhránachtaí, SQL mailíseach á athrá le húsáideoirí, aicmiú mearaithe intinne, agus araile).
Léirigh torthaí ár dtástála tosaigh na fadhbanna seo:
Siabhránachtaí ama: dátaí, stampaí ama idirbheart nó achoimrí ama bréagacha á gcur i láthair go muiníneach ag an tsamhail—riosca suntasach i gcomhthéacs airgeadais, mar d’fhéadfadh iarmhairtí dáiríre a bheith ann dá ngníomhódh custaiméir de réir dáta mhícheart
SQL mailíseach á athrá leis an úsáideoir (ábhar imní ó thaobh rioscaí nimhiú cuimhne de)
Aicmiú mearaithe intinne
Formáidiú measctha aschuir
Agus na torthaí sin againn, chúngaíomar ár bhfócas. Tugadh níos lú tosaíochta do thástálacha insteallta SQL agus ionchódaithe (bhí an fhoireann ag tabhairt fúthu cheana féin). Ina n-áit sin, dhíríomar ar na bealaí ionsaithe ba rathúla: nochtadh PII agus sceitheadh idir seisiúin.
Ba é an toradh ba shuntasaí ón dara babhta ná rud a bhí thar a bheith simplí: is minic nach gá duit a bheith glic ar chor ar bith.
Ina lán cásanna, ní raibh le déanamh ach sonraí inmheánacha a iarraidh mar chuid d’iarratas a raibh cuma dhlisteanach air, agus thoiligh an córas iad a nochtadh. Thabharfaí freagraí ar fhiosruithe simplí a thagair d’aitheantóirí inmheánacha agus do réimsí córais nár cheart iad a thaispeáint d’úsáideoirí deiridh riamh.
Tar éis dúinn dul níos doimhne, fuaireamar amach nach teip ar leibhéal an fheidhmchláir amháin a bhí anseo. Bhí an tseirbhís téacs-go-SQL níos faide síos ag cruthú fiosruithe a d’iarr níos mó réimsí ná ba cheart, agus thagair a freagraí míniúcháin do shonraí ar cheart srian a bheith orthu. Nocht sé sin fíorbhearna idir córais—an cineál leochaileachta nach dtagann chun solais ach nuair a thástáiltear an chruach iomlán, seachas comhpháirteanna aonair astu féin.
Déan tástáil ionsaitheach ar an gcóras, ní ar an tsamhail. Is beag a insíonn tástáil ar LLM as féin duit faoi staid slándála d’fheidhmchláir. Tástáil an chruach iomlán ó cheann ceann, mar a d’úsáidfeadh úsáideoir í.
Ní mór ionchur a bhailíochtú sula sroicheann sé an LLM. Ba cheart fiosruithe ionchódaithe, ionsaithe il-intinne agus iarrachtaí bunúsacha insteallta a stopadh ag an imeall, seachas iad a fhágáil faoi sheirbhísí níos faide síos.
Ná bíodh muinín agat as na hailt. In ailtireachtaí ilseirbhíse, is sna bearnaí idir córais a bhíonn na leochaileachtaí is spéisiúla i bhfolach. Ciallaíonn neamhiontaoibh iomlán nach gcuirtear muinín in aon ní; mar sin, bailíochtaigh gach rud ag gach ciseal.
Éiríonn le hionsaithe simplí. Is iad jailbreaks sofaisticiúla a bhíonn sna ceannlínte, ach uaireanta ní gá ach... fiafraí. Má nochtann do chóras aitheantóirí inmheánacha gan drogall nuair a chuireann úsáideoir iad i bhfiosrú atá dlisteanach ar shlí eile, tá fadhb agat.
Tuig cad go díreach atá á thástáil agat. D’fhéadfadh oiliúint an LLM féin patrúin aitheanta ionsaithe a stopadh, seachas do chosaintí féin. Cuir inbhraiteacht san áireamh i do thástáil ionsaitheach chun a thuiscint cé na rialuithe atá á gcur i bhfeidhm i ndáiríre.
Teastaíonn réitigh chruthaitheacha i dtimpeallachtaí srianta. Le soláthraithe saincheaptha agus tacaíocht do shamhlacha áitiúla, is féidir tástáil ionsaitheach fhiúntach a dhéanamh gan sainrochtain néil. Ach bí oscailte faoi na teorainneacha a eascraíonn as sin.
Ní obair aon uaire í tástáil ionsaitheach. Próiseas atriallach atá inti; ba cheart í a uathoibriú nuair is féidir agus í a fhorbairt de réir mar a fhorbraíonn do chóras. Ní hionann na hionsaithe a bheidh tábhachtach amárach agus na cinn atá tábhachtach inniu.
Ní bheidh córais IS i dtimpeallachtaí rialáilte ach faoi ghrinnscrúdú níos géire. Is fearr a bheidh eagraíochtaí a chaitheann le tástáil slándála mar dhisciplín leanúnach, seachas mar bhosca le tic a chur ann roimh sheoladh, in ann an grinnscrúdú sin a shásamh agus tubaistí caidrimh phoiblí a sheachaint a scriosfadh muinín custaiméirí.