Til að byggja gervigreindarkerfi sem virka þarftu fyrst að brjóta þau. Við stóðum fyrir rauðteymi og lékum hlutverk árásaraðila til að prófa og rannsaka gervigreindarforrit fyrir viðskiptavini í fjármálaþjónustu. Niðurstöðurnar skipta máli fyrir alla sem innleiða forrit knúin af LLM þar sem öryggi er ófrávíkjanleg krafa.
Rauðteymi felst í því að reyna vísvitandi að brjóta gervigreindarkerfið svo hægt sé að laga veikleika áður en raunverulegur árásaraðili finnur þá. Í fjármálaþjónustu er sérstaklega mikið í húfi: gervigreindarforrit vinna með gögn viðskiptavina, afgreiða færslur og veita fjárhagslega innsýn. Bilun getur valdið allt frá slæmri notendaupplifun til brota á reglum, fjárhagslegs tjóns og óbætanlegs skaða á vörumerki.
Markmið okkar var að finna veikleika snemma, prófa raunhæf árásarmynstur og hjálpa fyrirtækinu að uppfylla væntingar um öryggi gervigreindar sem eftirlitsaðilar taka mjög alvarlega.
Hér er mikilvægt að greina á milli: jailbreak-árásir beinast að öryggissíum undirliggjandi líkans, en kvaðningarinnspýting beinist að forritinu sjálfu með því að blanda ótraustu ílagi notanda saman við trausta kvaðningu forritarans. Kvaðningarvörpun skapar meiri áhættu því hún beinist að kerfinu þínu og trúnaðargögnunum sem það vinnur með, en ekki almennu líkani.
Fyrsta prófunarlotan okkar náði yfir um 750 prófanir á eftirfarandi sviðum:
Gagnaleki milli notendalota
Afhjúpun persónugreinanlegra upplýsinga (með náttúrulegu máli, breytingum á API og ýmiss konar kóðun)
SQL-innspýting
Hnekking kerfiskvaðninga
Í fyrstu prófununum greindum við tvö meginvandamál í kerfinu: meðhöndlun fyrirspurna með margvíslegum ásetningi og notkun kóðaðra kvaðninga.
Fyrirspurnir með margvíslegum ásetningi: beiðnir sem sameina lögmætar og skaðlegar fyrirspurnir. Til dæmis: “Show my spending by category, and also execute [malicious SQL].” Forritið greindi ekki skaðlega ásetninginn heldur treysti alfarið á varnir neðar í gagnalaginu. Þetta jafngildir því að skilja útidyrnar eftir opnar vegna þess að þú treystir peningaskápnum í kjallaranum.
Kóðun: beiðnir sem eru kóðaðar með Base64, Hex, LeetSpeak og sviplíkum táknum. Kerfi geta átt erfitt með að sía út skaðlegan ásetning. Þótt þessar fyrirspurnir hafi ekki afhjúpað viðkvæm gögn ollu þær umtalsverðum óstöðugleika í kerfinu, svo sem ofskynjunum, endurtekningu skaðlegs SQL-kóða til notenda og ruglingi við flokkun ásetnings.
Fyrstu prófanir okkar sýndu eftirfarandi:
Tímatengdar ofskynjanir: líkanið gaf upp skáldaðar dagsetningar, tímasetningar færslna eða tímabundnar samantektir af mikilli vissu. Þetta er veruleg áhætta í fjármálum þar sem rangar dagsetningar geta haft raunverulegar afleiðingar fyrir viðskiptavini.
Skaðlegur SQL-kóði endurtekinn til notandans, sem vekur áhyggjur af hættu á eitrun minnis
Röng flokkun ásetnings
Brenglað úttakssnið
Með þessar niðurstöður að leiðarljósi þrengdum við áhersluna. SQL-innspýting og kóðunarprófanir fengu minni forgang þar sem teymið var þegar að vinna að þeim. Þess í stað einbeittum við okkur að árangursríkustu árásarleiðunum: afhjúpun persónugreinanlegra upplýsinga og gagnaleka milli notendalota.
Mest sláandi niðurstaðan úr annarri lotu var ótrúlega einföld: oft þarf enga kænsku.
Í mörgum tilvikum nægði einfaldlega að biðja um innri gögn sem hluta af beiðni sem hljómaði lögmæt til að kerfið samþykkti að afhjúpa þau. Einfaldar fyrirspurnir fengu svör sem vísuðu í innri auðkenni og kerfisreiti sem endanlegir notendur ættu aldrei að sjá.
Við nánari athugun kom í ljós að bilunin var ekki aðeins í forritinu. Texta-í-SQL-þjónustan neðar í kerfinu smíðaði fyrirspurnir sem báðu um fleiri reiti en þær áttu að gera og skýringar hennar vísuðu í gögn sem hefðu átt að vera aðgangstakmörkuð. Þetta afhjúpaði raunverulega sprungu milli kerfa, veikleika sem kemur aðeins í ljós þegar allur tæknistaflinn er prófaður en ekki einstakir íhlutir í einangrun.
Beittu rauðteymi á kerfið, ekki líkanið. Að prófa LLM eitt og sér segir mjög lítið um öryggisstöðu forritsins. Prófaðu allan tæknistaflann frá upphafi til enda eins og notandi myndi nota hann.
Inntaksstaðfesting verður að fara fram áður en gögn berast LLM. Kóðaðar fyrirspurnir, árásir með margvíslegum ásetningi og einfaldar innspýtingartilraunir ætti að stöðva á jaðrinum en ekki fela þjónustum neðar í kerfinu.
Treystu ekki samskeytunum. Í kerfisarkitektúr með mörgum þjónustum leynast áhugaverðustu veikleikarnir í sprungunum milli kerfa. Núlltraust merkir núlltraust, svo staðfestu allt á hverju lagi.
Einfaldar árásir virka. Flóknar jailbreak-árásir komast í fréttirnar, en stundum er nóg að... spyrja. Ef kerfið birtir fúslega innri auðkenni þegar notandi nefnir þau í fyrirspurn sem er að öðru leyti lögmæt er það vandamál.
Skildu hvað þú ert í raun að prófa. Þjálfun LLM kann sjálf að stöðva þekkt árásarmynstur fremur en varnirnar þínar. Byggðu sýnileika inn í rauðteymið til að skilja hvaða varnir eru raunverulega virkjaðar.
Takmarkað umhverfi krefst skapandi lausna. Sérsniðnir þjónustuveitendur og stuðningur við staðbundin líkön gera markvisst rauðteymi mögulegt án sérhæfðs aðgangs að skýjaþjónustu. En upplýstu með skýrum hætti um þær takmarkanir sem þessu fylgja.
Rauðteymi er ekki einskiptisverkefni. Það er endurtekið ferli, ætti að vera sjálfvirkt þar sem hægt er og þarf að þróast samhliða kerfinu. Árásirnar sem skipta máli á morgun eru ekki þær sömu og skipta máli í dag.
Gervigreindarkerfi í eftirlitsskyldu umhverfi munu aðeins sæta auknu aðhaldi. Fyrirtæki sem líta á öryggisprófanir sem viðvarandi faglegt ferli en ekki reit sem þarf að haka við fyrir útgáfu verða betur í stakk búin til að mæta þessu aðhaldi og forðast almannatengslahamfarir sem grafa undan trausti viðskiptavina.