Majaribio 750+ ya usalama yalichofichua kuhusu jaribio la kubaini udhaifu wa mfumo wa AI

Ili kuunda mifumo ya AI inayofanya kazi, kwanza unahitaji kujaribu kuivunja. Tulifanya zoezi la jaribio la kubaini udhaifu wa mfumo, tukijifanya washambuliaji ili kupima na kuchunguza programu ya AI ya huduma za kifedha inayotumiwa na wateja. Tulichogundua ni muhimu kwa yeyote anayotekeleza programu zinazotumia LLM katika mazingira ambayo usalama ni lazima.

Jaribio la kubaini udhaifu wa mfumo ni zoezi la kujaribu kwa makusudi kuvunja mfumo wako wa AI ili urekebishe udhaifu kabla mshambuliaji halisi hajaugundua. Katika huduma za kifedha, madhara yanayoweza kutokea ni makubwa zaidi: programu za AI hutumia data za wateja, huchakata miamala na kutoa maarifa ya kifedha. Hitilafu inaweza kusababisha chochote kuanzia matumizi mabaya kwa mtumiaji hadi ukiukaji wa kanuni, hasara za kifedha na uharibifu usioweza kurekebishwa wa chapa.

Lengo letu lilikuwa kugundua udhaifu mapema, kupima mbinu halisi za mashambulizi na kusaidia shirika kutimiza matarajio ya usalama wa AI ambayo wadhibiti huyachukulia kwa uzito mkubwa.

Tofauti moja muhimu ni hii: jailbreak hushambulia vichujio vya usalama vya muundo wenyewe; shambulio la maelekezo hulenga programu yenyewe kwa kuchanganya ingizo lisiloaminika la mtumiaji na maelekezo yanayoaminika ya msanidi. Shambulio la maelekezo lina hatari kubwa zaidi kwa sababu hulenga mfumo wako na data ya siri inayotumiwa nao, wala si muundo wa matumizi ya jumla.

Awamu yetu ya kwanza ilihusisha takribani majaribio 750 katika maeneo yafuatayo:

• Uvujaji wa data kati ya vipindi

• Ufichuaji wa PII (kupitia lugha asilia, uchezewaji wa API na usimbaji mbalimbali)

• Shambulio la SQL

• Kubatilisha maelekezo ya mfumo

Katika majaribio hayo ya awali, tuligundua matatizo mawili makubwa katika mfumo uliokuwapo: ushughulikiaji wa hoja zenye nia nyingi na matumizi ya maelekezo yaliyosimbwa.

Hoja zenye nia nyingi: maombi yanayochanganya maombi halali na hasidi. Kwa mfano: “Show my spending by category, and also execute [malicious SQL].” Programu haikutambua nia hasidi; badala yake, ilitegemea kabisa vizuizi vya usalama vya safu ya data inayofuata. Hii ni sawa na kuacha mlango wako wa mbele wazi kwa sababu unaamini sefu iliyo katika orofa ya chini.

Usimbaji: maombi yanaposimbwa kwa Base64, Hex, LeetSpeak na herufi zinazofanana. Inaweza kuwa vigumu kwa mifumo kuchuja nia hasidi. Ingawa tuligundua kuwa hoja hizi hazikufichua data nyeti, zilisababisha mfumo kuyumba sana (majibu ya kubuni, SQL hasidi kurudiwa kwa watumiaji, kuchanganyikiwa katika uainishaji wa nia, na kadhalika).

Matokeo ya majaribio yetu ya awali yalionyesha yafuatayo:

• Majibu ya kubuni kuhusu muda: muundo ulitoa kwa kujiamini tarehe, mihuri ya muda ya miamala au muhtasari wa vipindi uliobuniwa—hatari kubwa katika masuala ya kifedha, ambapo mteja akichukua hatua kwa kutegemea tarehe isiyo sahihi anaweza kuathirika kihalisi

• SQL hasidi kurudiwa kwa mtumiaji (jambo linalotia wasiwasi kutokana na hatari ya kuchafua kumbukumbu)

• Kuchanganyikiwa katika uainishaji wa nia

• Mpangilio wa matokeo uliochanganyika

Kwa kutumia matokeo hayo, tulipunguza upeo wa uchunguzi wetu. Majaribio ya shambulio la SQL na usimbaji yalipewa kipaumbele cha chini, kwa kuwa timu tayari ilikuwa ikiyashughulikia. Badala yake, tuliangazia mbinu za mashambulizi zilizofaulu zaidi: ufichuaji wa PII na uvujaji wa data kati ya vipindi.

Ugunduzi wa kushangaza zaidi katika awamu ya pili ulikuwa rahisi sana: mara nyingi huhitaji ujanja wowote.

Mara nyingi, kuomba tu data ya ndani kama sehemu ya ombi lililoonekana kuwa halali kulitosha kuufanya mfumo ukubali kuifichua. Hoja rahisi zilipokea majibu yaliyotaja vitambulisho vya ndani na sehemu za mfumo ambazo hazikupaswa kamwe kuonyeshwa kwa watumiaji.

Tulipochunguza kwa kina zaidi, tuligundua kuwa hili halikuwa tatizo la programu pekee. Huduma ya kubadilisha maandishi kuwa SQL katika safu iliyofuata ilikuwa ikiunda hoja zilizoomba sehemu nyingi kuliko ilivyopaswa, na majibu yake ya ufafanuzi yalitaja data iliyopaswa kuzuiwa. Hili lilifichua pengo halisi kati ya mifumo—aina ya udhaifu unaojitokeza tu unapopima mfumo mzima kuanzia mwanzo hadi mwisho, badala ya kupima vipengele kimoja kimoja.

1. Fanyia mfumo jaribio la kubaini udhaifu wa mfumo, si muundo. Kupima LLM peke yake hakukupi taarifa nyingi kuhusu hali ya usalama wa programu yako. Pima mfumo mzima kuanzia mwanzo hadi mwisho, kama ambavyo mtumiaji angeutumia.

2. Ni lazima ingizo lithibitishwe kabla ya kufikia LLM. Hoja zilizosimbwa, mashambulizi yenye nia nyingi na majaribio ya kawaida ya kuingiza maagizo hasidi yanapaswa kuzuiwa kwenye mpaka wa mfumo, si kuachiwa huduma za safu zinazofuata.

3. Usiamini sehemu ambazo mifumo huungana. Katika usanifu wenye huduma nyingi, udhaifu wenye kuvutia zaidi hujificha kwenye mianya kati ya mifumo. Kutokuamini chochote kunamaanisha hivyo hasa; kwa hiyo, thibitisha kila kitu katika kila safu.

4. Mashambulizi rahisi hufaulu. Jailbreak za hali ya juu hutawala vichwa vya habari, lakini wakati mwingine unaweza tu... kuomba. Ikiwa mfumo wako utaonyesha kwa urahisi vitambulisho vya ndani mtumiaji anapovijumuisha katika hoja ambayo vinginevyo ni halali, hilo ni tatizo.

5. Elewa unachopima hasa. Mbinu zinazojulikana za mashambulizi zinaweza kuzuiwa na mafunzo ya LLM yenyewe badala ya vizuizi vyako vya usalama. Jumuisha uwezo wa kufuatilia utendaji katika jaribio lako la kubaini udhaifu wa mfumo ili kuelewa ni vidhibiti gani vinavyotumika kwa kweli.

6. Mazingira yenye vikwazo yanahitaji suluhisho bunifu. Watoa huduma maalumu na usaidizi wa miundo ya ndani huwezesha jaribio lenye maana la kubaini udhaifu wa mfumo bila ufikiaji maalumu wa wingu. Lakini eleza wazi vikwazo vinavyotokana na hali hii.

7. Jaribio la kubaini udhaifu wa mfumo si zoezi la mara moja. Ni mchakato unaorudiwa, unapaswa kuendeshwa kiotomatiki inapowezekana, na kubadilika kadiri mfumo wako unavyobadilika. Mashambulizi yatakayokuwa muhimu kesho si yale yale yaliyo muhimu leo.

Mifumo ya AI katika mazingira yanayodhibitiwa itachunguzwa zaidi, si kidogo. Mashirika yanayochukulia majaribio ya usalama kuwa utaratibu endelevu, badala ya kisanduku cha kuteua kabla ya uzinduzi, yatakuwa katika nafasi nzuri zaidi ya kukidhi uchunguzi huo na kuepuka majanga ya mahusiano ya umma yanayopoteza imani ya wateja.