Võrdlus
Kus tehisintellekti turvatööriistad jäävad alla ja mida deterministlikud buildi tõendid katavad
Turvaandmed, mis lahkuvad arendusmeeskonnast, peavad läbima kolm testi: kas saate neid korrata, kas saate neid auditeerida ja kas need on täielikud. Siin on näha, kuidas tehisintellekti tööriistad ja deterministlikud buildi kirjed igas punktis võrdlevad, koos näidetega.
Uuendatud
Argument kitsalt sõnastatuna
See ei ole argument tehisintellekti vastu turvalisuses. Mudelid on head koodi lugemises, leiu selgitamises ja paranduse soovitamises ning meeskonnad, kes neid hästi kasutavad, liiguvad kiiremini. Argument on kitsam: kirjete puhul, mis peavad hiljem paika pidama, on tõenäosuslik mudel vale esmane allikas. See hõlmab SBOM-i, mille annate reguleerijale, tarnitud artefakti päritoluteavet ja vastust küsimusele „kas meid mõjutati?"
Kolm omadust otsustavad, kas kirje peab paika. Iga allpool olev jaotis käsitleb üht neist, koos näidete ja allikatega.
1. Korratavus: küsige kaks korda, saage sama vastus
Turvakirje on kasulik ainult siis, kui keegi teine saab samast sisendist sama vastuse. Keelemudelid seda ei luba ja tarnijad ütlevad seda ise.
- Anthropicu dokumentatsioon: „Isegi kui temperatuur on seatud väärtusele 0, ei ole tulemused täielikult deterministlikud ja samad sisendid võivad API-kutsetes anda erinevaid väljundeid."
- GitHub Copilot Autofixi kohta: „Isegi sama hoiatuse ja koodi korral ei pruugi see suuta luua toimivat soovitust või soovitus võib katsetel erineda."
- SecLLMHolmesi raamistiku loonud teadlased testisid IEEE S&P 2024 jaoks kaheksat LLM-i 228 koodistsenaariumil. Nad teatavad, et mudelid „annavad mittedeterministlikke vastuseid" ning et „ainuüksi funktsiooni- või muutujanimede muutmisel või teegifunktsioonide lisamisel lähtekoodi" andsid PaLM2 ja GPT-4 valesid vastuseid vastavalt 26% ja 17% juhtudest.
Näide. Kaks inseneri küsivad samalt assistendilt, kas teenus on uue turvateate suhtes avatud. Üks saab vastuse „ei", teine „võimalik, kontrollige transitiivset puud". Kumbki vastus ei ole kirje ja kumbagi ei saa audiitori jaoks kuus kuud hiljem korrata.
Salvestatud buildil seda probleemi pole, sest midagi ei tuletata. CRACI täheldab pakette, mida töö töötamise ajal paketiallikatest alla laadib, ja SBOM on selle vaatluse kirje.
2. Auditeeritavus: näidake, kuidas te teate
Auditid keerlevad küsimuse „kuidas te teate?" ümber. Mudel võib anda sujuva vastuse, kuid selle selgitus ei ole tõend. SecLLMHolmesi hindamine leidis, et LLM-id esitavad hinnatavate haavatavuste kohta „ebaõiget ja ebausaldusväärset arutluskäiku", nii et õige otsusega võib kaasneda selgitus, mis paika ei pea.
Standardid liiguvad kirjete poole, mis selgitavad oma päritolu. 2026. aasta SBOM-i miinimumelemendid, mille avaldas CISA koos NSA, FBI ja rahvusvaheliste partneritega, lisavad SBOM Tool Name'i, SBOM Tool Versioni ja SBOM Generation Contexti, mis ütleb, kas SBOM toodeti „enne buildi", „buildi" ajal või „pärast buildi". Sama dokument hoiatab, et „organisatsioonid võivad oma riskijuhtimise otsustes arvesse võtta vigu, olgu need tingitud SBOM-i autori tavadest või sobimatute tööriistade valikust".
Näide. Kliendi küsimustik küsib, kuidas teie SBOM toodeti. „Assistent luges repositooriumi ja kirjutas selle" annab genereerimiskonteksti, kuid mitte sellise, mida ülevaataja saab kontrollida. „See salvestati CI runneris väljalaske buildi ajal ja töö täielikkuse olek on Complete" on miski, mida ülevaataja saab buildi põhjal kontrollida.
3. Täielikkus: te ei saa teatada sellest, mida te kunagi ei näinud
Mudel arutleb selle põhjal, mida talle näidatakse. Kui failid, mida see loeb, tarkvara ei kirjelda, ei kirjelda seda ka vastus ja miski väljundis seda ei ütle. CISA 2026. aasta juhis seab lati saaja otsusele: nad „peaksid saama järeldada, et äsja teatatud haavatavus neid ei mõjuta, kui SBOM ei loetle komponenti". See toimib ainult siis, kui loendist puudumine tähendab buildist puudumist.
Näide. Repositooriumil anthropics/claude-code versioonis v2.1.259 ei ole ühtki sõltuvus-
manifesti ega lukufaili. Avaldatud npm-i pakett deklareerib null käitusaegset sõltuvust ja ümbritseb valmiskompileeritud
natiivset binaarfaili. Igal tööriistal, mis repositooriumi loeb, olgu tehisintellekt või mitte, pole peaaegu midagi loetleda, samas kui programm,
mis töötab, on kompileeritud binaarfail.
Näide. Tehisintellektil põhinevad kodeerimistööriistad võivad lünga ka ise tekitada. GitHub hoiatab, et Copilot Autofix „võib soovitada väljamõeldud sõltuvusi, mis on avaldatud statistiliselt tõenäoliste nimede all". USENIX Security 2025 uuring, mis käsitles 576 000 genereeritud koodinäidet 16 mudelilt, leidis, et hallutsineeritud pakettide keskmine määr oli kommertsmudelite puhul vähemalt 5,2% ja avatud lähtekoodiga mudelite puhul 21,7%, kokku 205 474 unikaalse hallutsineeritud paketinimega.
Deterministlikkus on vajalik, kuid mitte piisav
Selle argumendi aus versioon peab sisaldama ka järgmist punkti. SBOM-i generaatorid on
deterministlikud ja ometi ei ole nad omavahel ühel meelel. Kui need suunata
expressjs/express samale commitile, võivad need tagastada erinevaid loendeid, sest igaüks otsustab ise, mida
komponendiks lugeda ja milliseid faile usaldada. Repositoorium ei sisalda lukufaili, nii et tööriistal, mis lahendab sõltuvused
lukufaili põhjal, pole ühtki package.json sõltuvust, millest teatada.
Deterministlik skanner kordab iga kord sama puudulikku vastust. Korratavus on vajalik, kuid lünga sulgeb vaatlus: salvestada, mida build tegelikult kaasa tõi, ja öelda, kui kirje on puudulik. CRACI märgib iga töö ja vahemälu olekuga Complete, Complete with connections, Incomplete, Unavailable või Not recorded.
Läbitöötatud näide: uue turvateate ulatuse määramine
Hüpoteetiline olukord: avaldatakse turvateade laialt kasutatava npm-i paketi ühe versiooni kohta. ELi küberkerksuse määruse (Cyber Resilience Act, CRA) järgi on tootjatel aktiivselt ärakasutatavast haavatavusest ENISA-le teatamiseks 24 tundi, nii et ulatuse määramine peab olema kiire ja õige.
Tehisintellekt kõigepealt
Palute assistendil oma repositooriumid üle kontrollida. See loeb manifeste ja lukufaile ning ehk ka Dockerfile'i. See ei näe CI vahemälust taastatud pakette, buildi sammu alla laaditud tööriistu ega versioone, mis lahendati installimise ajal repositooriumis, millel pole lukufaili. Kaks korda küsides võib see vastata erinevalt. Selle kokkuvõte on kasulik, kuid te ei saa oma teatist sellele toetudes allkirjastada.
Kirje kõigepealt
CRACI koondab haavatavused kõigist buildidest ja repositooriumidest, vaikeharu põhjal organisatsiooni tasemel, ning hindab jälgitavaid SBOM-e uute haavatavuste ilmumisel uuesti. API tagastab iga buildi CycloneDX SBOM-i, selle võrgujälje ja päritoluteabe. Kui töö kirje on puudulik, ütleb selle täielikkuse olek, kust käsitsi otsida. Võite ikkagi paluda mudelil tulemuse kokku võtta. See võtab kokku kirjet, mitte ei genereeri seda.
Kirje olemasolul on küsimus „millised väljalasked tarnisid selle paketi?" päring, mitte uurimine.
Kõrvuti
| Võimekus | CRACI | Tehisintellekti turvatööriist |
|---|---|---|
| Korratav | Kirje ei muutu, kui uuesti küsite | Samad sisendid võivad anda erinevaid väljundeid |
| Auditeeritav | Viitab tööle ja paketi allalaadimisele | Esitatud arutluskäik ei pruugi olla tõene |
| Täielikkus märgitud | Töö ja vahemälu kohta, ka siis, kui see on puudulik | Piiratud sellega, mida mudelile näidati |
| Töötab lähtekoodist enne buildi | Salvestab builde CRACI runneritel | Loeb koodi, muudatusi ja leide |
| Tüüpiline tõrge | Töö, mis on märgitud olekuga Incomplete või Not recorded | Usutav vastus, mis on vale |
| Sobib kõige paremini | SBOM-id, päritoluteave, intsidendi ulatuse määramine, auditi tõendid | Koodiülevaatus, selgitused, triaažisoovitused |
- Sisaldub
- Osaliselt
- Ei sisaldu
Kasutage iga tööriista seal, kus see on tugev
Kasutage tehisintellekti seal, kus otsustusvõime aitab ja inimene kontrollib väljundit: koodiülevaatus, leiu selgitamine, paranduse mustand. Kasutage deterministlikke buildi kirjeid seal, kus väljundit tuleb korrata, auditeerida või sellele kui täielikule tugineda: SBOM-id, päritoluteave ja intsidendi ulatuse määramine. CRACI automatiseerib olulise osa nendest tarneahela tõenditest laiema CRA protsessi jaoks. See ei muuda teid üksi vastavaks.
Lugege, kuidas kirje tekib, lehelt SBOM-i genereerimine buildi ajal või alustage sellest, mida CRA nõuab.
Vaadake buildi kirjet, mida saate korrata
Broneerige demo ja me näitame SBOM-i, täielikkuse olekut ja päritoluteavet, mille CRACI päris buildi kohta salvestab.
Broneerige demo