- märtsil 2026 avaldati PyPI-s kaks pahatahtlikku versiooni LiteLLM-ist, Pythoni teegist ja lüüsist paljude LLM-teenusepakkujate kasutamiseks ühe API kaudu: 1.82.7 ja 1.82.8. Mõlemad kandsid mandaadivarast, mis kogus keskkonnamuutujaid, SSH-võtmeid, pilvemandaate, Kubernetese tokeneid ja andmebaaside paroole ning saatis need aadressile
models.litellm.cloud, domeenile, mis ei kuulu LiteLLM-ile. Pahatahtlik kood ei jõudnud kunagi LiteLLM-i GitHubi repositooriumi; see laaditi otse PyPI-sse. Kui mõni build, tõmmis või masin paigaldas ühe neist kahest versioonist, käsitlege seda kompromiteerituna ja vahetage välja iga saladus, mida see sai lugeda.
Sissepääs oli turvaskanner. LiteLLM ütleb, et tema hinnangul „sai kompromiteerimine alguse Trivy sõltuvusest, mida kasutatakse meie CI/CD turvaskannimise töövoos“, viis päeva pärast seda, kui Trivy tarneahela rünnak mürgitas Trivy väljalasked ja GitHub Actionsi actionid. PyPI intsidendi aruanne ütleb sama: pahatahtlikud väljalasked tulid „pärast API tokeni paljastumist ärakasutatud Trivy sõltuvuse kaudu“. Tööriist, mis lisati konveieri turvalisemaks muutmiseks, andis üle mandaadid, millega pakett avaldati.
Mis juhtus
| Millal (UTC) | Mis juhtus |
|---|---|
| 19.–23. märts | Trivy v0.69.4, trivy-action ja setup-trivy sildid ning kaks Docker Hubi tõmmist kompromiteeriti mandaadivargaga, mis käivitus CI-tööde sees (CVE-2026-33634). |
| 24. märts, 10:39 | LiteLLM-i järgi ilmusid pahatahtlikud versioonid PyPI-sse. 1.82.7 kandis koormust failis litellm/proxy/proxy_server.py; 1.82.8 lisas ka faili litellm_init.pth, mis käivitub iga Pythoni käivitumisel. |
| 24. märts | FutureSearch avastas selle, kui LiteLLM saabus Cursoris töötava MCP-pistikprogrammi transitiivse sõltuvusena ja fail .pth käivitas protsesse, kuni masin kokku jooksis, mis oli viga pahavaras. Kasutajad teatasid sellest GitHubis ja PyPI-le. |
| 24. märts | PyPI pani projekti karantiini. Selle aruande järgi kulus üleslaadimisest esimese pahavarateateni 1 tund 19 minutit ja üleslaadimisest karantiinini 2 tundi 32 minutit ning pahatahtlikke versioone laaditi alla üle 119 000 korra. Python Packaging Authority avaldas samal päeval PYSEC-2026-2. |
| 24.–30. märts | LiteLLM eemaldas paketid, vahetas välja hooldajate mandaadid, kaasas Google'i Mandianti buildi- ja avaldamisahela kohtuekspertiisiks, peatas väljalasked ja auditeeris kõik väljalasked vahemikus 1.78.0 kuni 1.82.6 puhtana. |
| 26. märts | CISA lisas oma KEV kataloogi CVE-2026-33634, mille CVE-kirje loetleb Trivy kõrval LiteLLM 1.82.7 ja 1.82.8. |
| 30. märts | LiteLLM teatas versioonist 1.83.0, mis ehitati uue väljalaskekonveieri kaudu isoleeritud keskkondadega, ja hakkas oma GHCR-i tõmmiseid cosigniga allkirjastama. |
Sama CVE-kirje loetleb ka telnyx versioonid 4.87.1 ja 4.87.2, teise samas kampaanias tagauksega varustatud PyPI paketi, mida PyPI aruanne käsitleb LiteLLM-i kõrval. LiteLLM-i enda postitus jätab lahtiseks, kuidas üleslaadimine toimus: varased tõendid näitavad, et ründaja möödus ametlikest CI/CD töövoogudest ja laadis otse PyPI-sse, võib-olla hooldaja kompromiteeritud PyPI konto kaudu. PyPI järgi on nii LiteLLM kui ka telnyx sellest ajast üle läinud PyPI usaldatud avaldamisele (Trusted Publishing).
Keda see puudutab
LiteLLM-i turvateate järgi võib see teid puudutada, kui 24. märtsil 2026 kella 10:39 ja 16:00 UTC vahel:
- paigaldasite või uuendasite LiteLLM-i käsuga
pip, - käitasite fikseerimata
pip install litellmja saite versiooni 1.82.7 või 1.82.8, - ehitasite Dockeri tõmmise fikseerimata LiteLLM-i paigaldusega või
- miski, mille paigaldasite, sõltub LiteLLM-ist seda fikseerimata, näiteks agendiraamistik või MCP-server.
See ei puuduta teid, kui kasutasite LiteLLM Cloudi, ametlikku ghcr.io/berriai/litellm Dockeri tõmmist (mis fikseerib oma sõltuvused), versiooni 1.82.6 või varasemat ilma ajaaknas uuendamata või GitHubi lähtekoodist paigaldatud LiteLLM-i.
LiteLLM-i antud ajaaken (üle viie tunni) on laiem kui 2 tundi 32 minutit, mille PyPI teatab üleslaadimisest karantiinini. Kasutage laiemat. Arvestage ka hiljem vahemälust või peeglist paigaldatud koopiaid: pip-i vahemälu, uv vahemälu, wheel-fail sisemises paketipuhverserveris või samal päeval ehitatud Dockeri kiht võib endiselt sisaldada pahatahtlikku versiooni.
Kuidas see toimib
PyPA turvateade ja LiteLLM-i postitus kirjeldavad koormust:
- See käivitub ilma väljakutseta. 1.82.7 pani varga faili
litellm/proxy/proxy_server.py; PyPA turvateate järgi käivitub see, kui paketist imporditakse ükskõik milline moodul. 1.82.8 tarnis lisaks faililitellm_init.pthkaustasite-packages. Pythoni moodulsiteloeb interpretaatori käivitumisel iga.pthfaili ja käivitab read, mis algavad sõnagaimport, nii et iga Pythoni protsess selles keskkonnas käivitas koormuse, olenemata sellest, kas see LiteLLM-i kasutas: testide käitamine, linter,pipise. - See kogub kõike, mis kätte ulatub. Keskkonnamuutujad, SSH-võtmed, Giti ja Dockeri mandaadid,
.envfailid, Kubernetese teenusekontode tokenid, andmebaasi ja LDAP-i konfiguratsioon, käsurea ajalood ja krüptorahakotid. See küsib pilve metaandmeserveritelt ligipääsutokeneid ja loeb saladusi AWS Secrets Managerist. - See saadab need välja. Andmed lähevad aadressile
models.litellm.cloud, mis näeb välja nagu LiteLLM-i enda domeen, kuid ei ole seda. - See jääb püsima. See paigaldab systemd teenuse, mis on maskeeritud nimega „System Telemetry Service“, loob Kubernetese keskkonnas uue pod'i ja püsivusskript võtab edasiste juhiste saamiseks ühendust aadressiga
checkmarx.zone.
Turvateade klassifitseerib selle manustatud pahatahtlikuks koodiks (CWE-506). LiteLLM-i lähtekoodis ei olnud midagi valesti; pakett PyPI-s ei vastanud lähtekoodile.
CI-töös saavad esimene ja teine punkt kokku. Build, mis paigaldab sõltuvused ja seejärel käitab teste, käivitab Pythoni interpretaatori peaaegu kohe ning töö keskkond hoiab saladusi, mida see avaldamiseks ja juurutamiseks vajab.
Kuidas kontrollida, kas see puudutab teid
- Otsige läbi iga lukufail ja nõuete fail igas harus, et leida
litellm1.82.7 või 1.82.8:requirements*.txt,poetry.lock,uv.lock,Pipfile.lockjapdm.lock. - Leidke fikseerimata paigaldused. Töövoos, Dockerfile'is või skriptis olev versioonita
pip install litellmja sõltuvus, mis toob LiteLLM-i sisse ilma fikseeringuta, lahendusid ajaaknas pahatahtlikule versioonile. Kasutage ehitatud keskkonnas käskupip show litellmvõipipdeptree -r -p litellm, et näha, miks LiteLLM seal on. - Kontrollige, mida buildid 24. märtsil paigaldasid. CI-s prindib pip
Successfully installed ... litellm-1.82.7. Kui logid on veel alles, otsige neist; GitHub kustutab Actionsi logid vaikimisi 90 päeva järel, nii et märtsi 2026 logid on tavaliselt kadunud. - Kontrollige tõmmiseid ja keskkondi. Käitage allolevaid käske igas sel nädalal ehitatud tõmmises ning arendajate masinates ja serverites, mis paigaldasid sel päeval Pythoni pakette.
- Kontrollige vahemälusid ja peegleid failide
litellm-1.82.7jalitellm-1.82.8suhtes.
Käsud, mida saate kohandada. Et otsida läbi iga kaugharu lukufailid:
git fetch --all --quiet
for ref in $(git for-each-ref --format='%(refname:short)' refs/remotes); do
git grep -n -A1 -E 'litellm' "$ref" -- '*requirements*.txt' '*poetry.lock' '*uv.lock' '*Pipfile.lock' '*pdm.lock' \
| grep -E '1\.82\.[78]' | sed "s|^|$ref |"
done
Et kontrollida masinast, runnerist või konteinerist paketti, faili .pth, vahemälus olevaid koopiaid ja püsivusteenust:
python -m pip show litellm 2>/dev/null | grep -i '^version'
find / -name 'litellm_init.pth' 2>/dev/null
find / \( -name 'litellm-1.82.7*' -o -name 'litellm-1.82.8*' \) 2>/dev/null
grep -rl 'System Telemetry Service' /etc/systemd /usr/lib/systemd ~/.config/systemd 2>/dev/null
Et kontrollida tõmmist, mille ehitasite (asendage IMAGE):
docker run --rm --entrypoint sh IMAGE -c \
"pip show litellm 2>/dev/null | grep -i ^version; find / -name litellm_init.pth 2>/dev/null"
Miks lukufail asja ei otsusta
- Fikseerimata paigaldused ei jäta kirjet.
pip install litellmtöövoos või Dockerfile'is lahendub buildi ajal. Repositoorium ei ütle kunagi, millise versiooni see build sai. - Transitiivsed sõltuvused. FutureSearch leidis rünnaku, sest LiteLLM tuli sisse MCP-pistikprogrammi kaudu, mitte millegi kaudu nende enda projektis. Tehisintellekti tööriistad paigaldavad sageli oma sõltuvused käitamise ajal.
- Vahemälud elavad ajaaknast kauem. 24. märtsil vahemällu salvestatud wheel-faili võib nädalaid hiljem paigaldada build, mis PyPI-d kunagi ei puudutanud.
- Tõmmis võib seda kanda kuid. Ajaaknas ehitatud tõmmis kannab pahatahtlikku versiooni nii kaua, kui see on juurutatud, ja iga kord, kui see käivitub, käivitub ka fail
.pth.
Teil on vaja kirjet sellest, milliseid pakettide versioone iga build tegelikult paigaldas, buildipõhiselt säilitatuna. Vaadake artiklit kas see puudutab meid? kuidas hinnata uut CVE-d kõigis oma buildides.
Kuidas seda parandada ja mida teha, kui te ei saa veel paigata
- Käsitlege iga keskkonda, mis paigaldas versiooni 1.82.7 või 1.82.8, kompromiteerituna. PyPA soovitus on „eeldada, et kõik litellm-i keskkonnale kättesaadavad mandaadid võivad olla paljastatud, ning need vastavalt tühistada või välja vahetada“. Vahetage välja iga LLM-teenusepakkuja API-võtmed, pilvevõtmed, andmebaaside paroolid, SSH-võtmed, Kubernetese tokenid ja kõik, mis on keskkonnamuutujates või konfiguratsioonifailides.
- Isoleerige ja uurige hosti. Eemaldage
litellm_init.pth, keelake ja kustutage üksus „System Telemetry Service“, kustutage pod'id, mida te ei loonud, ja vaadake host üle „ootamatute muudatuste ja võrguliikluse suhtes“, nagu turvateade palub. Kui saate hosti või runneri puhtast tõmmisest uuesti ehitada, tehke seda. - Paigaldage puhas versioon. Fikseerige 1.82.6 või varasem või 1.83.0 või uuem ning ehitage uuesti iga ajaaknas ehitatud tõmmis.
- Puhastage vahemälud ja peeglid. Kustutage need kaks versiooni pip-i ja uv vahemäludest, sisemistest paketipuhverserveritest ja CI vahemäludest:
pip cache remove 'litellm*'
uv cache clean litellm
gh cache delete --all --repo ORG/REPO # GitHub Actions caches, per repository
Kontrollige parandust
- Iga lukufail fikseerib puhta versiooni ja ükski töövoog, Dockerfile ega skript ei paigalda LiteLLM-i ilma versioonita.
- Üheski keskkonnas ei ole koormust. Ülaltoodud käsud ei leia faili
litellm_init.pthega teenust „System Telemetry Service“. - Vanad mandaadid enam ei tööta. Tühistatud teenusepakkujate võtmed ja pilvemandaadid on deaktiveeritud, mitte lihtsalt asendatud.
- Ründaja hostidele ei ole liiklust. DNS-i ja puhverserveri logid ei näita pärast puhastamist aadresside
models.litellm.cloudegacheckmarx.zonepäringuid. - Järgmine build on puhas. Kontrollige versiooni, mille see tegelikult paigaldas, selle logist või buildipõhisest SBOM-ist, mitte ainult lukufailist.
Kuidas järgmisel korral kahju vähendada
- Fikseerige ja räsistage.
pip install --require-hasheskoos lukufailiga paigaldab ainult failid, mille lukustasite, nii et uus üleslaadimine, olgu pahatahtlik või mitte, ei saa buildi sisse lipsata. - Oodake enne uute versioonide kasutuselevõttu. Pahatahtlikud versioonid olid PyPI-s tunde. Sõltuvuste uuenduste ooteaeg (cooldown) hoiab täiesti uued väljalasked buildidest eemal, kuni teised on neid vaadanud.
- Avaldage usaldatud avaldamisega. PyPI aruanne soovitab pikaealiste API-tokenite asemel usaldatud avaldajaid (Trusted Publishers), väljalasete jaoks eraldi juurutuskeskkonda, töövoogudes fikseeritud sõltuvusi ja mitte kasutada riskantseid käivitajaid nagu
pull_request_target. - Ärge andke oma skanneritele avaldamissaladusi. Skannimistöö ei vaja tokenit, mis teie paketi avaldab. Käitage avaldamist eraldi tööna oma saladustega. Vaadake artikleid GitHub Actionsi saladused: kuidas need lekivad ja kuidas neid lukustada ja GitHub Actionsi turvalisus.
- Piirake, kuhu buildid saavad ühenduda. Build, mis paigaldab PyPI-st ja käitab teste, ei pea jõudma aadressile
models.litellm.cloud. Väljuva liikluse poliitikaga ebaõnnestub varastatud saladuste üleslaadimine buildist. See kaitseb buildi, mitte servereid ja sülearvuteid, kus sama pakett käivitus.
Kontrollige kompromiteerimist
LiteLLM-i postitusest ja turvateatest PYSEC-2026-2:
| Tüüp | Indikaator |
|---|---|
| Failid | litellm_init.pth kaustas site-packages (1.82.8); koormus failis litellm/proxy/proxy_server.py (1.82.7 ja 1.82.8) |
| Võrk | models.litellm.cloud (andmete väljaviimine); checkmarx.zone, sealhulgas https://checkmarx.zone/raw (püsivus) |
| Püsivus | systemd teenuseüksus nimega „System Telemetry Service“; Kubernetes'is uus pod, mida te ei loonud |
Millal eeldada kompromiteerimist. Iga keskkond, mis paigaldas versiooni 1.82.7 või 1.82.8, alates esimesest üleslaadimisest, isegi kui fail .pth on kadunud ja teie logides ei paista ühtegi ühendust. CI-runneril oli koormusel töö saladused; serveris oli sel kõik, milleni server ulatus, sealhulgas pilve metaandmed.
Vaadake üle, mida mandaadid puudutasid. Kontrollige pilve, Kubernetese ja LLM-teenusepakkujate auditilogidest alates 24. märtsist tegevust, mida te ei oska selgitada. LLM-teenusepakkujate võtmed on kerge kahe silma vahele jätta ja LiteLLM on olemas just selleks, et neid palju hoida.
Mida oma klientidele öelda
Kui teie toode kasutab LiteLLM-i või teie buildid võisid selle paigaldada, küsivad kliendid, kas teie toode või nende andmed paljastusid. Vastake sellega, mida kontrollisite ja mida tegite:
Kontrollisime [toote] iga buildi ja juurutust pahatahtlike LiteLLM-i versioonide 1.82.7 ja 1.82.8 vastu, mis avaldati PyPI-s 24.03.2026. [Ükski build ega keskkond ei paigaldanud mõjutatud versiooni.] / [[Komponendi] buildid [kuupäeval] paigaldasid [versiooni]. Vahetasime välja iga mandaadi, millele need keskkonnad ligi pääsesid, ehitasime [toote] puhastest sõltuvustest uuesti ja andsime välja [versiooni]. Me [ei leidnud väärkasutuse kohta tõendeid / leidsime järgmist: ...].] Väljalasked [x kuni y] on mõjutatud; palun uuendage versioonile [versioon].
Kui te alles kontrollite, öelge seda ja öelge, millal vastate. Iga tulemuse mallide jaoks vaadake artiklit kuidas vastata klientidele pärast tarneahela rünnakut.
Kuidas CRACI aitab
CRACI käitab teie GitHub Actionsi töid oma runneritel (runs-on: craci) ja salvestab iga paketi, mille iga töö PyPI-st ja teistest registritest tegelikult alla laadib, sealhulgas vahemäludest taastatud paketid. Fikseerimata pip install litellm töövoo sammus, tööriista sisse toodud sõltuvus või paigaldus buildiskripti sees tulevad kõik välja, sest kirje põhineb sellel, mille töö alla laadis, mitte sellel, mida lukufail deklareeris. Buildide ajalugu säilitab iga varasema buildi koos selle SBOM-iga, nii et kui teatatakse järgmisest sarnasest intsidendist, näete oma säilitusperioodi piires (vaikimisi 180 päeva), millised buildid mõjutatud versioonid paigaldasid ja millal, ning iga töö võrgujälg näitab, millega see ühendus.
CRACI väljuva liikluse poliitika piirab, kuhu töö saab ühenduda, valideeritakse enne töö algust ja sulgub tõrke korral (fails closed), nii et koormus, mis saadab saladusi hostile, mida build ei vaja, näiteks aadressile models.litellm.cloud, blokeeritakse ka rünnaku puhul, mida keegi pole varem näinud. Avaldatud CVE-ga teadaolevad pahatahtlikud väljalasked märgitakse nagu iga muu haavatavus ja poliitikaväravad võivad blokeerida buildid, mis neid sisaldavad. CRACI ei tuvasta pahatahtlikke pakette käitumise ega maine järgi, nii et uut ei märgita enne, kui turvateade on olemas. CRACI katab teie buildid; serverid ja arendajate masinad, mis paketi paigaldasid, vajavad ülaltoodud kontrolle. Laiema pildi jaoks vaadake lehte CI/CD turvalisus.
Vaadake ühe oma buildi paketikirjet
Muud intsidendid: kõik haavatavused, sealhulgas Trivy kompromiteerimine, mis selleni viis, ja Shai-Huludi npm-i uss.
Allikad ja uuendused
Esmaallikad:
- LiteLLM: turvauuendus, märts 2026, GitHubi probleem #24518
- Python Packaging Authority: PYSEC-2026-2 (MAL-2026-2144); PyPI: intsidendi aruanne LiteLLM-i ja Telnyxi kohta
- FutureSearch, kes sellest teatas
- CVE-2026-33634 (CNA: GitHub), Aqua Security GHSA-69fq-xp46-6x23, CISA KEV kataloog
- FIRST: CVE-2026-33634 EPSS skoor
Uuendused:
- 16.11.2026: esmakordselt avaldatud.