Den 24. marts 2026 blev to ondsindede versioner af LiteLLM, Python-biblioteket og gatewayen til at kalde mange LLM-udbydere gennem ét API, udgivet på PyPI: 1.82.7 og 1.82.8. Begge indeholdt en stealer, der indsamlede miljøvariabler, SSH-nøgler, cloud-legitimationsoplysninger, Kubernetes-tokens og databaseadgangskoder og sendte dem til models.litellm.cloud, et domæne, LiteLLM ikke ejer. Den ondsindede kode nåede aldrig LiteLLMs GitHub-repository; den blev uploadet direkte til PyPI. Hvis et build, et image eller en maskine installerede en af de to versioner, så behandl det som kompromitteret, og rotér hver secret, det kunne læse.
Vejen ind var en sikkerhedsscanner. LiteLLM siger, at det mener, at kompromitteringen "originated from the Trivy dependency used in our CI/CD security scanning workflow", fem dage efter at Trivy-forsyningskædeangrebet forgiftede Trivys releases og GitHub Actions. PyPI's hændelsesrapport siger det på samme måde: De ondsindede releases kom "after an API token exposure from an exploited Trivy dependency." Et værktøj, der blev tilføjet for at gøre pipelinen mere sikker, udleverede de legitimationsoplysninger, der udgav pakken.
Hvad der skete
| Hvornår (UTC) | Hvad der skete |
|---|---|
| 19. til 23. marts | Trivy v0.69.4, tags for trivy-action og setup-trivy og to Docker Hub-images blev kompromitteret med en stealer, der kørte inde i CI-jobs (CVE-2026-33634). |
| 24. marts, 10:39 | Ifølge LiteLLM gik de ondsindede versioner live på PyPI. 1.82.7 bar payloaden i litellm/proxy/proxy_server.py; 1.82.8 tilføjede også en litellm_init.pth-fil, der kører ved hver Python-start. |
| 24. marts | FutureSearch opdagede det, da LiteLLM kom ind som en transitiv afhængighed af et MCP-plugin, der kørte i Cursor, og .pth-filen startede processer, indtil maskinen gik ned, en fejl i malwaren. Brugere rapporterede det på GitHub og til PyPI. |
| 24. marts | PyPI satte projektet i karantæne. Rapporten regner med 1 time og 19 minutter fra upload til den første malware-rapport og 2 timer og 32 minutter fra upload til karantæne samt mere end 119.000 downloads af de ondsindede versioner. Python Packaging Authority udgav PYSEC-2026-2 samme dag. |
| 24. til 30. marts | LiteLLM fjernede pakkerne, roterede maintainernes legitimationsoplysninger, hyrede Googles Mandiant til forensisk undersøgelse af build- og udgivelseskæden, satte releases på pause og gennemgik hver release fra 1.78.0 til 1.82.6, som alle var rene. |
| 26. marts | CISA føjede CVE-2026-33634, hvis CVE-registrering angiver LiteLLM 1.82.7 og 1.82.8 sammen med Trivy, til sit KEV-katalog. |
| 30. marts | LiteLLM annoncerede 1.83.0, bygget gennem en ny release-pipeline med isolerede miljøer, og begyndte at signere sine GHCR-images med cosign. |
Den samme CVE-registrering angiver også telnyx 4.87.1 og 4.87.2, en anden PyPI-pakke, der fik indsat en bagdør i samme kampagne, og som PyPI's rapport dækker sammen med LiteLLM. LiteLLMs eget indlæg lader det stå åbent, hvordan uploaden skete: De tidlige spor tyder på, at angriberen gik uden om de officielle CI/CD-workflows og uploadede direkte til PyPI, muligvis via en maintainers kompromitterede PyPI-konto. Ifølge PyPI er både LiteLLM og telnyx siden gået over til PyPI's Trusted Publishing.
Hvem er berørt
Ifølge LiteLLMs advisory kan du være berørt, hvis du mellem 10:39 og 16:00 UTC den 24. marts 2026:
- installerede eller opgraderede LiteLLM med
pip, - kørte en ikke-fastlåst
pip install litellmog fik 1.82.7 eller 1.82.8, - byggede et Docker-image med en ikke-fastlåst LiteLLM-installation, eller
- installerede noget, der afhænger af LiteLLM uden at fastlåse det, for eksempel et agent-framework eller en MCP-server.
Du er ikke berørt, hvis du brugte LiteLLM Cloud, det officielle Docker-image ghcr.io/berriai/litellm (som fastlåser sine afhængigheder), version 1.82.6 eller tidligere uden at opgradere i tidsvinduet, eller LiteLLM installeret fra kildekoden på GitHub.
Det tidsvindue, LiteLLM angiver (mere end fem timer), er bredere end de 2 timer og 32 minutter fra upload til karantæne, som PyPI rapporterer. Brug det bredeste. Medregn også kopier installeret senere fra en cache eller et mirror: En pip-cache, en uv-cache, et wheel i en intern pakkeproxy eller et Docker-lag bygget den dag kan stadig indeholde en ondsindet version.
Sådan virker det
PyPA-advisoryen og LiteLLMs indlæg beskriver payloaden:
- Den kører uden at blive kaldt. 1.82.7 lagde stealeren i
litellm/proxy/proxy_server.py; ifølge PyPA-advisoryen kører den, når et hvilket som helst modul fra pakken importeres. 1.82.8 leverede ogsålitellm_init.pthisite-packages. Pythonssite-modul læser hver.pth-fil ved fortolkerens start og udfører linjer, der begynder medimport, så enhver Python-proces i det miljø kørte payloaden, uanset om den brugte LiteLLM: en testkørsel, en linter, selvepip. - Den indsamler alt inden for rækkevidde. Miljøvariabler, SSH-nøgler, Git- og Docker-legitimationsoplysninger,
.env-filer, tokens til Kubernetes-servicekonti, database- og LDAP-konfiguration, shell-historik og kryptovaluta-wallets. Den spørger cloud-metadataservere om adgangstokens og læser secrets fra AWS Secrets Manager. - Den sender dem ud. Dataene går til
models.litellm.cloud, som ligner LiteLLMs eget domæne, men ikke er det. - Den bliver. Den installerer en systemd-service forklædt som "System Telemetry Service", opretter en ny pod i et Kubernetes-miljø, og persistensscriptet kontakter
checkmarx.zonefor yderligere instruktioner.
Advisoryen klassificerer det som indlejret ondsindet kode (CWE-506). Der var intet galt i LiteLLMs kildekode; pakken på PyPI matchede ikke kildekoden.
I et CI-job mødes det første og det andet punkt. Et build, der installerer afhængigheder og derefter kører tests, starter en Python-fortolker næsten med det samme, og jobbets miljø indeholder de secrets, det skal bruge for at udgive og deploye.
Sådan tjekker du, om du er berørt
- Søg i hver lockfile og requirements-fil på hver branch efter
litellm1.82.7 eller 1.82.8:requirements*.txt,poetry.lock,uv.lock,Pipfile.lockogpdm.lock. - Find ikke-fastlåste installationer. En
pip install litellmi et workflow, en Dockerfile eller et script uden version og en afhængighed, der trækker LiteLLM ind uden fastlåsning, blev opløst til den ondsindede version i tidsvinduet. Brugpip show litellmellerpipdeptree -r -p litellmi et bygget miljø for at se, hvorfor LiteLLM er der. - Tjek, hvad builds installerede den 24. marts. I CI udskriver pip
Successfully installed ... litellm-1.82.7. Hvis logs stadig findes, så søg i dem; GitHub sletter Actions-logs efter 90 dage som standard, så for marts 2026 er de som regel væk. - Tjek images og miljøer. Kør kommandoerne nedenfor i hvert image, der blev bygget den uge, og på udvikleres maskiner og servere, der installerede Python-pakker den dag.
- Tjek caches og mirrors for filerne
litellm-1.82.7oglitellm-1.82.8.
Kommandoer, du kan tilpasse. For at søge i lockfiles på hver remote branch:
git fetch --all --quiet
for ref in $(git for-each-ref --format='%(refname:short)' refs/remotes); do
git grep -n -A1 -E 'litellm' "$ref" -- '*requirements*.txt' '*poetry.lock' '*uv.lock' '*Pipfile.lock' '*pdm.lock' \
| grep -E '1\.82\.[78]' | sed "s|^|$ref |"
done
For at tjekke en maskine, en runner eller en container for pakken, .pth-filen, cachede kopier og persistensservicen:
python -m pip show litellm 2>/dev/null | grep -i '^version'
find / -name 'litellm_init.pth' 2>/dev/null
find / \( -name 'litellm-1.82.7*' -o -name 'litellm-1.82.8*' \) 2>/dev/null
grep -rl 'System Telemetry Service' /etc/systemd /usr/lib/systemd ~/.config/systemd 2>/dev/null
For at tjekke et image, du har bygget (erstat IMAGE):
docker run --rm --entrypoint sh IMAGE -c \
"pip show litellm 2>/dev/null | grep -i ^version; find / -name litellm_init.pth 2>/dev/null"
Derfor afgør lockfilen det ikke
- Ikke-fastlåste installationer efterlader ingen registrering.
pip install litellmi et workflow eller en Dockerfile opløses, når der bygges. Repositoriet siger aldrig, hvilken version det build fik. - Transitive afhængigheder. FutureSearch opdagede angrebet, fordi LiteLLM kom ind via et MCP-plugin, ikke via noget i deres eget projekt. AI-værktøjer installerer ofte deres egne afhængigheder ved kørsel.
- Caches overlever tidsvinduet. Et wheel, der blev cachet den 24. marts, kan installeres uger senere af et build, der aldrig var i kontakt med PyPI.
- Et image kan bære det i måneder. Et image, der blev bygget i tidsvinduet, bærer den ondsindede version, så længe det er deployet, og hver gang det starter, kører
.pth-filen.
Du har brug for en registrering af, hvilke pakkeversioner hvert build faktisk installerede, gemt pr. build. Se er vi berørt? sådan vurderer du en ny CVE på tværs af dine builds.
Sådan retter du det, og hvad du gør, hvis du ikke kan patche endnu
- Behandl hvert miljø, der installerede 1.82.7 eller 1.82.8, som kompromitteret. PyPA's råd er at "assume any credentials available to litellm environment may have been exposed, and revoke/rotate them accordingly." Rotér API-nøgler til hver LLM-udbyder, cloud-nøgler, databaseadgangskoder, SSH-nøgler, Kubernetes-tokens og alt i miljøvariabler eller konfigurationsfiler.
- Isolér og undersøg hosten. Fjern
litellm_init.pth, deaktivér og slet unit'en "System Telemetry Service", slet pods, du ikke har oprettet, og gennemgå hosten "against any unexpected modifications and network traffic", som advisoryen beder om. Hvis du i stedet kan genopbygge en host eller runner fra et rent image, så gør det. - Installér en ren version. Fastlås på 1.82.6 eller tidligere eller på 1.83.0 eller nyere, og genbyg hvert image, der blev bygget i tidsvinduet.
- Ryd caches og mirrors. Slet de to versioner fra pip- og uv-caches, interne pakkeproxyer og CI-caches:
pip cache remove 'litellm*'
uv cache clean litellm
gh cache delete --all --repo ORG/REPO # GitHub Actions caches, per repository
Verificér rettelsen
- Hver lockfile fastlåser en ren version, og intet workflow, ingen Dockerfile og intet script installerer LiteLLM uden en version.
- Intet miljø har payloaden. Kommandoerne ovenfor finder ingen
litellm_init.pthog ingen "System Telemetry Service". - De gamle legitimationsoplysninger virker ikke længere. Tilbagekaldte udbydernøgler og cloud-legitimationsoplysninger er deaktiveret, ikke kun erstattet.
- Ingen trafik til angriberens hosts. DNS- og proxy-logs viser ingen opslag af
models.litellm.cloudellercheckmarx.zoneefter oprydningen. - Det næste build er rent. Tjek den version, det faktisk installerede, ud fra dets log eller SBOM pr. build, ikke kun lockfilen.
Sådan mindsker du skaden næste gang
- Fastlås og brug hashes.
pip install --require-hashesmed en lockfile installerer kun de filer, du har låst, så en ny upload, ondsindet eller ej, ikke kan snige sig ind i et build. - Vent, før du tager nye versioner i brug. De ondsindede versioner lå på PyPI i timevis. En cooldown på afhængighedsopdateringer holder helt nye releases ude af builds, indtil andre har kigget på dem.
- Udgiv med Trusted Publishing. PyPI's rapport anbefaler Trusted Publishers frem for langlivede API-tokens, et separat deployment-miljø til releases, fastlåste afhængigheder i workflows og ingen risikable triggere som
pull_request_target. - Giv dine scannere ingen publish-secrets. Et scan-job har ikke brug for det token, der udgiver din pakke. Kør udgivelse i sit eget job med sine egne secrets. Se GitHub Actions-secrets: sådan lækker de, og sådan låser du dem ned og GitHub Actions-sikkerhed.
- Begræns, hvad builds kan oprette forbindelse til. Et build, der installerer fra PyPI og kører tests, har ikke brug for at nå
models.litellm.cloud. Med en egress-politik fejler uploaden af stjålne secrets fra buildet. Det beskytter buildet, ikke de servere og bærbare, hvor den samme pakke kørte.
Tjek for kompromittering
Fra LiteLLMs indlæg og PYSEC-2026-2:
| Type | Indikator |
|---|---|
| Filer | litellm_init.pth i site-packages (1.82.8); payloaden i litellm/proxy/proxy_server.py (1.82.7 og 1.82.8) |
| Netværk | models.litellm.cloud (eksfiltrering); checkmarx.zone, inklusive https://checkmarx.zone/raw (persistens) |
| Persistens | En systemd-service-unit ved navn "System Telemetry Service"; i Kubernetes en ny pod, du ikke har oprettet |
Hvornår du skal gå ud fra, at der er sket en kompromittering. Hvert miljø, der installerede 1.82.7 eller 1.82.8, fra den første upload, også selvom .pth-filen er væk, og der ikke dukker nogen forbindelse op i dine logs. På en CI-runner havde payloaden jobbets secrets; på en server havde den alt, hvad serveren kunne nå, inklusive cloud-metadata.
Gennemgå, hvad legitimationsoplysningerne har rørt. Tjek audit-logs i cloud, Kubernetes og hos LLM-udbydere fra den 24. marts og frem for aktivitet, du ikke kan forklare. Nøgler til LLM-udbydere er nemme at overse, og LiteLLM findes netop for at rumme mange af dem.
Hvad du skal sige til dine kunder
Hvis dit produkt bruger LiteLLM, eller dine builds kan have installeret det, vil kunderne spørge, om dit produkt eller deres data blev eksponeret. Svar med, hvad du tjekkede, og hvad du gjorde:
Vi har tjekket hvert build og hver deployment af [produkt] mod de ondsindede LiteLLM-versioner 1.82.7 og 1.82.8, der blev udgivet på PyPI den 24. marts 2026. [Intet build eller miljø installerede en berørt version.] / [Builds af [komponent] den [dato] installerede [version]. Vi har roteret hver legitimationsoplysning, disse miljøer havde adgang til, genbygget [produkt] fra rene afhængigheder og udgivet [version]. Vi fandt [ingen tegn på misbrug / følgende: ...].] Release [x til y] er berørt; opgradér venligst til [version].
Hvis du stadig er ved at tjekke, så sig det, og sig, hvornår du svarer. Skabeloner til hvert udfald finder du i sådan svarer du kunder efter et forsyningskædeangreb.
Sådan hjælper CRACI
CRACI kører dine GitHub Actions-jobs på sine egne runnere (runs-on: craci) og registrerer hver pakke, hvert job faktisk henter fra PyPI og andre registre, inklusive pakker gendannet fra caches. En ikke-fastlåst pip install litellm i et workflow-trin, en afhængighed trukket ind af et værktøj eller en installation i et build-script dukker alle op, fordi registreringen kommer fra det, jobbet downloadede, ikke fra det, en lockfile deklarerede. Build-historikken gemmer hvert tidligere build med dets SBOM, så når den næste hændelse som denne bliver annonceret, ser du, hvilke builds der installerede de berørte versioner og hvornår, inden for din opbevaringsperiode (180 dage som standard), og hvert jobs netværkstrace viser, hvad det oprettede forbindelse til.
CRACI's egress-politik begrænser, hvad et job kan oprette forbindelse til, valideres, før jobbet starter, og blokerer ved fejl, så en payload, der sender secrets til en host, buildet ikke har brug for, såsom models.litellm.cloud, bliver blokeret, selv ved et angreb, ingen har set før. Kendte ondsindede releases med en offentliggjort CVE bliver markeret som enhver anden sårbarhed, og policy gates kan blokere builds, der indeholder dem. CRACI opdager ikke ondsindede pakker ud fra adfærd eller omdømme, så en ny bliver ikke markeret, før der findes en advisory. CRACI dækker dine builds; servere og udvikleres maskiner, der installerede pakken, kræver tjekkene ovenfor. For det større billede, se CI/CD-sikkerhed.
Se pakkeregistreringen af et af dine egne builds
Andre hændelser: alle sårbarheder, herunder Trivy-kompromitteringen, der førte til denne, og Shai-Hulud-ormen på npm.
Kilder og opdateringer
Primære kilder:
- LiteLLM: sikkerhedsopdatering, marts 2026, GitHub-issue #24518
- Python Packaging Authority: PYSEC-2026-2 (MAL-2026-2144); PyPI: hændelsesrapport om LiteLLM og Telnyx
- FutureSearch, som rapporterede det
- CVE-2026-33634 (CNA: GitHub), Aqua Securitys GHSA-69fq-xp46-6x23, CISA's KEV-katalog
- FIRST: EPSS-score for CVE-2026-33634
Opdateringer:
- 2026-11-16: Først udgivet.