- mars 2026 ble to ondsinnede versjoner av LiteLLM, Python-biblioteket og gatewayen for å kalle mange LLM-leverandører gjennom ett API, publisert på PyPI: 1.82.7 og 1.82.8. Begge inneholdt et program som stjeler legitimasjon: det samlet inn miljøvariabler, SSH-nøkler, skylegitimasjon, Kubernetes-tokens og databasepassord og sendte dem til
models.litellm.cloud, et domene LiteLLM ikke eier. Den ondsinnede koden nådde aldri LiteLLMs GitHub-repositorium; den ble lastet opp rett til PyPI. Hvis et bygg, et image eller en maskin installerte en av de to versjonene, behandler du det som kompromittert og roterer hver hemmelighet det kunne lese.
Veien inn gikk gjennom en sikkerhetsskanner. LiteLLM sier at de mener kompromitteringen "originated from the Trivy dependency used in our CI/CD security scanning workflow", fem dager etter at leverandørkjedeangrepet på Trivy forgiftet Trivys utgivelser og GitHub Actions. PyPIs hendelsesrapport sier det på samme måte: de ondsinnede utgivelsene kom "after an API token exposure from an exploited Trivy dependency." Et verktøy som ble lagt til for å gjøre pipelinen tryggere, ga fra seg legitimasjonen som publiserte pakken.
Hva som skjedde
| Når (UTC) | Hva som skjedde |
|---|---|
| 19. til 23. mars | Trivy v0.69.4, trivy-action- og setup-trivy-taggene og to Docker Hub-images ble kompromittert med et program som stjeler legitimasjon og kjørte i CI-jobber (CVE-2026-33634). |
| 24. mars, 10:39 | Ifølge LiteLLM ble de ondsinnede versjonene publisert på PyPI. 1.82.7 hadde nyttelasten i litellm/proxy/proxy_server.py; 1.82.8 la i tillegg til en litellm_init.pth-fil som kjører ved hver Python-oppstart. |
| 24. mars | FutureSearch oppdaget det da LiteLLM kom inn som en transitiv avhengighet av en MCP-plugin som kjørte i Cursor, og .pth-filen startet prosesser til maskinen krasjet, en feil i skadevaren. Brukere rapporterte det på GitHub og til PyPI. |
| 24. mars | PyPI satte prosjektet i karantene. Rapporten teller 1 time og 19 minutter fra opplasting til den første rapporten om skadevare og 2 timer og 32 minutter fra opplasting til karantene, og mer enn 119 000 nedlastinger av de ondsinnede versjonene. Python Packaging Authority publiserte PYSEC-2026-2 samme dag. |
| 24. til 30. mars | LiteLLM fjernet pakkene, roterte legitimasjonen til vedlikeholderne, engasjerte Googles Mandiant til teknisk etterforskning av bygge- og publiseringskjeden, satte utgivelser på pause og gikk gjennom hver utgivelse fra 1.78.0 til 1.82.6 og fant dem rene. |
| 26. mars | CISA la CVE-2026-33634, der CVE-oppføringen oppgir LiteLLM 1.82.7 og 1.82.8 sammen med Trivy, til i KEV-katalogen. |
| 30. mars | LiteLLM kunngjorde 1.83.0, bygget gjennom en ny utgivelsespipeline med isolerte miljøer, og begynte å signere GHCR-imagene sine med cosign. |
Den samme CVE-oppføringen oppgir også telnyx 4.87.1 og 4.87.2, en annen PyPI-pakke som fikk en bakdør i den samme kampanjen, og som PyPIs rapport dekker sammen med LiteLLM. LiteLLMs eget innlegg lar det stå åpent hvordan opplastingen skjedde: de tidlige funnene tyder på at angriperen gikk utenom de offisielle CI/CD-workflowene og lastet opp direkte til PyPI, muligens via en vedlikeholders kompromitterte PyPI-konto. Både LiteLLM og telnyx har siden gått over til PyPIs Trusted Publishing, ifølge PyPI.
Hvem som er berørt
Ifølge LiteLLMs sikkerhetsvarsel kan du være berørt hvis du mellom 10:39 og 16:00 UTC 24. mars 2026:
- installerte eller oppgraderte LiteLLM med
pip, - kjørte en upinnet
pip install litellmog fikk 1.82.7 eller 1.82.8, - bygget et Docker-image med en upinnet LiteLLM-installasjon, eller
- installerte noe som er avhengig av LiteLLM uten å pinne det, for eksempel et agentrammeverk eller en MCP-server.
Du er ikke berørt hvis du brukte LiteLLM Cloud, det offisielle Docker-imaget ghcr.io/berriai/litellm (som pinner avhengighetene sine), versjon 1.82.6 eller eldre uten å oppgradere i tidsvinduet, eller LiteLLM installert fra kildekoden på GitHub.
Tidsvinduet LiteLLM oppgir (mer enn fem timer), er bredere enn de 2 timene og 32 minuttene PyPI rapporterer fra opplasting til karantene. Bruk det bredeste. Regn også med kopier som ble installert senere fra en cache eller et speil: en pip-cache, en uv-cache, en wheel i en intern pakkeproxy eller et Docker-lag bygget den dagen kan fortsatt inneholde en ondsinnet versjon.
Slik fungerer det
Sikkerhetsvarselet fra PyPA og LiteLLMs innlegg beskriver nyttelasten:
- Den kjører uten å bli kalt. 1.82.7 la tyveprogrammet i
litellm/proxy/proxy_server.py; ifølge sikkerhetsvarselet fra PyPA kjører det når en hvilken som helst modul fra pakken importeres. 1.82.8 leverte i tillegglitellm_init.pthisite-packages. Pythonssite-modul leser hver.pth-fil når interpreteren starter, og kjører linjer som begynner medimport, så hver Python-prosess i det miljøet kjørte nyttelasten, enten den brukte LiteLLM eller ikke: en testkjøring, en linter,pipselv. - Den samler inn alt den når. Miljøvariabler, SSH-nøkler, legitimasjon for Git og Docker,
.env-filer, tokens for Kubernetes-tjenestekontoer, database- og LDAP-konfigurasjon, skallhistorikk og kryptolommebøker. Den spør skyens metadataservere etter tilgangstokens og leser hemmeligheter fra AWS Secrets Manager. - Den sender dem ut. Dataene går til
models.litellm.cloud, som ser ut som LiteLLMs eget domene, men ikke er det. - Den blir værende. Den installerer en systemd-tjeneste forkledd som "System Telemetry Service", oppretter en ny pod i et Kubernetes-miljø, og persistensskriptet kontakter
checkmarx.zonefor flere instruksjoner.
Sikkerhetsvarselet klassifiserer det som innebygd ondsinnet kode (CWE-506). Ingenting i kildekoden til LiteLLM var feil; pakken på PyPI stemte ikke med kildekoden.
I en CI-jobb møtes det første og det andre punktet. Et bygg som installerer avhengigheter og deretter kjører tester, starter en Python-interpreter nesten med en gang, og jobbens miljø inneholder hemmelighetene den trenger for å publisere og rulle ut.
Slik sjekker du om du er berørt
- Søk i hver lockfile og hver requirements-fil på hver gren etter
litellm1.82.7 eller 1.82.8:requirements*.txt,poetry.lock,uv.lock,Pipfile.lockogpdm.lock. - Finn upinnede installasjoner. En
pip install litellmuten versjon i en workflow, en Dockerfile eller et skript, og en avhengighet som henter inn LiteLLM uten pin, ble løst til den ondsinnede versjonen i tidsvinduet. Brukpip show litellmellerpipdeptree -r -p litellmi et bygget miljø for å se hvorfor LiteLLM er der. - Sjekk hva bygg installerte 24. mars. I CI skriver pip ut
Successfully installed ... litellm-1.82.7. Hvis loggene fortsatt finnes, søk i dem; GitHub sletter Actions-logger etter 90 dager som standard, så for mars 2026 er de vanligvis borte. - Sjekk images og miljøer. Kjør kommandoene nedenfor i hvert image som ble bygget den uken, og på utviklermaskiner og servere som installerte Python-pakker den dagen.
- Sjekk cacher og speil etter filene
litellm-1.82.7oglitellm-1.82.8.
Kommandoer du kan tilpasse. For å søke i lockfilene på hver ekstern gren:
git fetch --all --quiet
for ref in $(git for-each-ref --format='%(refname:short)' refs/remotes); do
git grep -n -A1 -E 'litellm' "$ref" -- '*requirements*.txt' '*poetry.lock' '*uv.lock' '*Pipfile.lock' '*pdm.lock' \
| grep -E '1\.82\.[78]' | sed "s|^|$ref |"
done
For å sjekke en maskin, en runner eller en container for pakken, .pth-filen, bufrede kopier og persistenstjenesten:
python -m pip show litellm 2>/dev/null | grep -i '^version'
find / -name 'litellm_init.pth' 2>/dev/null
find / \( -name 'litellm-1.82.7*' -o -name 'litellm-1.82.8*' \) 2>/dev/null
grep -rl 'System Telemetry Service' /etc/systemd /usr/lib/systemd ~/.config/systemd 2>/dev/null
For å sjekke et image du har bygget (bytt ut IMAGE):
docker run --rm --entrypoint sh IMAGE -c \
"pip show litellm 2>/dev/null | grep -i ^version; find / -name litellm_init.pth 2>/dev/null"
Derfor avgjør ikke lockfilen saken
- Upinnede installasjoner etterlater ingen registrering.
pip install litellmi en workflow eller en Dockerfile løses ved byggetidspunktet. Repositoriet sier aldri hvilken versjon det bygget fikk. - Transitive avhengigheter. FutureSearch oppdaget angrepet fordi LiteLLM kom inn via en MCP-plugin, ikke via noe i deres eget prosjekt. AI-verktøy installerer ofte sine egne avhengigheter ved kjøring.
- Cacher lever lenger enn tidsvinduet. En wheel som ble bufret 24. mars, kan installeres uker senere av et bygg som aldri var i kontakt med PyPI.
- Et image kan bære den i månedsvis. Et image som ble bygget i tidsvinduet, bærer den ondsinnede versjonen så lenge det er rullet ut, og hver gang det starter, kjører
.pth-filen.
Du trenger en registrering av hvilke pakkeversjoner hvert bygg faktisk installerte, lagret per bygg. Se er vi berørt? slik vurderer du en ny CVE på tvers av byggene dine.
Slik retter du det, og hva du gjør hvis du ikke kan patche ennå
- Behandle hvert miljø som installerte 1.82.7 eller 1.82.8, som kompromittert. PyPAs råd er å "assume any credentials available to litellm environment may have been exposed, and revoke/rotate them accordingly." Roter API-nøkler for hver LLM-leverandør, skynøkler, databasepassord, SSH-nøkler, Kubernetes-tokens og alt som ligger i miljøvariabler eller konfigurasjonsfiler.
- Isoler og undersøk verten. Fjern
litellm_init.pth, deaktiver og slett enheten "System Telemetry Service", slett poder du ikke har opprettet, og gå gjennom verten "against any unexpected modifications and network traffic", slik sikkerhetsvarselet ber om. Hvis du heller kan bygge opp en vert eller runner på nytt fra et rent image, gjør det. - Installer en ren versjon. Pin til 1.82.6 eller eldre, eller til 1.83.0 eller nyere, og bygg på nytt hvert image som ble bygget i tidsvinduet.
- Tøm cacher og speil. Slett de to versjonene fra pip- og uv-cacher, interne pakkeproxyer og CI-cacher:
pip cache remove 'litellm*'
uv cache clean litellm
gh cache delete --all --repo ORG/REPO # GitHub Actions caches, per repository
Bekreft rettelsen
- Hver lockfile pinner en ren versjon, og ingen workflow, Dockerfile eller skript installerer LiteLLM uten versjon.
- Ingen miljøer har nyttelasten. Kommandoene over finner ingen
litellm_init.pthog ingen "System Telemetry Service". - Den gamle legitimasjonen virker ikke lenger. Tilbakekalte leverandørnøkler og skylegitimasjon er deaktivert, ikke bare erstattet.
- Ingen trafikk til angriperens verter. DNS- og proxylogger viser ingen oppslag av
models.litellm.cloudellercheckmarx.zoneetter oppryddingen. - Neste bygg er rent. Sjekk versjonen det faktisk installerte, fra loggen eller SBOM-en per bygg, ikke bare lockfilen.
Slik begrenser du skaden neste gang
- Pin og bruk hasher.
pip install --require-hashesmed en lockfile installerer bare filene du låste, så en ny opplasting, ondsinnet eller ikke, kan ikke snike seg inn i et bygg. - Vent før du tar i bruk nye versjoner. De ondsinnede versjonene lå på PyPI i flere timer. En karenstid for avhengighetsoppdateringer holder helt nye utgivelser ute av bygg til andre har sett på dem.
- Publiser med Trusted Publishing. PyPIs rapport anbefaler Trusted Publishers fremfor langlivede API-tokens, et eget utrullingsmiljø for utgivelser, pinnede avhengigheter i workflows og ingen risikable triggere som
pull_request_target. - Gi skannerne dine ingen publiseringshemmeligheter. En skannejobb trenger ikke tokenet som publiserer pakken din. Kjør publiseringen i en egen jobb med egne hemmeligheter. Se GitHub Actions-hemmeligheter: slik lekker de og slik låser du dem ned og GitHub Actions-sikkerhet.
- Begrens hvor bygg kan koble seg til. Et bygg som installerer fra PyPI og kjører tester, trenger ikke å nå
models.litellm.cloud. Med en egress-policy mislykkes opplastingen av stjålne hemmeligheter fra bygget. Dette beskytter bygget, ikke serverne og de bærbare maskinene der den samme pakken kjørte.
Sjekk om du er kompromittert
Fra LiteLLMs innlegg og PYSEC-2026-2:
| Type | Indikator |
|---|---|
| Filer | litellm_init.pth i site-packages (1.82.8); nyttelasten i litellm/proxy/proxy_server.py (1.82.7 og 1.82.8) |
| Nettverk | models.litellm.cloud (eksfiltrering); checkmarx.zone, inkludert https://checkmarx.zone/raw (persistens) |
| Persistens | En systemd-tjenesteenhet med navnet "System Telemetry Service"; i Kubernetes en ny pod du ikke har opprettet |
Når du skal anta kompromittering. Hvert miljø som installerte 1.82.7 eller 1.82.8, fra den første opplastingen, selv om .pth-filen er borte og ingen tilkobling dukker opp i loggene dine. På en CI-runner hadde nyttelasten jobbens hemmeligheter; på en server hadde den alt serveren kunne nå, inkludert skyens metadata.
Gå gjennom hva legitimasjonen ble brukt til. Sjekk revisjonslogger i skyen, Kubernetes og hos LLM-leverandører fra 24. mars og fremover for aktivitet du ikke kan forklare. Nøkler til LLM-leverandører er lette å overse, og LiteLLM finnes nettopp for å holde mange av dem.
Hva du skal si til kundene dine
Hvis produktet ditt bruker LiteLLM, eller byggene dine kan ha installert det, kommer kundene til å spørre om produktet ditt eller dataene deres ble eksponert. Svar med hva du sjekket og hva du gjorde:
Vi har sjekket hvert bygg og hver utrulling av [produkt] mot de ondsinnede LiteLLM-versjonene 1.82.7 og 1.82.8 som ble publisert på PyPI 24. mars 2026. [Ingen bygg eller miljøer installerte en berørt versjon.] / [Bygg av [komponent] [dato] installerte [versjon]. Vi har rotert all legitimasjon disse miljøene hadde tilgang til, bygget [produkt] på nytt fra rene avhengigheter og gitt ut [versjon]. Vi fant [ingen tegn på misbruk / følgende: ...].] Utgivelse [x til y] er berørt; oppgrader til [versjon].
Hvis du fortsatt sjekker, si det, og si når du kommer til å svare. Maler for hvert utfall finner du i slik svarer du kunder etter et leverandørkjedeangrep.
Slik hjelper CRACI
CRACI kjører GitHub Actions-jobbene dine på egne runnere (runs-on: craci) og registrerer hver pakke hver jobb faktisk henter fra PyPI og andre registre, inkludert pakker gjenopprettet fra cacher. En upinnet pip install litellm i et workflow-steg, en avhengighet som et verktøy henter inn, eller en installasjon inne i et byggeskript dukker alle opp, fordi registreringen kommer fra det jobben lastet ned, ikke fra det en lockfile oppga. Bygghistorikken tar vare på hvert tidligere bygg med SBOM-en, så når neste hendelse av denne typen blir kjent, ser du hvilke bygg som installerte de berørte versjonene og når, innenfor oppbevaringsperioden din (180 dager som standard), og hver jobbs nettverksspor viser hva den koblet seg til.
CRACIs egress-policy begrenser hvor en jobb kan koble seg til, valideres før jobben starter og blokkerer ved feil, så en nyttelast som sender hemmeligheter til en vert bygget ikke trenger, for eksempel models.litellm.cloud, blir blokkert, selv ved et angrep ingen har sett før. Kjente ondsinnede utgivelser med en publisert CVE flagges som enhver annen sårbarhet, og policy gates kan blokkere bygg som inneholder dem. CRACI oppdager ikke ondsinnede pakker ut fra atferd eller omdømme, så en ny pakke flagges ikke før et sikkerhetsvarsel finnes. CRACI dekker byggene dine; servere og utviklermaskiner som installerte pakken, trenger sjekkene over. For det store bildet, se CI/CD-sikkerhet.
Se pakkeregistreringen fra et av dine egne bygg
Andre hendelser: alle sårbarheter, blant dem Trivy-kompromitteringen som førte til denne, og Shai-Hulud-ormen på npm.
Kilder og oppdateringer
Primærkilder:
- LiteLLM: sikkerhetsoppdatering, mars 2026, GitHub-issue #24518
- Python Packaging Authority: PYSEC-2026-2 (MAL-2026-2144); PyPI: hendelsesrapport om LiteLLM og Telnyx
- FutureSearch, som rapporterte det
- CVE-2026-33634 (CNA: GitHub), Aqua Securitys GHSA-69fq-xp46-6x23, CISAs KEV-katalog
- FIRST: EPSS-poeng for CVE-2026-33634
Oppdateringer:
- 2026-11-16: Først publisert.