Op 24 maart 2026 werden twee kwaadaardige versies van LiteLLM, de Python-bibliotheek en gateway om veel LLM-providers via één API aan te roepen, op PyPI gepubliceerd: 1.82.7 en 1.82.8. Beide bevatten een stealer die omgevingsvariabelen, SSH-sleutels, cloudinloggegevens, Kubernetes-tokens en databasewachtwoorden verzamelde en naar models.litellm.cloud stuurde, een domein dat niet van LiteLLM is. De kwaadaardige code bereikte de GitHub-repository van LiteLLM nooit; hij werd rechtstreeks naar PyPI geüpload. Heeft een build, image of machine een van de twee versies geïnstalleerd, behandel die dan als gecompromitteerd en roteer elk secret dat kon worden gelezen.
De weg naar binnen liep via een securityscanner. LiteLLM zegt te denken dat de compromittering "originated from the Trivy dependency used in our CI/CD security scanning workflow", vijf dagen nadat de aanval op de softwareketen van Trivy de releases en GitHub Actions van Trivy had vergiftigd. Het incidentrapport van PyPI zegt hetzelfde: de kwaadaardige releases kwamen "after an API token exposure from an exploited Trivy dependency." Een tool die was toegevoegd om de pipeline veiliger te maken, gaf de inloggegevens prijs waarmee het pakket werd gepubliceerd.
Wat er gebeurde
| Wanneer (UTC) | Wat er gebeurde |
|---|---|
| 19 tot 23 maart | Trivy v0.69.4, de tags van trivy-action en setup-trivy en twee Docker Hub-images werden gecompromitteerd met een stealer voor inloggegevens die in CI-jobs draaide (CVE-2026-33634). |
| 24 maart, 10:39 | Volgens LiteLLM gingen de kwaadaardige versies live op PyPI. 1.82.7 bevatte de payload in litellm/proxy/proxy_server.py; 1.82.8 voegde daarnaast een bestand litellm_init.pth toe dat bij elke start van Python draait. |
| 24 maart | FutureSearch ontdekte het toen LiteLLM binnenkwam als transitieve afhankelijkheid van een MCP-plug-in die in Cursor draaide, en het .pth-bestand processen startte tot de machine crashte, een bug in de malware. Gebruikers meldden het op GitHub en bij PyPI. |
| 24 maart | PyPI zette het project in quarantaine. Het rapport telt 1 uur en 19 minuten van upload tot de eerste malwaremelding en 2 uur en 32 minuten van upload tot quarantaine, en meer dan 119.000 downloads van de kwaadaardige versies. De Python Packaging Authority publiceerde dezelfde dag PYSEC-2026-2. |
| 24 tot 30 maart | LiteLLM verwijderde de pakketten, roteerde de inloggegevens van maintainers, schakelde Mandiant van Google in voor forensisch onderzoek van de build- en publicatieketen, pauzeerde releases en bevond na een audit elke release van 1.78.0 tot en met 1.82.6 schoon. |
| 26 maart | CISA voegde CVE-2026-33634, waarvan het CVE-record LiteLLM 1.82.7 en 1.82.8 naast Trivy noemt, toe aan zijn KEV-catalogus. |
| 30 maart | LiteLLM kondigde 1.83.0 aan, gebouwd via een nieuwe releasepipeline met geïsoleerde omgevingen, en begon zijn GHCR-images met cosign te ondertekenen. |
Hetzelfde CVE-record noemt ook telnyx 4.87.1 en 4.87.2, een tweede PyPI-pakket dat in dezelfde campagne van een backdoor werd voorzien en dat het rapport van PyPI naast LiteLLM behandelt. Het eigen bericht van LiteLLM laat open hoe de upload tot stand kwam: het vroege bewijs wijst erop dat de aanvaller de officiële CI/CD-workflows omzeilde en rechtstreeks naar PyPI uploadde, mogelijk via een gecompromitteerd PyPI-account van een maintainer. Volgens PyPI zijn zowel LiteLLM als telnyx inmiddels overgestapt op Trusted Publishing van PyPI.
Wie getroffen is
Volgens het advies van LiteLLM bent u mogelijk getroffen als u op 24 maart 2026 tussen 10:39 en 16:00 UTC:
- LiteLLM met
piphebt geïnstalleerd of bijgewerkt, - een niet-gepinde
pip install litellmhebt gedraaid en 1.82.7 of 1.82.8 kreeg, - een Docker-image hebt gebouwd met een niet-gepinde installatie van LiteLLM, of
- iets hebt geïnstalleerd dat van LiteLLM afhangt zonder het te pinnen, zoals een agentframework of een MCP-server.
U bent niet getroffen als u LiteLLM Cloud gebruikte, het officiële Docker-image ghcr.io/berriai/litellm (dat zijn afhankelijkheden pint), versie 1.82.6 of eerder zonder in het tijdvenster bij te werken, of LiteLLM geïnstalleerd vanuit de GitHub-broncode.
Het tijdvenster dat LiteLLM geeft (meer dan vijf uur) is ruimer dan de 2 uur en 32 minuten van upload tot quarantaine die PyPI rapporteert. Gebruik het ruimere venster. Tel ook kopieën mee die later uit een cache of mirror zijn geïnstalleerd: een pip-cache, een uv-cache, een wheel in een interne pakketproxy of een Docker-laag die die dag is gebouwd, kan nog steeds een kwaadaardige versie bevatten.
Hoe het werkt
Het advies van PyPA en het bericht van LiteLLM beschrijven de payload:
- Hij draait zonder te worden aangeroepen. 1.82.7 plaatste de stealer in
litellm/proxy/proxy_server.py; volgens het advies van PyPA draait hij wanneer een willekeurige module uit het pakket wordt geïmporteerd. 1.82.8 leverde daarnaastlitellm_init.pthmee insite-packages. De modulesitevan Python leest bij de start van de interpreter elk.pth-bestand en voert regels uit die beginnen metimport, dus elk Python-proces in die omgeving draaide de payload, of het LiteLLM nu gebruikte of niet: een testrun, een linter,pipzelf. - Hij verzamelt alles binnen bereik. Omgevingsvariabelen, SSH-sleutels, inloggegevens voor Git en Docker,
.env-bestanden, tokens van Kubernetes-serviceaccounts, database- en LDAP-configuratie, shellgeschiedenissen en cryptowallets. Hij vraagt bij metadataservers van de cloud toegangstokens op en leest secrets uit AWS Secrets Manager. - Hij stuurt ze weg. De gegevens gaan naar
models.litellm.cloud, dat eruitziet als een eigen domein van LiteLLM, maar dat niet is. - Hij blijft. Hij installeert een systemd-service vermomd als "System Telemetry Service", maakt in een Kubernetes-omgeving een nieuwe pod aan, en het persistentiescript neemt contact op met
checkmarx.zonevoor verdere instructies.
Het advies classificeert het als ingebedde kwaadaardige code (CWE-506). Er was niets mis met de broncode van LiteLLM; het pakket op PyPI kwam niet overeen met de broncode.
In een CI-job komen het eerste en het tweede punt samen. Een build die afhankelijkheden installeert en daarna tests draait, start vrijwel direct een Python-interpreter, en de omgeving van de job bevat de secrets die nodig zijn om te publiceren en te deployen.
Hoe u controleert of u getroffen bent
- Doorzoek elke lockfile en elk requirements-bestand op elke branch op
litellm1.82.7 of 1.82.8:requirements*.txt,poetry.lock,uv.lock,Pipfile.lockenpdm.lock. - Zoek niet-gepinde installaties. Een
pip install litellmzonder versie in een workflow, Dockerfile of script, en een afhankelijkheid die LiteLLM zonder pin binnenhaalt, werden tijdens het tijdvenster opgelost naar de kwaadaardige versie. Gebruikpip show litellmofpipdeptree -r -p litellmin een gebouwde omgeving om te zien waarom LiteLLM er is. - Controleer wat builds op 24 maart installeerden. In CI toont pip
Successfully installed ... litellm-1.82.7. Bestaan de logs nog, doorzoek ze dan; GitHub verwijdert Actions-logs standaard na 90 dagen, dus voor maart 2026 zijn ze meestal weg. - Controleer images en omgevingen. Draai de onderstaande commando's in elk image dat die week is gebouwd, en op ontwikkelaarsmachines en servers die die dag Python-pakketten installeerden.
- Controleer caches en mirrors op bestanden
litellm-1.82.7enlitellm-1.82.8.
Commando's die u kunt aanpassen. Om de lockfiles van elke remote branch te doorzoeken:
git fetch --all --quiet
for ref in $(git for-each-ref --format='%(refname:short)' refs/remotes); do
git grep -n -A1 -E 'litellm' "$ref" -- '*requirements*.txt' '*poetry.lock' '*uv.lock' '*Pipfile.lock' '*pdm.lock' \
| grep -E '1\.82\.[78]' | sed "s|^|$ref |"
done
Om een machine, runner of container te controleren op het pakket, het .pth-bestand, gecachete kopieën en de persistentieservice:
python -m pip show litellm 2>/dev/null | grep -i '^version'
find / -name 'litellm_init.pth' 2>/dev/null
find / \( -name 'litellm-1.82.7*' -o -name 'litellm-1.82.8*' \) 2>/dev/null
grep -rl 'System Telemetry Service' /etc/systemd /usr/lib/systemd ~/.config/systemd 2>/dev/null
Om een image te controleren dat u hebt gebouwd (vervang IMAGE):
docker run --rm --entrypoint sh IMAGE -c \
"pip show litellm 2>/dev/null | grep -i ^version; find / -name litellm_init.pth 2>/dev/null"
Waarom de lockfile niet de doorslag geeft
- Niet-gepinde installaties laten geen record achter.
pip install litellmin een workflow of Dockerfile wordt bij het bouwen opgelost. De repository zegt nooit welke versie die build kreeg. - Transitieve afhankelijkheden. FutureSearch vond de aanval omdat LiteLLM binnenkwam via een MCP-plug-in, niet via iets in het eigen project. AI-tooling installeert vaak tijdens het draaien zijn eigen afhankelijkheden.
- Caches leven langer dan het tijdvenster. Een wheel die op 24 maart is gecachet, kan weken later worden geïnstalleerd door een build die PyPI nooit heeft aangeraakt.
- Een image kan het maandenlang meedragen. Een image dat in het tijdvenster is gebouwd, draagt de kwaadaardige versie mee zolang het is gedeployed, en bij elke start draait het
.pth-bestand.
U hebt een record per build nodig van welke pakketversies elke build daadwerkelijk heeft geïnstalleerd. Zie worden wij getroffen? Hoe u een nieuwe CVE over al uw builds beoordeelt.
Hoe u het oplost, en wat u doet als u nog niet kunt patchen
- Behandel elke omgeving die 1.82.7 of 1.82.8 installeerde als gecompromitteerd. Het advies van PyPA is: "assume any credentials available to litellm environment may have been exposed, and revoke/rotate them accordingly." Roteer API-sleutels voor elke LLM-provider, cloudsleutels, databasewachtwoorden, SSH-sleutels, Kubernetes-tokens en alles in omgevingsvariabelen of configuratiebestanden.
- Isoleer en inspecteer de host. Verwijder
litellm_init.pth, schakel de unit "System Telemetry Service" uit en verwijder hem, verwijder pods die u niet hebt aangemaakt, en controleer de host "against any unexpected modifications and network traffic", zoals het advies vraagt. Kunt u een host of runner in plaats daarvan opnieuw opbouwen vanuit een schoon image, doe dat dan. - Installeer een schone versie. Pin op 1.82.6 of eerder, of op 1.83.0 of later, en bouw elk image opnieuw dat in het tijdvenster is gebouwd.
- Leeg caches en mirrors. Verwijder de twee versies uit pip- en uv-caches, interne pakketproxy's en CI-caches:
pip cache remove 'litellm*'
uv cache clean litellm
gh cache delete --all --repo ORG/REPO # GitHub Actions caches, per repository
Controleer de oplossing
- Elke lockfile pint een schone versie, en geen enkele workflow, Dockerfile of script installeert LiteLLM zonder versie.
- Geen enkele omgeving bevat de payload. De commando's hierboven vinden geen
litellm_init.pthen geen "System Telemetry Service". - De oude inloggegevens werken niet meer. Ingetrokken providersleutels en cloudinloggegevens zijn gedeactiveerd, niet alleen vervangen.
- Geen verkeer naar de hosts van de aanvaller. DNS- en proxylogs tonen na het opruimen geen lookups van
models.litellm.cloudofcheckmarx.zone. - De volgende build is schoon. Controleer de versie die hij daadwerkelijk installeerde, aan de hand van zijn log of SBOM per build, niet alleen de lockfile.
Hoe u de schade de volgende keer beperkt
- Pin en hash.
pip install --require-hashesmet een lockfile installeert alleen de bestanden die u hebt vastgelegd, zodat een nieuwe upload, kwaadaardig of niet, niet ongemerkt in een build terechtkomt. - Wacht voordat u nieuwe versies overneemt. De kwaadaardige versies stonden uren op PyPI. Een wachttijd voor updates van afhankelijkheden houdt gloednieuwe releases buiten builds totdat anderen ze hebben bekeken.
- Publiceer met Trusted Publishing. Het rapport van PyPI raadt Trusted Publishers aan in plaats van langlevende API-tokens, een aparte deploymentomgeving voor releases, gepinde afhankelijkheden in workflows en geen riskante triggers zoals
pull_request_target. - Geef uw scanners geen publicatiesecrets. Een scanjob heeft het token waarmee u uw pakket publiceert niet nodig. Draai het publiceren in een eigen job met eigen secrets. Zie GitHub Actions-secrets: hoe ze lekken en hoe u ze afschermt en GitHub Actions-beveiliging.
- Beperk waarmee builds verbinding kunnen maken. Een build die van PyPI installeert en tests draait, hoeft
models.litellm.cloudniet te bereiken. Met een egressbeleid mislukt de upload van gestolen secrets vanuit de build. Dat beschermt de build, niet de servers en laptops waar hetzelfde pakket draaide.
Controleren op compromittering
Uit het bericht van LiteLLM en PYSEC-2026-2:
| Type | Indicator |
|---|---|
| Bestanden | litellm_init.pth in site-packages (1.82.8); de payload in litellm/proxy/proxy_server.py (1.82.7 en 1.82.8) |
| Netwerk | models.litellm.cloud (exfiltratie); checkmarx.zone, inclusief https://checkmarx.zone/raw (persistentie) |
| Persistentie | Een systemd-service-unit met de naam "System Telemetry Service"; in Kubernetes een nieuwe pod die u niet hebt aangemaakt |
Wanneer u van compromittering moet uitgaan. Elke omgeving die 1.82.7 of 1.82.8 installeerde, vanaf de eerste upload, ook als het .pth-bestand weg is en er geen verbinding in uw logs verschijnt. Op een CI-runner had de payload de secrets van de job; op een server had hij alles wat de server kon bereiken, inclusief cloudmetadata.
Controleer waar de inloggegevens aan hebben gezeten. Controleer de auditlogs van cloud, Kubernetes en LLM-providers vanaf 24 maart op activiteit die u niet kunt verklaren. Sleutels van LLM-providers worden makkelijk over het hoofd gezien, en LiteLLM bestaat juist om er veel te bewaren.
Wat u uw klanten vertelt
Als uw product LiteLLM gebruikt, of uw builds het mogelijk hebben geïnstalleerd, zullen klanten vragen of uw product of hun gegevens zijn blootgesteld. Antwoord met wat u hebt gecontroleerd en wat u hebt gedaan:
Wij hebben elke build en deployment van [product] gecontroleerd op de kwaadaardige LiteLLM-versies 1.82.7 en 1.82.8 die op 24 maart 2026 op PyPI werden gepubliceerd. [Geen enkele build of omgeving installeerde een getroffen versie.] / [Builds van [component] op [datum] installeerden [versie]. Wij hebben elk inloggegeven geroteerd waartoe die omgevingen toegang hadden, [product] opnieuw gebouwd met schone afhankelijkheden en [versie] uitgebracht. Wij hebben [geen aanwijzingen voor misbruik gevonden / het volgende gevonden: ...].] Releases [x tot y] zijn getroffen; werk bij naar [versie].
Bent u nog aan het controleren, zeg dat dan en zeg wanneer u antwoord geeft. Voor sjablonen voor elke uitkomst, zie hoe u klanten antwoordt na een aanval op de softwareketen.
Hoe CRACI helpt
CRACI draait uw GitHub Actions-jobs op eigen runners (runs-on: craci) en legt elk pakket vast dat elke job daadwerkelijk ophaalt uit PyPI en andere registers, inclusief pakketten die uit caches zijn teruggezet. Een niet-gepinde pip install litellm in een workflowstap, een afhankelijkheid die door een tool wordt binnengehaald of een installatie in een buildscript verschijnen allemaal, omdat het record uitgaat van wat de job heeft gedownload, niet van wat een lockfile declareerde. De buildgeschiedenis bewaart elke eerdere build met zijn SBOM, zodat u, wanneer het volgende incident als dit wordt aangekondigd, binnen uw bewaartermijn (standaard 180 dagen) ziet welke builds de getroffen versies installeerden en wanneer, en de netwerktrace van elke job toont waarmee die verbinding maakte.
Het egressbeleid van CRACI beperkt waarmee een job verbinding kan maken, wordt gevalideerd voordat de job start en valt veilig dicht, dus een payload die secrets naar een host stuurt die de build niet nodig heeft, zoals models.litellm.cloud, wordt geblokkeerd, zelfs bij een aanval die nog niemand eerder heeft gezien. Bekende kwaadaardige releases met een gepubliceerde CVE worden gemarkeerd zoals elke andere kwetsbaarheid, en policy gates kunnen builds blokkeren die ze bevatten. CRACI detecteert kwaadaardige pakketten niet op basis van gedrag of reputatie, dus een nieuw kwaadaardig pakket wordt niet gemarkeerd voordat er een advies bestaat. CRACI dekt uw builds; servers en ontwikkelaarsmachines die het pakket installeerden, hebben de controles hierboven nodig. Voor het bredere beeld, zie CI/CD-beveiliging.
Bekijk het pakketrecord van een van uw eigen builds
Andere incidenten: alle kwetsbaarheden, waaronder de compromittering van Trivy die hiertoe leidde en de npm-worm Shai-Hulud.
Bronnen en updates
Primaire bronnen:
- LiteLLM: security-update, maart 2026, GitHub-issue #24518
- Python Packaging Authority: PYSEC-2026-2 (MAL-2026-2144); PyPI: incidentrapport over LiteLLM en Telnyx
- FutureSearch, dat het meldde
- CVE-2026-33634 (CNA: GitHub), GHSA-69fq-xp46-6x23 van Aqua Security, de KEV-catalogus van CISA
- FIRST: EPSS-score voor CVE-2026-33634
Updates:
- 2026-11-16: Eerste publicatie.