24 marca 2026 roku do PyPI opublikowano dwie złośliwe wersje LiteLLM, biblioteki i bramy w Pythonie do wywoływania wielu dostawców LLM przez jedno API: 1.82.7 i 1.82.8. Obie zawierały program kradnący poświadczenia, który zbierał zmienne środowiskowe, klucze SSH, poświadczenia chmurowe, tokeny Kubernetes i hasła do baz danych, a następnie wysyłał je do models.litellm.cloud, domeny, która nie należy do LiteLLM. Złośliwy kod nigdy nie trafił do repozytorium LiteLLM w GitHub; został przesłany bezpośrednio do PyPI. Jeśli jakikolwiek build, obraz lub maszyna zainstalowały jedną z tych dwóch wersji, należy traktować je jako przejęte i zrotować każdy sekret, który mogły odczytać.
Drogą wejścia był skaner bezpieczeństwa. LiteLLM podaje, że jego zdaniem przejęcie „zaczęło się od zależności Trivy używanej w naszym workflow skanowania bezpieczeństwa CI/CD”, pięć dni po tym, jak atak na łańcuch dostaw Trivy zatruł wydania i akcje GitHub Actions Trivy. Raport PyPI z incydentu ujmuje to tak samo: złośliwe wydania pojawiły się „po ujawnieniu tokenu API z przejętej zależności Trivy”. Narzędzie dodane po to, by pipeline był bezpieczniejszy, oddało poświadczenia, którymi opublikowano pakiet.
Co się wydarzyło
| Kiedy (UTC) | Co się wydarzyło |
|---|---|
| Od 19 do 23 marca | Trivy v0.69.4, tagi trivy-action i setup-trivy oraz dwa obrazy w Docker Hub zostały przejęte i zawierały program kradnący poświadczenia, który działał w zadaniach CI (CVE-2026-33634). |
| 24 marca, 10:39 | Według LiteLLM złośliwe wersje pojawiły się w PyPI. 1.82.7 zawierała ładunek w litellm/proxy/proxy_server.py; 1.82.8 dodawała też plik litellm_init.pth, który uruchamia się przy każdym starcie Pythona. |
| 24 marca | FutureSearch wykrył atak, gdy LiteLLM trafił jako zależność przechodnia wtyczki MCP działającej w Cursor, a plik .pth uruchamiał procesy, aż maszyna się zawiesiła, co było błędem w złośliwym oprogramowaniu. Użytkownicy zgłosili to w GitHub i do PyPI. |
| 24 marca | PyPI poddał projekt kwarantannie. Według raportu od przesłania do pierwszego zgłoszenia złośliwego oprogramowania minęła 1 godzina 19 minut, od przesłania do kwarantanny 2 godziny 32 minuty, a złośliwe wersje pobrano ponad 119 000 razy. Python Packaging Authority opublikowała PYSEC-2026-2 tego samego dnia. |
| Od 24 do 30 marca | LiteLLM usunął pakiety, zrotował poświadczenia opiekunów, zlecił firmie Mandiant należącej do Google analizę śledczą łańcucha buildu i publikacji, wstrzymał wydania i zweryfikował wszystkie wydania od 1.78.0 do 1.82.6 jako czyste. |
| 26 marca | CISA dodała do katalogu KEV CVE-2026-33634, którego rekord wymienia LiteLLM 1.82.7 i 1.82.8 obok Trivy. |
| 30 marca | LiteLLM ogłosił wersję 1.83.0, zbudowaną w nowym pipeline wydań z izolowanymi środowiskami, i zaczął podpisywać swoje obrazy GHCR za pomocą cosign. |
Ten sam rekord CVE wymienia też telnyx 4.87.1 i 4.87.2, drugi pakiet PyPI z tylną furtką z tej samej kampanii, który raport PyPI omawia obok LiteLLM. Wpis LiteLLM pozostawia otwartą kwestię, jak doszło do przesłania: wstępne dowody wskazują, że atakujący ominął oficjalne workflowy CI/CD i przesłał pakiety bezpośrednio do PyPI, być może przez przejęte konto opiekuna w PyPI. Według PyPI zarówno LiteLLM, jak i telnyx przeszły od tego czasu na Trusted Publishing w PyPI.
Kogo to dotyczy
Według biuletynu LiteLLM może to Państwa dotyczyć, jeśli 24 marca 2026 roku między 10:39 a 16:00 UTC:
- zainstalowali lub zaktualizowali Państwo LiteLLM za pomocą
pip, - uruchomili Państwo nieprzypięte
pip install litellmi otrzymali 1.82.7 lub 1.82.8, - zbudowali Państwo obraz Docker z nieprzypiętą instalacją LiteLLM lub
- coś, co Państwo zainstalowali, zależy od LiteLLM bez przypięcia wersji, na przykład framework agentów lub serwer MCP.
Nie dotyczy to Państwa, jeśli używali Państwo LiteLLM Cloud, oficjalnego obrazu Docker ghcr.io/berriai/litellm (który przypina swoje zależności), wersji 1.82.6 lub starszej bez aktualizacji w tym okresie albo LiteLLM zainstalowanego ze źródeł w GitHub.
Okres podany przez LiteLLM (ponad pięć godzin) jest szerszy niż 2 godziny 32 minuty, które PyPI podaje od przesłania do kwarantanny. Należy przyjąć szerszy. Trzeba też uwzględnić kopie zainstalowane później z cache lub mirrora: cache pip, cache uv, plik wheel w wewnętrznym proxy pakietów lub warstwa Docker zbudowana tego dnia mogą nadal zawierać złośliwą wersję.
Jak to działa
Biuletyn PyPA i wpis LiteLLM opisują ładunek:
- Uruchamia się bez wywołania. 1.82.7 umieszczała stealer w
litellm/proxy/proxy_server.py; biuletyn PyPA podaje, że uruchamia się on przy imporcie dowolnego modułu z pakietu. 1.82.8 dostarczała dodatkowolitellm_init.pthwsite-packages. ModułsitePythona odczytuje przy starcie interpretera każdy plik.pthi wykonuje wiersze zaczynające się odimport, więc każdy proces Pythona w tym środowisku uruchamiał ładunek, niezależnie od tego, czy używał LiteLLM: przebieg testów, linter, a nawet sampip. - Zbiera wszystko w zasięgu. Zmienne środowiskowe, klucze SSH, poświadczenia Git i Docker, pliki
.env, tokeny kont usług Kubernetes, konfigurację baz danych i LDAP, historie powłoki oraz portfele kryptowalut. Odpytuje serwery metadanych chmury o tokeny dostępu i odczytuje sekrety z AWS Secrets Manager. - Wysyła je. Dane trafiają do
models.litellm.cloud, domeny, która wygląda jak własna domena LiteLLM, ale nią nie jest. - Zostaje. Instaluje usługę systemd podszywającą się pod „System Telemetry Service”, tworzy nowy pod w środowisku Kubernetes, a skrypt utrwalający kontaktuje się z
checkmarx.zonepo dalsze instrukcje.
Biuletyn klasyfikuje go jako osadzony złośliwy kod (CWE-506). W kodzie źródłowym LiteLLM nie było błędu; pakiet w PyPI nie odpowiadał kodowi źródłowemu.
W zadaniu CI pierwszy i drugi punkt się spotykają. Build, który instaluje zależności, a potem uruchamia testy, niemal natychmiast startuje interpreter Pythona, a środowisko zadania przechowuje sekrety potrzebne do publikacji i wdrożenia.
Jak sprawdzić, czy to Państwa dotyczy
- Przeszukać każdy lockfile i plik requirements na każdej gałęzi pod kątem
litellm1.82.7 lub 1.82.8:requirements*.txt,poetry.lock,uv.lock,Pipfile.lockipdm.lock. - Znaleźć nieprzypięte instalacje.
pip install litellmbez wersji w workflow, pliku Dockerfile lub skrypcie oraz zależność, która wciąga LiteLLM bez przypięcia, rozwiązały się w tym okresie do złośliwej wersji. Aby sprawdzić, skąd LiteLLM wziął się w zbudowanym środowisku, należy użyćpip show litellmlubpipdeptree -r -p litellm. - Sprawdzić, co buildy zainstalowały 24 marca. W CI pip wypisuje
Successfully installed ... litellm-1.82.7. Jeśli logi nadal istnieją, należy je przeszukać; GitHub usuwa logi Actions domyślnie po 90 dniach, więc logi z marca 2026 roku zwykle już nie istnieją. - Sprawdzić obrazy i środowiska. Uruchomić poniższe polecenia w każdym obrazie zbudowanym w tamtym tygodniu oraz na maszynach programistów i serwerach, które tego dnia instalowały pakiety Pythona.
- Sprawdzić cache i mirrory pod kątem plików
litellm-1.82.7ilitellm-1.82.8.
Polecenia do dostosowania. Aby przeszukać lockfile'e wszystkich zdalnych gałęzi:
git fetch --all --quiet
for ref in $(git for-each-ref --format='%(refname:short)' refs/remotes); do
git grep -n -A1 -E 'litellm' "$ref" -- '*requirements*.txt' '*poetry.lock' '*uv.lock' '*Pipfile.lock' '*pdm.lock' \
| grep -E '1\.82\.[78]' | sed "s|^|$ref |"
done
Aby sprawdzić maszynę, runner lub kontener pod kątem pakietu, pliku .pth, kopii w cache i usługi utrwalającej:
python -m pip show litellm 2>/dev/null | grep -i '^version'
find / -name 'litellm_init.pth' 2>/dev/null
find / \( -name 'litellm-1.82.7*' -o -name 'litellm-1.82.8*' \) 2>/dev/null
grep -rl 'System Telemetry Service' /etc/systemd /usr/lib/systemd ~/.config/systemd 2>/dev/null
Aby sprawdzić zbudowany obraz (zastąpić IMAGE):
docker run --rm --entrypoint sh IMAGE -c \
"pip show litellm 2>/dev/null | grep -i ^version; find / -name litellm_init.pth 2>/dev/null"
Dlaczego lockfile tego nie rozstrzyga
- Nieprzypięte instalacje nie zostawiają zapisu.
pip install litellmw workflow lub pliku Dockerfile rozwiązuje wersję w czasie buildu. Repozytorium nigdy nie mówi, którą wersję dostał dany build. - Zależności przechodnie. FutureSearch wykrył atak, ponieważ LiteLLM trafił przez wtyczkę MCP, a nie przez nic z ich własnego projektu. Narzędzia AI często instalują własne zależności w czasie działania.
- Cache przetrwa okres narażenia. Plik wheel zapisany w cache 24 marca może zostać zainstalowany po tygodniach przez build, który nigdy nie łączył się z PyPI.
- Obraz może go nosić miesiącami. Obraz zbudowany w tym okresie zawiera złośliwą wersję tak długo, jak długo jest wdrożony, a przy każdym starcie uruchamia się plik
.pth.
Potrzebny jest zapis tego, jakie wersje pakietów faktycznie zainstalował każdy build, przechowywany dla każdego buildu. Więcej w artykule czy to nas dotyczy? Jak ocenić nowy CVE we wszystkich buildach.
Jak to naprawić i co zrobić, jeśli nie można jeszcze załatać
- Traktować każde środowisko, które zainstalowało 1.82.7 lub 1.82.8, jako przejęte. PyPA zaleca „założyć, że wszelkie poświadczenia dostępne w środowisku litellm mogły zostać ujawnione, i odpowiednio je unieważnić lub zrotować”. Należy zrotować klucze API każdego dostawcy LLM, klucze chmurowe, hasła do baz danych, klucze SSH, tokeny Kubernetes i wszystko, co znajduje się w zmiennych środowiskowych lub plikach konfiguracyjnych.
- Odizolować i zbadać host. Usunąć
litellm_init.pth, wyłączyć i usunąć jednostkę „System Telemetry Service”, usunąć pody, których Państwo nie utworzyli, i sprawdzić host „pod kątem wszelkich nieoczekiwanych modyfikacji i ruchu sieciowego”, jak zaleca biuletyn. Jeśli zamiast tego można odbudować host lub runner z czystego obrazu, należy to zrobić. - Zainstalować czystą wersję. Przypiąć wersję 1.82.6 lub starszą albo 1.83.0 lub nowszą i przebudować każdy obraz zbudowany w tym okresie.
- Wyczyścić cache i mirrory. Usunąć obie wersje z cache pip i uv, wewnętrznych proxy pakietów i cache CI:
pip cache remove 'litellm*'
uv cache clean litellm
gh cache delete --all --repo ORG/REPO # GitHub Actions caches, per repository
Weryfikacja naprawy
- Każdy lockfile przypina czystą wersję, a żaden workflow, plik Dockerfile ani skrypt nie instaluje LiteLLM bez wersji.
- Żadne środowisko nie zawiera ładunku. Powyższe polecenia nie znajdują ani
litellm_init.pth, ani „System Telemetry Service”. - Stare poświadczenia już nie działają. Unieważnione klucze dostawców i poświadczenia chmurowe są dezaktywowane, a nie tylko zastąpione.
- Brak ruchu do hostów atakującego. Logi DNS i proxy nie pokazują po czyszczeniu żadnych zapytań o
models.litellm.cloudanicheckmarx.zone. - Następny build jest czysty. Sprawdzić wersję, którą faktycznie zainstalował, na podstawie jego logu lub SBOM buildu, a nie tylko lockfile'a.
Jak ograniczyć szkody następnym razem
- Przypinać wersje i hashe.
pip install --require-hashesz lockfile'em instaluje tylko zablokowane pliki, więc nowe przesłanie, złośliwe czy nie, nie przedostanie się do buildu. - Odczekać przed przyjęciem nowych wersji. Złośliwe wersje były w PyPI przez kilka godzin. Okres karencji dla aktualizacji zależności trzyma zupełnie nowe wydania z dala od buildów, dopóki inni się im nie przyjrzą.
- Publikować przez Trusted Publishing. Raport PyPI zaleca Trusted Publishers zamiast długotrwałych tokenów API, osobne środowisko wdrożeniowe dla wydań, przypięte zależności w workflowach i rezygnację z ryzykownych wyzwalaczy, takich jak
pull_request_target. - Nie dawać skanerom sekretów do publikacji. Zadanie skanowania nie potrzebuje tokenu, którym publikują Państwo pakiet. Publikację należy uruchamiać w osobnym zadaniu z własnymi sekretami. Więcej w artykułach Sekrety GitHub Actions: jak wyciekają i jak je zabezpieczyć oraz bezpieczeństwo GitHub Actions.
- Ograniczyć, dokąd buildy mogą się łączyć. Build, który instaluje pakiety z PyPI i uruchamia testy, nie musi łączyć się z
models.litellm.cloud. Dzięki polityce egress wysyłka skradzionych sekretów z buildu się nie powiedzie. Chroni to build, a nie serwery i laptopy, na których działał ten sam pakiet.
Jak sprawdzić, czy doszło do włamania
Według wpisu LiteLLM i PYSEC-2026-2:
| Typ | Wskaźnik |
|---|---|
| Pliki | litellm_init.pth w site-packages (1.82.8); ładunek w litellm/proxy/proxy_server.py (1.82.7 i 1.82.8) |
| Sieć | models.litellm.cloud (eksfiltracja); checkmarx.zone, w tym https://checkmarx.zone/raw (utrwalanie) |
| Utrwalanie | Jednostka usługi systemd o nazwie „System Telemetry Service”; w Kubernetes nowy pod, którego Państwo nie utworzyli |
Kiedy założyć włamanie. W każdym środowisku, które zainstalowało 1.82.7 lub 1.82.8, licząc od pierwszego przesłania, nawet jeśli plik .pth zniknął, a w logach nie widać żadnego połączenia. Na runnerze CI ładunek miał sekrety zadania; na serwerze miał wszystko, do czego serwer miał dostęp, w tym metadane chmury.
Przejrzeć, czego dotykały poświadczenia. Należy sprawdzić logi audytowe chmury, Kubernetes i dostawców LLM od 24 marca pod kątem aktywności, której nie da się wyjaśnić. Klucze dostawców LLM łatwo przeoczyć, a LiteLLM istnieje właśnie po to, by przechowywać wiele z nich.
Co powiedzieć klientom
Jeśli Państwa produkt korzysta z LiteLLM lub Państwa buildy mogły go zainstalować, klienci zapytają, czy Państwa produkt lub ich dane zostały ujawnione. Proszę odpowiedzieć, co sprawdzono i co zrobiono:
Sprawdziliśmy każdy build i każde wdrożenie [produkt] względem złośliwych wersji LiteLLM 1.82.7 i 1.82.8 opublikowanych w PyPI 24 marca 2026 roku. [Żaden build ani środowisko nie zainstalowały dotkniętej wersji.] / [Buildy [komponent] z [data] zainstalowały [wersja]. Zrotowaliśmy wszystkie poświadczenia, do których te środowiska miały dostęp, przebudowaliśmy [produkt] z czystych zależności i wydaliśmy [wersja]. Nie znaleźliśmy [żadnych dowodów nadużyć / znaleźliśmy: ...].] Wydania od [x] do [y] są dotknięte; prosimy o aktualizację do [wersja].
Jeśli sprawdzanie wciąż trwa, proszę to powiedzieć i podać, kiedy przyjdzie odpowiedź. Szablony na każdy wynik znajdą Państwo w tekście jak odpowiadać klientom po ataku na łańcuch dostaw.
Jak pomaga CRACI
CRACI uruchamia Państwa zadania GitHub Actions na własnych runnerach (runs-on: craci) i rejestruje każdy pakiet, który każde zadanie faktycznie pobiera z PyPI i innych rejestrów, łącznie z pakietami przywróconymi z cache. Nieprzypięte pip install litellm w kroku workflow, zależność wciągnięta przez narzędzie czy instalacja w skrypcie buildu pojawiają się w tym zapisie, ponieważ pochodzi on z tego, co zadanie pobrało, a nie z tego, co zadeklarował lockfile. Historia buildów przechowuje każdy wcześniejszy build z jego SBOM, więc gdy zostanie ogłoszony kolejny taki incydent, widzą Państwo, które buildy zainstalowały dotknięte wersje i kiedy, w ramach okresu przechowywania danych (domyślnie 180 dni), a ślad sieciowy każdego zadania pokazuje, z czym się łączyło.
Polityka egress CRACI ogranicza, dokąd zadanie może się łączyć, jest walidowana przed startem zadania i w razie awarii blokuje ruch (fail closed), więc ładunek wysyłający sekrety do hosta, którego build nie potrzebuje, takiego jak models.litellm.cloud, zostaje zablokowany, nawet w przypadku ataku, którego nikt wcześniej nie widział. Znane złośliwe wydania z opublikowanym CVE są oznaczane jak każda inna podatność, a bramki polityk mogą blokować buildy, które je zawierają. CRACI nie wykrywa złośliwych pakietów na podstawie zachowania ani reputacji, więc nowy pakiet nie zostanie oznaczony, zanim pojawi się biuletyn. CRACI obejmuje Państwa buildy; serwery i maszyny programistów, które zainstalowały pakiet, wymagają opisanych wyżej kontroli. Szerszy obraz przedstawia artykuł o bezpieczeństwie CI/CD.
Zobacz zapis pakietów jednego z własnych buildów
Inne incydenty: wszystkie podatności, w tym przejęcie Trivy, które doprowadziło do tego ataku, oraz robak npm Shai-Hulud.
Źródła i aktualizacje
Źródła pierwotne:
- LiteLLM: aktualizacja bezpieczeństwa, marzec 2026, zgłoszenie GitHub #24518
- Python Packaging Authority: PYSEC-2026-2 (MAL-2026-2144); PyPI: raport z incydentu dotyczącego LiteLLM i Telnyx
- FutureSearch, który zgłosił atak
- CVE-2026-33634 (CNA: GitHub), GHSA-69fq-xp46-6x23 od Aqua Security, katalog KEV CISA
- FIRST: ocena EPSS dla CVE-2026-33634
Aktualizacje:
- 2026-11-16: Pierwsza publikacja.