Asystenci kodowania AI generują nazwy pakietów, które nie istnieją, a atakujący przekształcają te halucynacje w realne zagrożenia dla łańcucha dostaw.

Gdy badacz bezpieczeństwa Bar Lanyado z Lasso Security poprosił narzędzie do kodowania oparte na AI o klienta Pythona, model zasugerował instalację huggingface-cli. Pakiet ten jest fantomem; prawdziwa biblioteka istnieje pod nazwą huggingface_hub. Aby udowodnić niebezpieczeństwo, Lanyado zarejestrował fałszywą nazwę w Python Package Index (PyPI) jako pusty placeholder. W ciągu trzech miesięcy placeholder ten zgromadził ponad 30 000 pobrań, pojawił się w publicznej dokumentacji, a nawet w próbkach kodu pobranych z repozytoriów firmy Alibaba.

Jak fantomowy pakiet staje się realnym zagrożeniem

  1. Prompt → halucynacja – Programista prosi AI o pomoc. Model, wytrenowany na zaszumionych danych z internetu, wymyśla brzmiącą wiarygodnie nazwę pakietu.
  2. Kopiuj-wklej → dokumentacja – Sugestia trafia do pliku README, odpowiedzi na Stack Overflow lub wewnętrznej wiki. Gdy zostanie zapisana, nazwa rozprzestrzenia się w społeczności.
  3. Integracja kodu – Programista, ufając AI, dodaje nazwę do pliku wymagań i wdraża ją na produkcję.

Dlaczego istniejące mechanizmy obronne nie dostrzegają problemu

Narzędzia do analizy statycznej i skanery podatności szukają znanych błędów CVE oraz bibliotek z historią wydań. Świeżo opublikowany pakiet, który przed sugestią AI miał zero pobrań, nie posiada CVE ani reputacji, przez co wydaje się bezpieczny. Standardowe sprawdzenie „czy ta wersja jest podatna?” zwraca wynik fałszywy, dając programistom złudne poczucie bezpieczeństwa.

Co dowodzi ten eksperyment

  • Nazwy wymyślone przez AI trafiają na produkcję – Ponad 30 000 pobrań pokazuje, że programiści faktycznie pobierają te fantomowe pakiety.
  • Halucynacje stają się częścią dokumentacji – Gdy fałszywa nazwa pojawi się w publicznym poradniku, może przetrwać w nim bezterminowo, powielając błąd.
  • Rejestracja jest trywialna – Publikacja pakietu w PyPI nic nie kosztuje i zajmuje kilka minut, co obniża próg wejścia dla nadużyć w łańcuchu dostaw.

Skuteczne kroki obronne

  • Weryfikuj każdą zależność – Przed dodaniem nowego wymagania przeszukaj indeks pakietów i upewnij się, że nazwa odpowiada istniejącej, udokumentowanej bibliotece.
  • Porównuj z oficjalnymi źródłami – Porównaj sugerowaną nazwę z repozytorium dostawcy lub oficjalną instrukcją instalacji.
  • Traktuj nowe pakiety o niskiej popularności jako wysokiego ryzyka – Oznaczaj każdą zależność, która ma zaledwie kilka pobrań lub bardzo niedawną datę wydania, do ręcznej weryfikacji.

Na co zwrócić uwagę w przyszłości

Wniosek jest prosty: sugestia AI nie jest gwarancją. Traktuj każdą nową zależność jako niesprawdzony komponent zewnętrzny, weryfikuj jej pochodzenie i monitoruj łańcuch dostaw, zanim pozwolisz, aby fantomowy pakiet trafił na produkcję.