Grupa Google ds. analizy zagrożeń (GTIG) już to zrobiła zidentyfikowany znaczna eskalacja złośliwego wykorzystania sztucznej inteligencji. Przeciwnicy nie wykorzystują już sztucznej inteligencji do zadań zwiększających produktywność, takich jak tworzenie e-maili phishingowych; wdrażają obecnie nowatorskie złośliwe oprogramowanie, które aktywnie wykorzystuje sztuczną inteligencję podczas ataku, aby dynamicznie zmieniać swoje zachowanie. Ta nowa faza nadużywania sztucznej inteligencji obejmuje sztuczną inteligencję, którą Google nazywa „just-in-time”. Po raz pierwszy GTIG zidentyfikowało rodziny złośliwego oprogramowania, które korzystają z modeli dużych języków (LLM) w trakcie wykonywania. Narzędzia te mogą dynamicznie generować złośliwe skrypty lub na bieżąco zaciemniać własny kod, aby uniknąć wykrycia, zamiast polegać na zakodowanych na stałe funkcjach. W raporcie szczegółowo opisano kilka nowych złośliwe oprogramowanie rodziny stosujące tę technikę. „PROMPTSTEAL”, który zaobserwowano podczas aktywnych operacji, to eksplorator danych, który wysyła zapytanie do interfejsu API Hugging Face do LLM w celu wygenerowania poleceń systemu Windows w celu gromadzenia informacji o systemie. „QUIETVAULT”, spotykany także w środowisku naturalnym, to narzędzie do kradzieży danych uwierzytelniających, które wykorzystuje narzędzia AI CLI zainstalowane na komputerze ofiary w celu wyszukiwania dodatkowych sekretów. Inne szkodliwe oprogramowanie, „FRUITSHELL”, zawiera zakodowane na stałe komunikaty zaprojektowane specjalnie w celu ominięcia analizy przez systemy bezpieczeństwa wykorzystujące LLM. Google zidentyfikowało także eksperymentalne złośliwe oprogramowanie, w tym „PROMPTFLUX” – dropper korzystający z interfejsu API Google Gemini do wielokrotnego przepisywania własnego kodu źródłowego tak, aby pozostawał ukryty, oraz „PROMPTLOCK” – oprogramowanie ransomware typu proof-of-concept, które dynamicznie generuje złośliwe skrypty w czasie działania. Raport GTIG wykazał również, że ugrupowania zagrażające dostosowują techniki „inżynierii społecznej”, aby ominąć barierki zabezpieczające AI. Google zaobserwował aktorów udających studentów biorących udział w konkursie „zdobądź flagę” lub badaczy cyberbezpieczeństwa, aby przekonać firmę Gemini do dostarczenia informacji, takich jak pomoc w opracowywaniu narzędzi, które w przeciwnym razie zostałyby zablokowane. Podmioty sponsorowane przez państwo, w tym te z Korei Północnej, Iranu i Chińskiej Republiki Ludowej (ChRL), w dalszym ciągu wykorzystują sztuczną inteligencję, taką jak Gemini, do usprawniania wszystkich etapów swoich operacji, od rozpoznania i tworzenia przynęt phishingowych po rozwój infrastruktury dowodzenia i kontroli (C2). Ponadto Google zauważa, że w 2025 r. podziemny rynek nielegalnych narzędzi sztucznej inteligencji dojrzał i oferuje wielofunkcyjne narzędzia, które obniżają barierę wejścia dla mniej wyrafinowanych atakujących. Google oświadczyło, że aktywnie zakłóca tę działalność, wyłączając projekty i konta powiązane z tymi podmiotami. Firma podkreśliła, że stale udoskonala swoje modele, w tym Gemini, aby uczynić je mniej podatnymi na niewłaściwe użycie, a także wykorzystuje tę inteligencję do wzmacniania swoich klasyfikatorów bezpieczeństwa.
