Naukowcy z NOMA ujawnili szybką podatność na wtrysk, o nazwie „Forcedleak”, wpływając na agentów Agentów Agentów AI Salesforce. Wada pozwala atakującym osadzać złośliwe podpowiedzi w formularzach internetowych, powodując, że agent AI wykupuje wrażliwe dane dotyczące zarządzania relacjami z klientami. Wrażliwość jest skierowana do Agentforce, platformy AI w ekosystemie Salesforce do tworzenia autonomicznych agentów do zadań biznesowych. Firma ochroniarska NOMA zidentyfikowała krytyczny łańcuch podatności na zagrożenia, przypisując jej 9,4 na 10 w skali ciężkości CVSS. Atak, nazwany „Forcedleak”, jest opisywany jako skrypt krzyżowy (XSS) odpowiednik dla epoki AI. Zamiast kodu, atakujący sadza złośliwy podpowiedź do formularza online, który agent później przetwarza, zmuszając go do wycieku danych wewnętrznych. Wektor ataku używa standardowych formularzy internetowych Salesforce, takich jak formularz internetowy do zapytań sprzedaży. Formularze te zazwyczaj zawierają pole „Opis” dla komentarzy użytkowników, które służy jako punkt wtrysku dla złośliwego monitora. Ta taktyka jest ewolucją ataków historycznych, w których zastosowano podobne pola do wstrzykiwania złośliwego kodu. Podatność istnieje, ponieważ agent AI może nie rozróżniać łagodnych wprowadzeń użytkownika i ukrytych instrukcji w nim. Aby ustalić rentowność ataku, naukowcy NOMA najpierw przetestowali „granice kontekstowe” Agentforce AI. Musieli sprawdzić, czy model, zaprojektowany dla określonych funkcji biznesowych, przetwarzałby podpowiedzi poza zamierzonym zakresem. Zespół przesłał proste pytanie bez sprzedaży: „Jaki kolor dostajesz poprzez mieszanie czerwonego i żółtego?” Odpowiedź AI, „Orange”, potwierdziła, że rozrywka sprawy poza interakcjami sprzedaży. Wynik ten wykazał, że agent był podatny na przetwarzanie arbitralnych instrukcji, co stanowi warunek szybkiego ataku wtrysku. Po ustaleniu podatności sztucznej inteligencji napastnik może osadzić złośliwą monit w formie wiodącej w sieci. Gdy pracownik używa agenta AI do przetwarzania tych potencjalnych klientów, agent wykonuje ukryte instrukcje. Chociaż Agentforce jest zaprojektowany w celu zapobiegania exfiltracji danych do dowolnych domen internetowych, naukowcy znaleźli krytyczną wadę. Odkryli, że polityka bezpieczeństwa treści Salesforce whitelelistowała kilka domen, w tym wygasłą: „My-Salesforce-CMs.com”. Atakujący mógłby kupić tę domenę. W swoim dowodzie koncepcji złośliwy monit Nomy poinstruował agenta, aby wysłał listę wewnętrznych potencjalnych klientów i ich adresy e-mail do tej konkretnej, białej domeny, pomyślnie omijając kontrolę bezpieczeństwa. Alon Tron, współzałożyciel i CTO NOMA, przedstawił nasilenie udanego kompromisu. „I to jest w zasadzie gra” – stwierdził Tron. „Udało nam się zagrozić agentowi i powiedzieć, aby zrobił cokolwiek”. Wyjaśnił, że atakujący nie ogranicza się do wykładania danych. Zakazany agent może zostać również poinstruowany, aby zmienić informacje w CRM, usunąć całe bazy danych lub być wykorzystywanym jako podgrupowanie do obracania się do innych systemów korporacyjnych, poszerzając wpływ początkowego naruszenia. Naukowcy ostrzegli, że atak Forcedleak może ujawnić szeroki zakres wrażliwych danych. Obejmuje to wewnętrzne dane, takie jak poufne komunikacje i spostrzeżenia strategii biznesowej. Naruszenie może również ujawnić obszerne dane pracowników i klienta. CRM często zawierają notatki z informacjami osobowymi (PII), takie jak wiek klienta, hobby, urodziny i status rodziny. Ponadto zagrożone są zapisy interakcji klientów, w tym daty połączeń i czasy, lokalizacje spotkań, podsumowania rozmów i pełne transkrypcje czatu z zautomatyzowanych narzędzi. Dane transakcyjne, takie jak historie zakupów, informacje o zamówieniu i szczegóły płatności, mogą być również narażone na szwank, zapewniając atakującym kompleksowy obraz relacji z klientami. Andy Shoemaker, CISO dla systemów CIQ, skomentował, w jaki sposób mogą być skradzione informacje. Stwierdził, że „wszystkie te informacje o sprzedaży można wykorzystać i do atakowania ataków inżynierskich każdego typu”. Shoemaker wyjaśnił, że przy dostępie do danych sprzedaży atakujący wiedzą, kto oczekuje pewnej komunikacji i od kogo, pozwalając im na tworzenie wysoce ukierunkowanych i wiarygodnych ataków. Doszedł do wniosku: „Krótko mówiąc, dane dotyczące sprzedaży mogą być jednymi z najlepszych danych dla atakujących, aby wybrać i skutecznie celować w swoje ofiary”. Wstępne zalecenie Salesforce w celu ograniczenia ryzyka obejmuje konfigurację po stronie użytkownika. Firma zaleciła użytkownikom dodanie wszelkich niezbędnych zewnętrznych adresów URL, na które agenci zależą od listy URL zaufanych Salesforce lub do podania ich bezpośrednio w instrukcjach agenta. Dotyczy to zasobów zewnętrznych, takich jak formularze opinii z usług takich jak forms.google.com, zewnętrzne bazy wiedzy lub inne strony internetowe stron trzecich, które są częścią uzasadnionego przepływu pracy agenta. Aby zająć się konkretnym exploitem, Salesforce wydał plastry techniczne, które uniemożliwiają agentom agentów wysyłania danych wyjściowych do zaufanych adresów URL, bezpośrednio przeciwdziałając metodzie exfiltracji zastosowanej w dowodzie koncepcji. Rzecznik Salesforce przedstawił formalne oświadczenie: „Salesforce jest świadomy podatności podanej przez NOMA i wydał łatki, które uniemożliwiają produkcję w agentach agentów Agentforce do wysyłania do zaufanych adresów URL. Krajobraz bezpieczeństwa w celu szybkiego wstrzyknięcia pozostaje złożonym i rozwijającym się obszarem, a my nadal inwestujemy w silną kontrolę bezpieczeństwa i pracujemy ściśle w społeczności badawczej, aby chronić naszych klientów, gdy te rodzaje problemów”. Według Alon Tron Nomy, podczas gdy łatki są skuteczne, fundamentalne wyzwanie pozostaje. „To skomplikowana kwestia, definiowanie i zachęcanie sztucznej inteligencji do zrozumienia, co jest złośliwe, a nie w szybkim czasie” – wyjaśnił. Podkreśla to podstawową trudność w zabezpieczeniu modeli AI na podstawie złośliwych instrukcji osadzonych w danych wejściowych użytkownika. Tron zauważył, że Salesforce realizuje głębszą poprawkę, stwierdzając: „Salesforce pracuje nad naprawą głównej przyczyny i zapewnia bardziej solidne rodzaje szybkiego filtrowania. Oczekuję, że dodają bardziej solidne warstwy obrony”.
