8 sierpnia 2025 r. Roblox wprowadził Sentinel, otwartego poziomu sztucznej inteligencji, zaprojektowany w celu wykrycia potencjalnych wzorców eksploatacji dzieci w czatach online, zajmujące się eskalującą krytyką i prawnymi wyzwaniami dotyczącymi bezpieczeństwa platformy.
Roblox, zgłaszający ponad 111 milionów aktywnych użytkowników miesięcznie, wskazał, że Sentinel już pomógł w identyfikacji setek potencjalnych przypadków eksploatacji dzieci, które zostały następnie zgłoszone do organów ścigania. Matt Kaufman, dyrektor ds. Bezpieczeństwa Robloxa, szczegółowo opisał, w jaki sposób wcześniejsze środki ochronne firmy, takie jak filtry wulgaryzmów i obraźliwy język, ograniczały się do analizy poszczególnych linii lub krótkich sekwencji tekstu. Kaufman stwierdził: „Ale kiedy myślisz o rzeczach związanych z zagrożeniem dziecka lub pielęgnacją, rodzajów zachowań, na które patrzysz na manifest przez bardzo długi czas”.
Sentinel jest zaprojektowany w celu identyfikacji wzorców behawioralnych w rozmowach, które rozwijają się w dłuższych okresach, zamiast koncentrować się na izolowanych słowach lub frazach. System codziennie przetwarza około 6 miliardów wiadomości czatowych, analizując je w jednominutowych migawkach w celu oceny kontekstu. Aby ułatwić tę analizę, inżynierowie Roblox opracowali dwa odrębne wskaźniki. Jeden indeks obejmuje przykłady łagodnych, nieszkodliwych interakcji czatu, podczas gdy drugi indeks zawiera wiadomości, które zostały zidentyfikowane jako naruszające wytyczne dotyczące bezpieczeństwa dzieci.
Naren Koneru, wiceprezes ds. Inżynierii ds. Zaufania i bezpieczeństwa w Roblox, wyjaśniła, że nowa treść jest stale włączana do obu indeksów, aby udoskonalić możliwości wykrywania modelu AI. Koneru stwierdził: „Ten indeks staje się coraz lepszy, gdy wykryjemy więcej złych aktorów, po prostu stale aktualizujemy ten indeks”. Koneru dodał: „Wtedy mamy kolejną próbkę tego, co robi normalny, zwykły użytkownik?”
System monitoruje ciągłe interakcje użytkownika w celu ustalenia trajektorii jego zachowania, oceniając, czy jest zgodny z bezpiecznym postępowaniem, czy wskazuje na postęp w kierunku ryzykownych działań. Koneru zauważył: „Nie zdarza się to w jednej wiadomości, ponieważ po prostu wysyłasz jedną wiadomość, ale dzieje się tak z powodu wszystkich twoich dni interakcji prowadzących do jednego z tych dwóch”. Jeśli Sentinel oznaczy użytkownika do dalszej kontroli, ludzcy moderatorzy przeprowadzają dogłębną recenzję, badając pełną historię czatu użytkownika, listę przyjaciół i gry, z którymi zaangażowali się na platformie. Jeśli zostanie uznany za konieczny, Roblox nasila te sprawy do organów organów ścigania i Narodowego Centrum Zaginionego i Wykorzystywanego Dzieci.
Wprowadzenie Sentinel odbywa się wśród trwających wyzwań prawnych przeciwko Robloxowi. Pozew złożony w Iowa w poprzednim miesiącu twierdzi, że 13-letnia dziewczynka skontaktowała się drapieżnik dorosły za pośrednictwem platformy Roblox, następnie porywając się i handluje w wielu stanach. Pozew zapewnia, że projekt platformy ułatwia podatność nieletnim. Roblox utrzymuje zasady zabraniające rozpowszechniania danych osobowych, zdjęć i filmów w ramach funkcji czatu.
Bezpośrednie wiadomości dla użytkowników poniżej 13 roku życia są ograniczone, chyba że zostanie wydana wyraźna zgoda rodzicielska. Roblox monitoruje komunikację czatu w celu uzyskania naruszeń bezpieczeństwa, możliwość włączoną przez fakt, że rozmowy na platformie nie są szyfrowane. Firma przyznaje, że żaden system nie może zagwarantować absolutnej ochrony, ale twierdzi, że postępy AI, takie jak Sentinel, znacznie poprawiają prawdopodobieństwo wczesnego wykrycia.
