Amer S i Ryan McKenna z Google Research ogłosili Vaultgemma 12 września 2025 r., Jako najbardziej zdolny model językowy przeszkolony od zera z różnicową prywatnością. Ten 1 miliard parametrowy model otwarty dotyczy wyzwań związanych z prywatnością w szkoleniu AI poprzez włączenie skalibrowanego szumu, podczas gdy nowy dokument badawczy przedstawia przepisy dotyczące skalowania kompromisów Compute-Pivacy-Utility, z ciężarami uniesionymi na twarzy i Kaggle. Różnicowa prywatność dodaje skalibrowany szum podczas szkolenia, aby zapobiec zapamiętywaniu poszczególnych punktów danych, upewniając się, że wyjścia modelu pozostają statystycznie podobne, niezależnie od tego, czy uwzględniono jakikolwiek jeden przykład szkolenia. Takie podejście zapewnia matematycznie rygorystyczne ramy ochrony danych użytkownika w dużych modelach językowych. Jednak wdrożenie różnicowej prywatności w szkoleniu modelu języka wprowadza określone wyzwania. Hałas zakłóca tradycyjne przepisy dotyczące skalowania, które opisują, w jaki sposób wydajność modelu poprawia się wraz ze wzrostem wielkości modelu, objętości danych i zasobów obliczeniowych. W szczególności hałas zmniejsza stabilność treningową, co utrudnia modelowi konsekwentne uczenie się bez napotkania problemów, takich jak nagłe skoki utraty lub całkowite rozbieżność podczas optymalizacji. Aby przeciwdziałać tej niestabilności, praktykujący muszą stosować znacznie większe rozmiary partii, co z kolei wymaga większej mocy obliczeniowej i pamięci, podnosząc ogólne koszty szkolenia. Artykuł badawczy zatytułowany „Skalowanie przepisów dotyczących różnorodnych modeli języków prywatnych”, opracowany we współpracy z Google DeepMind, ustanawia równania, które precyzyjnie modelują te kompromisy Compute-Pivacy-Utylity dla różnie prywatnych modeli dużych języków. Równania te rejestrują skomplikowane relacje między ilością obliczeń, osiągniętym poziomem prywatności a wynikowym modelem, oferując narzędzie predykcyjne do optymalizacji konfiguracji szkoleniowych. Rozwój pracy obejmował obszerną analizę w celu oszacowania, w jaki sposób różnicowa prywatność zmienia dynamikę treningu modelu w porównaniu z metodami niepodzielnymi. Wyprowadzając te przepisy, autorzy stanowią podstawę do projektowania wydajnych modeli prywatnych, umożliwiając badaczom prognozowanie wydajności bez wyczerpujących eksperymentów. Zespół, kierując się spostrzeżeniami z tych przepisów dotyczących skalowania, skonstruował Vaultgemma jako model 1 miliard parametrów oparty na architekturze Gemma 2, przeszkolony całkowicie od zera zgodnie z różnicowymi ograniczeniami prywatności. Wagi modelu są teraz publicznie dostępne na platformach takich jak przytulanie twarzy i Kaggle, w towarzystwie szczegółowego raportu technicznego, który wyjaśnia proces szkolenia, hiperparametry i wyniki oceny. To wydanie oznacza największy jak dotąd otwarty model, umożliwiając programistom i badaczom na całym świecie dostęp i opracowywanie jakości produkcji w różny sposób prywatny. Sama seria GEMMA podkreśla odpowiedzialność i bezpieczeństwo w rozwoju sztucznej inteligencji, co dobrze dostosowało się do celów związanych z ochroną prywatności od samego początku. Eksperymentalna metodologia w badaniach koncentrowała się na kwantyfikacji wpływu różnych rozmiarów modeli, wielkości partii i iteracji szkoleniowych w ramach różnicowej prywatności. Aby zarządzać ogromną liczbą możliwych kombinacji, autorzy przyjęli uproszczenie założeń, koncentrując ich analizę współczynnika partii hałasu. Stosunek ten mierzy względną skalę szumu wywołanego prywatnością w stosunku do wielkości partii stosowanej w zejściu gradientu stochastycznym. Założenie dotyczy, ponieważ celowy szum dodany do prywatności dominuje w stosunku do wszelkiej nieodłącznej losowości z próbkowania danych, umożliwiając skuteczność uczenia się modelu przede wszystkim określenie tej pojedynczej metryki. Dzięki tej soczewce metodologia umożliwiła systematyczną ocenę, w jaki sposób korekty tych parametrów wpływają na ogólną wydajność. Kompleksowe eksperymenty oceniały wydajność modelu w różnych rozmiarach modeli i wskaźnikach partii szumów, generując dane empiryczne, które w połączeniu z deterministycznymi związkami między zmiennymi, takimi jak budżet obliczeniowy i budżet danych, obsługuje ukierunkowane zapytania. Na przykład przepisy dotyczące skalowania mogą określić optymalną konfigurację szkolenia w celu zminimalizowania strat, biorąc pod uwagę stałe obliczenia, prywatność i budżety danych. Przewidywana strata jest modelowana przy użyciu wielkości modelu, liczby iteracji i współczynnika partii szumu, który upraszcza nawigację złożonych interakcji między budżetami. Struktura ta stanowi wyraźną ścieżkę dla praktyków do skutecznego równoważenia zasobów podczas szkolenia modelu prywatnego. Z perspektywy rachunkowości prywatności dynamika między budżetem obliczeniowym, budżetem prywatności i budżetem danych ujawnia kluczowe interakcje dla stałego rozmiaru modelu i liczby iteracji. Zwiększenie budżetu prywatności, oznaczonego przez parametr ε, zmniejsza poziom szumu, ale daje zmniejszenie zwrotów, jeśli nie jest sparowane z rozszerzeniami w budżetach obliczeniowych lub danych. W szczególności, bez odpowiedniego wzrostu operacji zmiennoprzecinkowych (klapów) lub przetwarzanych tokenów, stosunek partii szumu poprawia się tylko nieznacznie, ograniczając zyski użyteczności. Ta synergia podkreśla potrzebę skoordynowanego skalowania: sama zwiększenie prywatności nie obniża wystarczająco skutecznego szumu, chyba że jest obsługiwane przez więcej zasobów obliczeniowych lub dodatkowych danych szkoleniowych. Wizualizacje w badaniach ilustrują, w jaki sposób optymalne konfiguracje zmieniają się ze zmieniającymi się budżetami. Wraz ze wzrostem prywatności i ograniczeń obliczeniowych preferowana alokacja porusza się między większymi rozmiarami modeli, rozszerzonymi rozmiarami partii lub dodatkowymi iteracji. Na przykład, zgodnie z ściślejszymi budżetami prywatności, ustalanie priorytetów większych partii często okazuje się bardziej skuteczne niż skalowanie wielkości modelu, ponieważ bezpośrednio łagodzi wpływ szumu. Wykresy te szczegółowo opisują minimalną osiągalną stratę dla różnych kombinacji budżetowych, wraz z awarią hiperparametrów, takich jak iteracje, wielkość partii i wymiary modelu. Taka ziarnistość pomaga zidentyfikować nie tylko najlepszą konfigurację, ale także zakresy realnych alternatyw, które zapewniają porównywalną użyteczność, oferując elastyczność w środowiskach ograniczonych zasobów. Centralnym wglądem przepisów dotyczących skalowania jest zalecenie do szkolenia mniejszych modeli o zasadniczo większych rozmiarach partii w porównaniu do scenariuszy bez produkowanych. Podejście to wykorzystuje znaczenie dużych partii w stabilizowaniu różnicowego prywatnego zysku stochastycznego (DP-SGD), wspólnej metody optymalizacji w tej dziedzinie. Wgląd ma szeroko w różnych ustawieniach, choć dokładne dostosowanie Optima w oparciu o określone budżety prywatności i danych. Zrozumienie tych kompromisów zapewnia efektywne wykorzystanie alokacji obliczeniowych i prywatności, zapobiegając marnotrawnym konfiguracjom. Analiza podkreśla również elastyczność w wyborach, w których wiele rozmiarów modeli może osiągnąć podobne straty po dopasowaniu do odpowiednich iteracji i korekt partii. Aby skonstruować VaultGemma, zespół zastosował przepisy skalowania do obliczania całkowitych klap wymaganych do komputera optymalnego w modelu 1 miliardów parametrów pochodzących z GEMMA 2. Następnie rozpowszechnili te klapy w wielkości partii, iteracjach i długości sekwencji, aby zmaksymalizować użyteczność. Ten proces alokacji obejmował iteracyjne symulacje z wykorzystaniem równań predykcyjnych do testowania różnych rozkładów, zapewniając ostateczną konfigurację dostosowaną do najniższej przewidywanej straty. Powstała konfiguracja zrównoważła potrzebę łagodzenia szumu przez duże partie z wystarczającą ilością iteracji do skutecznego zbieżności, a jednocześnie przylegając do liczby parametrów docelowych. Godnym uwagi wyzwaniem w zakresie pomijania badań prawa skalowania do faktycznego szkolenia było radzenie sobie z próbkowaniem Poissona, kluczowym elementem DP-SGD, który zapewnia solidne gwarancje prywatności poprzez losowe wybór danych. Początkowo zespół załadował dane w jednolitych partiach, ale ta metoda oferowała nieoptymalną ochronę prywatności z powodu wyższego skutecznego szumu. Przełączanie na próbkowanie Poissona ulepszone gwarancje, ale wprowadzona zmienność: partie różniły się rozmiarem, a przetwarzanie danych wymagało randomizowanej kolejności. Aby rozwiązać te problemy, przyjęli techniki z najnowszych prac nad skalowalnym DP-SGD, które przetwarza dane w partiach o stałej wielkości poprzez wyściółkę krótszych lub przycinając dłuższe. Ta adaptacja zachowuje korzyści prywatności z pobierania próbek Poissona bez zakłócania wydajności rurociągu treningowego. Szkolenie Vaultgemma potwierdziło dokładność przepisów dotyczących skalowania, a ostateczna strata szkolenia była zgodna z prognozami z równań. Ta walidacja pokazuje wiarygodność ram prognozowania wyników w rozwoju modeli prywatnych, zapewniając niezawodny przewodnik dla przyszłych wysiłków. Proces ten obejmował monitorowanie krzywych strat podczas szkolenia w celu zapewnienia stabilności, dostosowywania hiperparametrów w razie potrzeby w ramach predefiniowanego budżetu i sprawdzanie, czy stosunek złośliwości pozostawał optymalny. Tak blisko korespondencja między teorią a praktyką wzmacnia użyteczność prawa w praktycznych zastosowaniach. W ocenie wydajności Vaultgemma 1b z różnicową prywatnością osiąga poziomy użyteczności porównywalne z nieprogramowanym modelem GEMMA3 1B i GPT-2 1,5B. Porównania te oznaczają ilościowo wymagania dotyczące zasobów szkolenia wymagające prywatności, co pokazuje, że obecne metody wytwarzają modele na równi z architekturami niepodzielnymi z około pięciu lat wcześniej. Oceny obejmowały wskaźniki zakłopotania na danych zatrzymanych, w których wyniki VaultGemma odzwierciedlają skuteczne uczenie się pomimo dodatkowego szumu, podkreślając postęp w zamykaniu luki użytecznej poprzez zoptymalizowane skalowanie. Oceny dalszych standardowych punktów odniesienia dodatkowo potwierdzają możliwości Vaultgemma. W Hellaswag model występuje na poziomach pasujących do swojego niezwiązanego odpowiednika, wykazując silne wnioskowanie o zdrowym rozsądku. Wyniki Boolq wskazują na wiarygodne pytanie odpowiadające na zapytania boolowskie, podczas gdy PIQA wykazuje kompetencje w prognozach interakcji fizycznych. Oceny Socjaniqa ujawniają solidne zrozumienie norm społecznych, Triviaqa potwierdza zatrzymanie wiedzy w celu przywołania faktycznego, ARC-C radzi sobie złożone wyzwania rozumowania, a ARC-E skutecznie rozwiązuje łatwe pytania naukowe. Uwzględnienie GPT-2 1,5B do tych porównań podkreśla, że wyniki porównawcze Vaultgemma są zgodne z starszymi niepodzielnymi modelami o podobnej skali, ilustrując stan prywatnych postępów szkoleniowych. Vaultgemma zapewnia formalną gwarancję prywatności na poziomie sekwencji ε ≤ 2,0 i δ ≤ 1,1 × 10⁻¹⁰ dla sekwencji 1024 tokenów wyciągniętych z heterogenicznych źródeł danych. Mieszanka treningowa odzwierciedla dokumenty Gemma 2, zawierające dokumenty o różnych długościach wstępnie przetworzonych przez podział długich na wiele sekwencji i pakowanie krótkich. Ta jednostka na poziomie sekwencji odpowiada formatowi danych, chociaż prywatność na poziomie użytkownika byłaby preferowana, gdy dane łączą się bezpośrednio z osobami. W praktyce ta gwarancja zapewnia, że odpowiedzi modelu na zapytania pozostają statystycznie nie do odróżnienia, czy dana sekwencja jest zawarta w szkoleniu, czy nie, skutecznie zapobiegając uczeniu się modelu jakiegokolwiek izolowanego faktu w jednej sekwencji. Jednak nadal można się nauczyć w wielu sekwencjach, umożliwiając pozyskiwanie ogólnej wiedzy bez narażania prywatności indywidualnej. Uzupełniając teoretyczne gwarancje, testy empiryczne oceniły ryzyko zapamiętywania, wywołując sklepienie z 50-lecznymi prefiksami z dokumentów szkoleniowych i sprawdzanie reprodukcji kolejnych 50 tokenów. Model nie wykazywał wykrywalnego zapamiętywania, generując niepowiązane kontynuacje, które nie pasowały do oryginalnych sufiksów. Ten wynik weryfikuje praktyczną skuteczność różnicowej prywatności w tłumieniu dosłownego przypominania, nawet w przypadku potencjalnie wrażliwych fragmentów treningowych. Protokół testowy obejmował wybór różnych prefiksów z różnych źródeł danych w celu pokrycia szerokiej próbki, zapewniając kompleksowe pokrycie potencjalnych luk. Podziękowania dla projektu obejmują zespoły prywatności Gemma i Google, ze szczególnymi podziękowaniami dla Petera Kairouz, Brendana McMahana i Dana Ramage’a za opinie na temat ogłoszenia. Mark Simborg i Kimberly Schwede pomagali w wizualizacji, podczas gdy szersze zespoły Google wspierały projektowanie algorytmu, infrastrukturę i konserwację produkcji. Bezpośredni współpracownicy, wymienione alfabetycznie, obejmują Borja Balle, Zachary Charles, Christopher A. Choquette-Choo, Lynn Chua, Preme eruvbetine, Badih Ghazi, Steve He, Yangsibo Huang, Armand Joulin, George Kaissis, Pritish Kamath, Ravi Kumar Thomas Mesnard, Andreas Terzis, Tris Warkentin, Da Yu i Chiyuan Zhang.
