Google wdrożyło innowacyjną platformę sztucznej inteligencji o nazwie „Uczenie się społecznościowe”, mającą na celu zwiększenie efektywności modeli językowych w zakresie współpracy przy jednoczesnej ochronie prywatności użytkowników. Te nowe ramy umożliwiają modelom sztucznej inteligencji angażowanie się w wymianę języka naturalnego, dzielenie się spostrzeżeniami i zwiększanie ich zbiorowych zdolności w zakresie różnorodnych zadań bez naruszania prywatności.
- Koncepcja czerpie inspirację z teorii społecznego uczenia się Bandury i Waltersa z 1977 rkładąc nacisk na uczenie się poprzez obserwację, albo poprzez instrukcje werbalne, albo przez naśladowanie zaobserwowanych zachowań.
- W przeciwieństwie do tradycyjnych metod uczenia się opartego na współpracy, które mogą obejmować bezpośrednie udostępnianie danych, to podejście umożliwia LLM wzajemne nauczanie i uczenie się od siebie przy użyciu języka naturalnegoomijając obawy dotyczące prywatności.
- W artykule omówiono zastosowanie frameworka do różnych zadań, m.in wykrywanie spamu, rozwiązywanie problemów matematycznych w szkole podstawowej i odpowiadanie na pytania tekstowepokazując jego wszechstronność.
„Duże modele językowe (LLM) znacznie poprawiły stan wiedzy na temat rozwiązywania zadań określonych przy użyciu języka naturalnego, często osiągając wydajność bliską wydajności ludzi. Ponieważ modele te w coraz większym stopniu umożliwiają agentom wspomagającym, korzystne może być dla nich skuteczne uczenie się od siebie nawzajem, podobnie jak robią to ludzie w środowiskach towarzyskich, co umożliwiłoby agentom opartym na LLM wzajemne poprawianie wyników”.
Jak działa nauka społecznościowa Google?
W konfiguracji uczenia się społecznościowego „nauczycielmodele przekazują wiedzę „student” modele bez konieczności przekazywania wrażliwych lub prywatnych informacji, zachowując równowagę pomiędzy efektywną nauką a ochroną prywatności. Te modele uczniów czerpią lekcje od różnych modeli nauczycieli, z których każdy specjalizuje się w określonych zadaniach, takich jak wykrywanie spamu, rozwiązywanie zagadek matematycznych lub udzielanie odpowiedzi na podstawie treści tekstowej.
Wykorzystując przykłady sprawdzone przez ludzi, modele nauczycieli mogą kształcić modele uczniów bez wymiany oryginalnych danych, rozwiązując w ten sposób obawy dotyczące prywatności związane z udostępnianiem danych. Co więcej, modele nauczycieli mają możliwość tworzenia nowych scenariuszy lub tworzenia konkretnych instrukcji zadań, wzbogacając podróż edukacyjną.
Próby badawcze podkreślają sukces społecznego uczenia się w podnoszeniu kompetencji modeli uczniów w zakresie szeregu zadań. Stwierdzono, że syntetyczne scenariusze wymyślone przez modele nauczycieli są równie skuteczne jak autentyczne dane, a jednocześnie drastycznie zmniejszają zagrożenia prywatności. Podobnie instrukcje dotyczące zadań opracowane przez modele nauczycieli odegrały kluczową rolę w poprawie wyników uczniów, pokazując wszechstronność modeli językowych w przestrzeganiu dyrektyw.
Aby zakotwiczyć ochronę prywatności, społeczność badawcza przyjęła miary takie jak wskaźnik tajnego udostępniającego, aby ocenić zakres ujawnienia danych na etapie uczenia się. Odkrycia ujawniają znikomy wyciek danych dotyczących prywatności, co potwierdza zdolność platformy do wydawania poleceń bez ujawniania szczegółów z pierwotnej puli danych.
Modele te naśladują ludzki proces społecznego uczenia się biegli w wymianie know-how i wspólnym rozwijaniu swoich możliwości, a wszystko to przy jednoczesnym priorytetowym traktowaniu prywatności użytkowników. Strategia ta otwiera nowe możliwości tworzenia technologii sztucznej inteligencji dbających o prywatność w różnych dziedzinach. Patrząc w przyszłość, zespoły badawcze są zdecydowane dalej udoskonalać ramy uczenia się społecznościowego i zagłębiać się w jego użyteczność w różnorodnych zadaniach i kontekstach danych.
„Wprowadziliśmy ramy społecznego uczenia się, które umożliwiają modelom językowym z dostępem do prywatnych danych przekazywanie wiedzy poprzez komunikację tekstową, przy jednoczesnym zachowaniu prywatności tych danych. W tym kontekście uznaliśmy przykłady udostępniania i instrukcje udostępniania za podstawowe modele i ocenialiśmy je w odniesieniu do wielu zadań. Co więcej, dostosowaliśmy do naszego modelu metrykę Secret Sharer, proponując miarę do pomiaru wycieku danych” – stwierdził Google w swoim post na blogu.
„W kolejnych krokach szukamy sposobów na ulepszenie procesu nauczania, na przykład poprzez dodanie pętli informacji zwrotnej i iteracji. Co więcej, chcemy zbadać wykorzystanie uczenia się społecznościowego do celów innych niż tekst” – czytamy dalej w poście na blogu.
Autor wyróżnionego obrazu: Mitchella Luo/Unsplash
