W uczeniu maszynowym niewiele pomysłów udało się ujednolicić złożoność, w jaki sposób okresowy stół kiedyś dla chemii. Teraz, Naukowcy z MIT, Microsoft i Google próbują to zrobić z I-Con lub Information Contrastive Learning. Pomysł jest zwodniczo prosty: reprezentują większość algorytmów uczenia maszynowego – klasyfikację, regresję, klaster, a nawet duże modele językowe – jako szczególne przypadki jednej ogólnej zasady: uczenie się relacji między punktami danych.
Podobnie jak pierwiastki chemiczne należą do przewidywalnych grup, naukowcy twierdzą, że algorytmy uczenia maszynowego również tworzą wzór. Mapując te wzory, I-Con nie tylko wyjaśnia stare metody. Przewiduje nowe. Jedna takie prognozy? Najnowocześniejszy algorytm klasyfikacji obrazu wymagający zerowych ludzkich etykiet.
Wyobraź sobie kolację balową. Każdy gość (punkt danych) znajduje siedzenie (klaster) idealnie blisko znajomych (podobne dane). Niektórzy przyjaciele siedzą razem, inni rozprzestrzeniają się na stołach. Ta metafora, zwana galą klastrowania, rejestruje, w jaki sposób I-Con traktuje klaster: optymalizacja grupy punktów punktów danych w oparciu o nieodłączne relacje. Nie chodzi tylko o to, kto jest obok kogo, ale jakie rodzaje obligacji mają znaczenie; Czy to podobieństwo wizualne, etykiety klasy udostępnionej, czy połączenia wykresowe.
Ta analogia balowa rozciąga się na całe uczenie maszynowe. Framework I-CON pokazuje, że algorytmy różnią się głównie tym, jak definiują te relacje. Zmień listę gości lub logikę siedzącą, a uzyskasz redukcję wymiarowości, samowystarczalne uczenie się lub grupowanie spektralne. Wszystko sprowadza się do zachowania niektórych relacji, jednocześnie upraszczając inne.
Architektura stojąca za I-Con
U podstaw I-Con jest zbudowany na podstawie teoretycznej informacji. Cel: Minimalizuj różnicę (rozbieżność KL) między rozkładem docelowym, tym, co według algorytmu powinny być relacje, a wyuczonym rozkładem, rzeczywistych danych wyjściowych modelu. Formalnie jest to napisane jako:
L (θ, ϕ) = ∑ dKl(pθ (· | i) || Qular (· | i))
Różne techniki uczenia się wynikają z tego, jak konstruowane są dwa rozkłady, Pθ i Qular. Kiedy P pθ grupuje obrazy według bliskości wizualnej i qienka, grupują je według podobieństwa etykiet, wynikiem jest nadzorowana klasyfikacja. Kiedy Pθ polega na strukturze wykresu, a Qular przybliża go przez klastry, otrzymujemy klaster spektralny. Nawet modelowanie języka mieści się, traktując współwystępowanie tokenów jako zachowania związku.
Stół, który organizuje wszystko
Zainspirowany okresowym tabelą Chemistry, zespół I-CON zbudował algorytmy klasyfikacji siatki na podstawie ich typów połączeń. Każdy kwadrat w tabeli reprezentuje unikalne punkty danych, które odnoszą się w przestrzeni wejściowej w porównaniu z wyjściem. Po umieszczeniu wszystkich znanych technik pozostały zaskakujące luki. Te luki nie wskazują na brakujące dane – wskazywały na metody, które mogłyby istnieć, ale jeszcze nie zostały odkryte.
Aby to przetestować, naukowcy wypełnili jedną taką lukę, łącząc grupę z obentującym kontrastowym uczeniem się. Wynik: nowa metoda, która przewyższyła istniejące klasyfikatory obrazów bez nadzoru na ImageNet o 8%. Działało to poprzez wstrzyknięcie niewielkiej ilości hałasu – „uniwersalnej przyjaźni” wśród punktów danych – co sprawiło, że proces grupowania był bardziej stabilny i mniej stronniczy w stosunku do zbyt pewnych zadań.
Debiasing odgrywa centralną rolę w tym odkryciu. Tradycyjne kontrastowe uczenie się kara zbyt surowo próbek odmiennych, nawet jeśli próbki te mogą nie być naprawdę niezwiązane. I-Con wprowadza lepsze podejście: mieszanie w jednolitym rozkładowi, który zmiękcza nadmiernie sztywne założenia dotyczące separacji danych. Jest to koncepcyjnie czysty poprawek z mierzalnymi zyskami w wydajności.
Inna metoda polega na rozszerzeniu definicji samej dzielnicy. Zamiast patrzeć tylko na bezpośrednich najbliższych sąsiadów, I-Con rozprzestrzenia się przez wykres sąsiedzki-tworząc „spacery”, aby uchwycić bardziej globalną strukturę. Te spacery symulują, w jaki sposób informacje rozprzestrzeniają się przez węzły, poprawiając proces grupowania. Testy dotyczące transformatorów Dino Vision potwierdzają, że propagacja na małą skalę (długość 1 lub 2) daje największy wzrost bez przytłaczania modelu.
Badania: AI Google je kliknięcia
Wydajność i wypłata
Framework I-CON to nie tylko teoria. Na ImageNet-1K pokonał poprzednie najnowocześniejsze modele klastrowania, takie jak TEMI i skanowanie przy użyciu prostszych, samodzielnych funkcji straty. W przeciwieństwie do swoich poprzedników, I-Con nie potrzebuje ręcznie dostrojonych kar lub ograniczeń wielkości. Po prostu działa-szkielety Dino Vit-S, VIT-B i VIT-L.
Debiased Infonce Clustering (I-CON) poprawa dokładność węgierska przez:
- +4,5% na VIT-B/14
- +7,8% na VIT-L/14
Wyprzewał także K-średnie, kontrastowe grupowanie i konsekwentnie skanowanie. Kluczem jest czyste zjednoczenie metod i zdolności adaptacyjnych – prawdopodobieństwa klastra, wykresy sąsiednich, etykiety klasowe, wszystkie znajdują się pod jednym parasolem.
I-Con to nie tylko jednolitość; To plan wynalazku. Pokazując, że wiele algorytmów to po prostu różne sposoby wyboru dystrybucji sąsiedztwa, umożliwia badaczom wymyślenie nowych kombinacji. Zamień jeden typ połączenia na inny. Mieszaj w debiasingu. Dostrój głębokość sąsiedztwa. Każda poprawka odpowiada nowego wpisu w tabeli – nowy algorytm gotowy do przetestowania.
Jak ujął to Shaden Alshammari MIT, uczenie maszynowe zaczyna się mniej przypominać sztukę zgadywania, a bardziej jak ustrukturyzowana przestrzeń projektowa. I-Con zamienia się w eksplorację-bez alchemii, więcej inżynierii.
To, co naprawdę oferuje I-Con, to głębsza filozofia uczenia maszynowego. Ujawnia, że pod ogromną różnorodnością modeli i metod może istnieć wspólna struktura – jedna nie zbudowana na sztywnych formułach, ale na logice relacyjnej. W tym sensie I-Con nie rozwiązuje inteligencji. Mapuje to. I podobnie jak pierwszy okresowy stół, daje nam to, co wciąż czeka na odkrycie.
