Duże modele językowe (LLM) przekształciły sposób, w jaki AI zajmuje się rozumowaniem problemów, od odpowiadania na trudne pytania matematyczne po zrozumienie niejednoznacznego języka ludzkiego. Ale jest jakiś haczyk – te modele często walczą, gdy rozumowanie stają się zbyt złożone. Pojedyncza sztuczna inteligencja może utknąć w lokalnych pułapkach decyzyjnych, brakując lepszych rozwiązań po prostu dlatego, że nie wie, czego nie wie.
Zespół naukowców z chińskiego Uniwersytetu Hongkongu i Laboratorium AI w Szanghaju, kierowanym przez Sen Yang, Yafu Li, Wai Lam i Yu Cheng, proponują rozwiązanie: Mieszanina biodrówki (MOSA). Ta metoda umożliwia współpracę wielu modeli AI, wykorzystując ich połączone mocne strony w celu poruszania złożonych problemów rozumowania. Zamiast polegać na perspektywie tylko jednego modelu, MOSA umożliwia różnym agentom AI eksplorowanie różnych ścieżek rozumowania i udoskonalanie się nawzajem.
Ich ustalenia, przedstawione w badaniu „Wspólne poszukiwanie złożonego rozwiązywania problemów”Pokazują, że takie podejście znacznie poprawia dokładność sztucznej inteligencji w zadaniach matematycznych i rozsądnych rozumowania.
Dlaczego modele AI walczą ze złożonym rozumowaniem?
U podstaw rozumowania polega na podzieleniu problemu w mniejsze kroki i badanie różnych ścieżek w celu znalezienia najlepszego rozwiązania. Tradycyjne podejścia oparte na wyszukiwarkach, takie jak Pierwsze wyszukiwanie (BFS) Lub Wyszukiwanie głębokości (DFS)Pomóż systematycznie poruszać się z tymi ścieżkami. Ale nawet z zaawansowanymi technikami, takimi jak Rozumowanie łańcucha (COT)gdzie modele rozkładają proces myślowy krok po kroku, pojedynczy LLM może nadal napotykać ograniczenia:
- Ograniczona eksploracja: Modele AI mają tendencję do utknięcia w znanych wzorach rozumowania, nie badając alternatywnych rozwiązań.
- Dwuznaczność w języku: Język naturalny jest z natury niejasny, co utrudnia prawidłową ocenę wszystkich możliwych interpretacji.
- Kompromis między różnorodnością a dokładnością: Dostosowanie temperatury AI (jak losowo generuje odpowiedzi) pomaga wprowadzić różnorodność, ale często przynosi koszt precyzji.
MOSA ma na celu rozwiązanie tych problemów poprzez składanie wielu modeli AI w celu współpracy przy zadaniach rozumowania, zapewniając szerszą eksplorację przy jednoczesnym zachowaniu dokładności.
Jak działa mosa?
Mosa opiera się na znanej technice wyszukiwania zwanej Monte Carlo Search (MCTS)powszechnie stosowane w strategiach gry AI. W typowej konfiguracji MCTS AI bada różne możliwe ruchy, ucząc się z przeszłych wyników w celu poprawy podejmowania decyzji. MOSA zwiększa ten proces poprzez integrację wielu LLM z wyszukiwaniem, z których każdy działa jako niezależny agent rozumujący.
Oto jak Mosa organizuje współpracę:
- Różnorodne poszukiwania wyszukiwania: Każdy agent AI proponuje inne możliwe ścieżki rozumowania, zwiększając różnorodność kierunków wyszukiwania.
- Krok po kroku udoskonalenie: Agenci AI analizują i udoskonalają się nawzajem kroki rozumowania, zmniejszając błędy.
- Zgrupowane podejmowanie decyzji: Zamiast polegać na wyjściu pojedynczej AI, MOSA agreguje najlepszy wkład z wielu modeli, zapewniając bardziej niezawodne wnioski.
Korzystając z wielu modeli z różnymi danymi treningowymi i mocnymi stronami, MOSA uniemożliwia dominację pojedynczej AI w procesie decyzyjnym, unikając lokalnych pułapek optymalizacji.
Jak Mosa bije pojedyncze modele AI
Aby przetestować skuteczność MOSA, naukowcy przeprowadzili eksperymenty w czterech znanych odniesieniach rozumowania:
- GSM8K (Problemy ze słowami matematyki w szkole)
- Svamp (Rozumowanie matematyczne z różnicami struktur językowych)
- Math-500 (trudny zestaw danych do zaawansowanych problemów matematycznych)
- Strategyqa (Pytania o rozumowanie zdrowia)
Wyniki były jasne: MOSA konsekwentnie przewyższała zarówno modele AI jednoagenta, jak i istniejące wielokrotne linie bazowe.
- W Math-500jeden z najtrudniejszych zestawów danych, Mosa poprawił dokładność 1,8% nad poprzednimi najlepszymi metodami.
- Podczas integracji wielu LLM MOSA wykazał 1,71% poprawa W ogólnej dokładności rozumowania w porównaniu z tradycyjnym wyszukiwaniem jednorazowym.
- Im bardziej zróżnicowany zespół AI, tym lepsze wyniki – dodanie większej liczby LLM dodatkowo zwiększyło wydajność.
Badanie podkreśla ważny trend: Współpraca AI jest często bardziej skuteczna niż konkurencja AI. Podobnie jak ludzie pracują w zespołach w celu rozwiązywania złożonych problemów, modele AI mogą uzupełniać swoje mocne strony podczas współpracy. Ma to głębokie konsekwencje dla pól wymagających głębokiego rozumowania, w tym:
- Zautomatyzowane odkrycie naukowe: Współpraca AI może przyspieszyć przełom w dziedzinie materiałów, odkrywania leków i fizyki.
- Zaawansowane systemy korepetycji: Podejścia podobne do mosa mogą sprawić, że asystenci edukacyjni mogą być bardziej dokładni i pomocni.
- Analiza prawna i finansowa: Multi-agent AI może poprawić analizę kontraktów, prognozowanie finansowe i ocenę ryzyka poprzez krzyżowe ścieżki rozumowania.
Czy AI może bronić się przed własnymi błędami?
Jednym z najbardziej obiecujących aspektów MOSA jest jej zdolność do łapania i korygowania błędów. Pojedyncze modele AI często generują błędy pewnie, co utrudnia ich wykrycie. Ale w przypadku wielu agentów AI dokonujących recenzji nawzajem pracy, błędy stają się mniej prawdopodobne, że pozostają niezauważone. Zespół badawczy również wprowadził Agregator neuronowyfunkcja AI, która łączy najlepsze aspekty różnych ścieżek rozumowania w bardziej wyrafinowaną ostateczną odpowiedź.
Wyróżniony obraz obrazu: Anderson Rian/Unsplash
