Meta ma Oficjalnie ogłoszone Jak dotąd najbardziej zaawansowany pakiet sztucznej inteligencji: rodzina Lamy 4. Ta nowa generacja obejmuje LLAMA 4 Scout i Llama 4 Maverick, pierwszy z modeli otwartej meta, oferujący natywną multimodalność i bezprecedensowe wsparcie długości kontekstu. Modele te oznaczają również początkową wyprawę Meta w użyciu architektury mieszanki ekspertów (MOE). Meta dostarczyła również podgląd LLAMA 4 Beemoth, wysoce inteligentnego LLM obecnie na szkoleniu, mającym na celu pełnienie funkcji nauczyciela przyszłych modeli.
Ta znacząca aktualizacja ekosystemu Llama przybywa około rok po wydaniu Lama 3 w 2024podkreślając zaangażowanie Meta w otwieranie innowacji w przestrzeni AI. Według Meta, otwarcie udostępnianie wiodących modeli ma kluczowe znaczenie dla wspierania rozwoju spersonalizowanych doświadczeń.
Scout and Maverick: Multimodal Models z innowacyjną architekturą
LLAMA 4 Scout i LAMA 4 Maverick to początkowe wydajne modele z tej serii. Llama 4 Scout oferuje 17 miliardów aktywnych parametrów u 16 ekspertów, podczas gdy LLAMA 4 Maverick ma również 17 miliardów aktywnych parametrów, ale wykorzystuje większą pulę 128 ekspertów w swojej architekturze MOE. Meta podkreśla wydajność tego projektu, zauważając, że LLAMA 4 Scout może zmieścić się na pojedynczym GPU H100 (z INT4 Quanation) i LLAMA 4 Maverick na jednym hoście H100, ułatwiając łatwiejsze wdrażanie.
Przyjęcie architektury mieszanki ekspertów (MOE) jest kluczowym postępem. W modelach MOE tylko ułamek całkowitego parametrów jest aktywowany dla każdego tokena, co prowadzi do bardziej ekonomicznego szkolenia i wnioskowania, ostatecznie zapewniając wyższą jakość dla danego budżetu obliczeniowego. Na przykład LLAMA 4 Maverick ma 400 miliardów parametrów całkowitych, ale podczas użytkowania aktywnych jest tylko 17 miliardów.
Zarówno LLAMA 4 Scout, jak i Lama 4 Maverick mają natywnie multimodalne, obejmujące wczesne fuzję do płynnego przetwarzania tekstu tekstowego i wizji w zunifikowanym szkielecie modelu. Umożliwia to wspólne wstępne trening na ogromnych ilościach danych, obrazu i wideo nieoznaczonego tekstu. Meta wzmocniła również enkoder wizji w Lamy 4, opierając się na Metaclip, ale trenując go osobno obok zamrożonego modelu LLAMA w celu lepszej adaptacji.
LAMA 4 Behemot: model nauczyciela z obiecującymi testami porównawczymi
Meta spojrzała na Behemoth Lamy 4, modelu skoncentrowanego na nauczycielach z oszałamiającymi 288 miliardami parametrów aktywnych i prawie dwoma parametrami ogółem u 16 ekspertów. Meta twierdzi, że Behemot przewyższa wiodące modele, takie jak GPT-4.5, Claude Sonnet 3.7 i Gemini 2.0 Pro Na odniesieniach skoncentrowanych na STEM, takich jak Math-500 i GPQA Diamond. Podczas gdy Behemot Llama 4 wciąż trenuje i nie jest jeszcze dostępny, odegrał kluczową rolę w „Codistilling” modelu LLAMA 4 Maverick, co prowadzi do znacznej poprawy jakości.
Długość kontekstu i możliwości wielojęzyczne
Wybitną cechą modeli LLAMA 4 jest ich znacznie zwiększona długość kontekstu. Llama 4 Scout prowadzi branżę z 10 milionami tokena, co stanowi dramatyczny wzrost w stosunku do 128 tys. Lamy 3. Ten rozszerzony kontekst umożliwia zaawansowane możliwości, takie jak podsumowanie wielu udokumentów i rozumowanie w stosunku do dużych baz kodowych. Oba modele zostały wstępnie wyszkolone na ogromnym zestawie danych przekraczających 30 bilionów tokenów, ponad dwukrotnie więcej niż LAMA 3, i obejmowały ponad 200 języków, przy czym ponad 100 języków ma ponad 1 miliard tokenów.
Integracja z meta aplikacji i dostępnością programistów
Odzwierciedlając zaangażowanie Meta w otwieranie innowacji, LLAMA 4 Scout i Lama 4 Maverick są dziś dostępne do pobrania na Llama.com i Hisging Face. Meta ogłosiła również, że modele te zasilają teraz meta AI w popularnych aplikacjach, takich jak WhatsApp, Messenger, Instagram Direct i na stronie internetowej Meta.ai. Ta integracja pozwala użytkownikom bezpośrednio doświadczyć możliwości nowych modeli LLAMA 4.
Meta podkreślił swoje zaangażowanie w opracowywanie pomocnych i bezpiecznych modeli AI. LAMA 4 zawiera najlepsze praktyki przedstawione w przewodniku dla programistów ochrony AI, w tym łagodności na różnych etapach rozwoju. Podkreślili także zabezpieczenia typu open source, takie jak Guard LLAMA i Strażnik, aby pomóc programistom w identyfikowaniu i zapobieganiu szkodliwym nakładom i wynikom.
Zajmując się dobrze znanym wydaniem uprzedzeń w LLM, Meta stwierdził, że w LAMA 4 wprowadzono znaczące ulepszenia. Model odmawia mniejszych monitów na debatowane tematy polityczne i społeczne i pokazuje bardziej zrównoważoną reakcję w różnych punktach widzenia, wykazując wydajność porównywalną z GROK w tym obszarze.
