Wprowadzając aktualizację Meta AI na każdą platformę, Meta opublikowała także test porównawczy Llama 3 dla entuzjastów technologii.
Benchmark oferuje niezależnym badaczom i programistom ustandaryzowany zestaw testów do oceny wydajności Llama 3 w różnych zadaniach.
Ta przejrzystość pozwala użytkownikom porównać mocne i słabe strony Lamy 3 z innymi LLM przy użyciu tego samego punktu odniesienia, sprzyjając bardziej obiektywnemu zrozumieniu jej możliwości.
Co pokazuje benchmark Llama 3?
Meta AI ustanowiła benchmark Llama 3, kompleksowy zestaw ocen zaprojektowanych w celu oceny wydajności LLM w różnych zadaniach. Zadania te obejmują odpowiadanie na pytania, podsumowanie, wykonywanie instrukcji i uczenie się w kilku krokach. Benchmark służy jako kluczowe narzędzie do oceny mocnych i słabych stron Lamy 3 w porównaniu z innymi LLM.
Chociaż bezpośrednie porównanie testu porównawczego Llama 3 z testami stosowanymi przez konkurencję jest trudne ze względu na różne metodologie oceny, Meta twierdzi, że modele Llama 3 przeszkolone na ich zbiorze danych osiągnęły wyjątkową wydajność we wszystkich ocenianych zadaniach. Oznacza to, że Meta AI dorównuje najlepszym w dziedzinie LLM.
Oto głębsze spojrzenie na wyniki testów porównawczych Llama 3:
- Skala parametrów: Meta może pochwalić się, że modele Llama 3 o parametrach 8B i 70B przewyższają model Llama 2 i ustanawiają nowy, najnowocześniejszy model dla LLM o podobnej skali.
- Ocena człowieka: Meta przeprowadziła oceny na ludziach na kompleksowym zestawie danych obejmującym 12 kluczowych przypadków użycia. Ta ocena stawia model 70B zgodny z instrukcją Lama 3 na korzyść konkurentów o porównywalnej wielkości w rzeczywistych scenariuszach.
Są to własne oceny Meta i do bardziej ostatecznego porównania mogą być potrzebne niezależne testy porównawcze.
Otwarte wagi a otwarte oprogramowanie
Ważne jest, aby rozróżnić „otwarte wagi” i „otwarte oprogramowanie”. Chociaż Llama 3 oferuje modele i wagi do bezpłatnego pobrania, nie podlega ścisłej definicji open source ze względu na ograniczenia dostępu i danych szkoleniowych (w przeciwieństwie do oprogramowania prawdziwie open source).
Lama 3 dostępna jest w dwóch rozmiarach: 8 miliardów (8B) I 70 miliardów (70 miliardów) parametry. Oba są dostępny do bezpłatnego pobrania na stronie internetowej Meta po prostym procesie rejestracji.
Techniczne głębokie zanurzenie się w Meta AI
Lama 3 oferuje dwie wersje:
- Wstępnie przeszkolony: Jest to surowy model skupiający się na przewidywaniu następnego tokena.
- Dostosowane do instrukcji: Ta wersja jest dostosowana do konkretnych instrukcji użytkownika.
Obie wersje mają limit kontekstu wynoszący 8192 tokenów.
Szczegóły szkolenia
- Sprzęt treningowy: Meta wykorzystała dwa niestandardowe klastry, każdy zawierający oszałamiającą liczbę 24 000 procesorów graficznych, do szkolenia Llama 3.
- Dane treningowe: Mark Zuckerberg, dyrektor generalny Meta, ujawnił w wywiadzie podcastowym, że model 70B został wytrenowany na ogromnym zbiorze danych obejmującym około 15 bilionów tokenów. Co ciekawe, model nigdy nie osiągnął punktu nasycenia (szczytowej wydajności) podczas szkolenia, co sugeruje, że może być miejsce na dalsze ulepszenia w przypadku jeszcze większych zbiorów danych.
- Przyszłe plany: Meta trenuje obecnie kolosalną wersję Llamy 3 o parametrach 400B, co potencjalnie stawia ją w tej samej lidze wydajności, co rywale tacy jak GPT-4 Turbo I Bliźnięta Ultra w benchmarkach takich jak MMLU, GPQA, HumanEval i MATH.
Wyzwania w benchmarku Llama 3
Musimy uznać ograniczenia obecnych testów porównawczych LLM ze względu na takie czynniki, jak zanieczyszczenie danych szkoleniowych i selekcja wyników przez dostawców.
Pomimo tych ograniczeń Meta zapewniła kilka testów porównawczych prezentujących wydajność Lamy 3 w zadaniach takich jak MMLU (wiedza ogólna), GSM-8K (matematyka), HumanEval (kodowanie), GPQA (pytania zaawansowane) i MATH (zadania tekstowe).
Te wzorce pozycjonują model 8B korzystnie w porównaniu z konkurentami z otwartymi ciężarami, takimi jak Google Gemma 7B I Mistrala 7B Pouczać. Model 70B ma również swoje własne rozwiązania na tle uznanych marek, takich jak Bliźnięta Pro 1.5 I Klaudiusz 3 Sonet.
Dostępność Lamy 3
Meta planuje udostępnić modele Llama 3 na głównych platformach chmurowych, takich jak AWS, Databricks, Google Cloud i innych, zapewniając programistom szeroką dostępność.
Lama 3 stanowi podstawę wirtualnego asystenta Meta, który będzie widoczny prezentowane w funkcjach wyszukiwania na Facebooku, Instagramie, WhatsApp i Messengerzeoraz dedykowana strona internetowa przypominający interfejs ChatGPT (w tym generowanie obrazu).
Dodatkowo, Meta nawiązała współpracę z Google zintegrować wyniki wyszukiwania w czasie rzeczywistym z asystentem, opierając się na nich istniejące partnerstwo z usługą Bing firmy Microsoft.
Autor wyróżnionego obrazu: Meta
