Producenci chipów Nvidia i Groq wszedł w zeszłym tygodniu zawarła niewyłączną umowę licencyjną na technologię, mającą na celu przyspieszenie i zmniejszenie kosztów uruchamiania wstępnie wyszkolonych dużych modeli językowych przy użyciu chipów jednostek przetwarzania języka Groq. Chipy jednostki przetwarzania języka Groq obsługują zapytania chatbota w czasie rzeczywistym na etapie wnioskowania operacji AI, w odróżnieniu od procesu uczenia modelu. Chipy te umożliwiają modelom AI szybkie generowanie odpowiedzi w aplikacjach takich jak chatboty. Chipy Nvidii obsługują obecnie większość fazy szkolenia sztucznej inteligencji w całej branży. Wnioskowanie stanowi wąskie gardło, nad którym Nvidia nie ma pełnej kontroli. Chipy Groq są ukierunkowane szczególnie na ten etap wnioskowania, gdzie modele sztucznej inteligencji wykorzystują wiedzę zdobytą podczas szkoleń w celu uzyskania wyników na podstawie nowych danych. Groq projektuje swoje chipy pod kątem wnioskowania, które pozwala przenieść modele sztucznej inteligencji z eksperymentów laboratoryjnych do praktycznego wdrożenia. Wnioskowanie następuje po szkoleniu, gdy modele przetwarzają niewidoczne dane wejściowe w celu dostarczenia wyników w rzeczywistych scenariuszach. Inwestorzy kierują fundusze do start-upów zajmujących się wnioskowaniem, aby połączyć badania nad sztuczną inteligencją z codziennymi zastosowaniami na dużą skalę. Reporter Axios, Chris Metinko, opisał ten trend inwestycyjny na początku tego roku. Ulepszone możliwości wnioskowania pozwalają firmom realizować dodatkowe projekty AI dla przedsiębiorstw na większą skalę. Inicjatywy te zwiększają zapotrzebowanie na procesy szkoleniowe, co z kolei zwiększa zapotrzebowanie na chipy szkoleniowe Nvidii. Modele AI funkcjonują w dwóch fazach: uczenia się i wnioskowania. Podczas szkolenia modele przetwarzają obszerne zbiory danych, w tym tekst, obrazy i wideo, w celu skonstruowania wewnętrznych reprezentacji wiedzy. Na etapie wnioskowania modele identyfikują wzorce w obrębie wcześniej niewidzianych danych i na ich podstawie generują odpowiedzi na określone podpowiedzi. Proces ten przypomina studenta, który studiuje materiał do egzaminu, a następnie wykorzystuje tę wiedzę podczas testu. Groq zapoczątkowany w 2016 roku pod przewodnictwem założyciela Jonathana Rossa. Firma nie ma żadnego związku z chatbotem xAI Elona Muska o nazwie Grok. Jak podano w artykule, Jonathan Ross, prezes Groq, Sunny Madra i wybrani inni pracownicy planują dołączyć do Nvidii stronie Groqa. Po tych przejściach Groq zamierza utrzymać niezależną działalność. Umowa stanowi „niewyłączną umowę licencyjną na technologię wnioskowania”. Układ ten przypomina przejęcie lub przejęcie. Według Stacy Rasgon w notatce dla klientów konstrukcja ta utrzymuje fikcję konkurencji CNBC. Firmy wykorzystują takie struktury transakcji do prowadzenia przeglądów antymonopolowych, zapewniając jednocześnie wyspecjalizowany personel AI.
- Przykład Microsoftu: Zrekrutowano Mustafę Suleymana, współzałożyciela DeepMind.
- Przykład Google’a: Ponownie zaangażowaliśmy Noama Shazeera, współtwórcę architektury Transformer, kluczowej dla modeli GPT.
Jonathan Ross, obecnie przenoszący się do Nvidii, opracował wcześniej moduł przetwarzania Tensor firmy Google, znany jako TPU. Koszty wdrożenia określają stopień, w jakim firmy wykorzystują modele opracowane w wyniku wcześniejszych działań szkoleniowych.
