Podczas konferencji GTC firma NVIDIA odsłonięty NVIDIA NIM, a platforma oprogramowania zaprojektowana w celu uproszczenia integracji zarówno niestandardowych, jak i wstępnie wytrenowanych modeli sztucznej inteligencji z ustawieniami operacyjnymi. NIM wykorzystuje wiedzę firmy NVIDIA w zakresie wnioskowania i optymalizacji modeli, oferując przystępne podejście poprzez połączenie dowolnego wybranego modelu z precyzyjnie dostrojonym silnikiem wnioskowania i zamknięcie tej kombinacji w kontenerze, a następnie udostępnienie go jako mikrousługi.
NVIDIA tak twierdzi to, co zwykle wymagałoby od programistów kilku tygodni do miesięcy, jeśli chodzi o wdrożenie kontenerów, można przyspieszyć za pomocą NIM, zwłaszcza w scenariuszach, w których firmie może brakować wewnętrznej wiedzy specjalistycznej w zakresie sztucznej inteligencji. Strategicznym celem firmy NVIDIA w ramach NIM jest wspieranie sieci kontenerów przygotowanych na sztuczną inteligencję, zbudowanych na infrastrukturze sprzętowej firmy, przy czym te wyspecjalizowane mikrousługi pełnią rolę głównego komponentu oprogramowania dla organizacji pragnących przyspieszyć swoje inicjatywy związane ze sztuczną inteligencją.
Obecnie NIM rozszerza wsparcie na modele pochodzące z NVIDIA, A121, Adept, Cohere, Getty Images i Shutterstock, a także modele typu open source firmy Google, Hugging Face, Meta, Microsoft, Mistral AI i Stability AI. NVIDIA aktywnie współpracuje z Amazonem, Google i Microsoftem aby udostępnić mikroserwisy NIM poprzez SageMaker, Kubernetes Engine i Azure AI, odpowiednio. Usługi te mają zostać włączone do platform takich jak Deepset, LangChain i LlamaIndex.
„Wierzymy, że procesor graficzny NVIDIA jest najlepszym miejscem do wnioskowania na temat tych modeli […]i wierzymy, że NVIDIA NIM to najlepszy pakiet oprogramowania i najlepsze środowisko wykonawcze, na którym programiści mogą budować, aby mogli skupić się na aplikacjach dla przedsiębiorstw” – Manuvir Das, szef działu obliczeń dla przedsiębiorstw w firmie NVIDIA, wyraził to podczas konferencji prasowej przed dzisiejsze ogłoszenia.
Jeśli chodzi o silnik wnioskowania, NVIDIA planuje wdrożyć Serwer wnioskowania Tritonwzdłuż TensorRT i TensorRT-LLM dla swojej działalności. Wśród ofert udostępnianych przez firmę NVIDIA za pośrednictwem NIM znajdują się Riva, przeznaczony do dostosowywania modeli mowy i tłumaczeń, cuOpt do usprawniania procesów routingu oraz model Ziemi-2opracowany na potrzeby zaawansowanych symulacji prognozowania pogody i klimatu.
NVIDIA angażuje się w poszerzanie swojego pakietu usług, stopniowo wprowadzając nowe funkcje. Nadchodzącym dodatkiem jest operator NVIDIA RAG LLM jako usługa NIMktórego celem jest uproszczenie tworzenia generatywnych chatbotów AI, które mogą zawierać dostosowane daneznacznie ułatwiając proces rozwoju.
Podkreślając znaczenie społeczności i partnerstw, na konferencji zwrócono również uwagę na współpracę z wiodącymi firmami, takimi jak Box, Cloudera, Cohesity, Datastax, Dropbox i NetApp obecnie korzystają z usług NIM.
„Ugruntowane platformy korporacyjne znajdują się w kopalni złota danych, które można przekształcić w generatywnych drugich pilotów AI. Te skonteneryzowane mikrousługi AI, stworzone we współpracy z ekosystemem naszych partnerów, stanowią podstawę, z której przedsiębiorstwa z każdej branży mogą stać się firmami zajmującymi się sztuczną inteligencją” – stwierdził Jensen Huang, dyrektor generalny NVIDIA.
Co tak naprawdę robi NVDIA NIM?
Zasadniczo, NIM to kontener wypełniony mikrousługami. W tym kontenerze można uwzględnić dowolny typ modelu, od oprogramowania typu open source po zastrzeżony, pod warunkiem, że działa on na procesorze graficznym NVIDIA — niezależnie od tego, czy jest on hostowany w chmurze, czy po prostu na laptopie. w konsekwencjikontener można wdrożyć w dowolnym środowisku obsługującym kontenery, w tym w konfiguracjach Kubernetes w chmurze, na serwerach Linux, a nawet w bezserwerowych ramach typu „funkcja jako usługa”. NVIDIA ma zamiar wprowadzić w swoim nadchodzącym wydaniu funkcję bezserwerową ai.nvidia.com portal oferujący programistom możliwość nawiązania kontaktu z NIM przed jego wdrożeniem.
Ważne jest, aby pamiętać, Celem NIM nie jest zastąpienie żadnej z poprzednich metodologii dostarczania modeli firmy NVIDIA. Zamiast tego jest to wyspecjalizowany kontener zawierający wysoce udoskonalony model dostosowany do procesorów graficznych NVIDIA wraz z niezbędnymi technologiami zwiększającymi wydajność wnioskowania.
Pilne pytanie dotyczy przejścia do produkcji. W jaki sposób początkowe prototypy opracowane przy naszej pomocy można udoskonalić, aby zapewnić wymierne wyniki biznesowe poprzez wdrożenie produkcyjne z wykorzystaniem tych modeli? NVIDIAwraz z konsorcjum wiodących dostawców danych postrzega NIM jako rozwiązanie tego dylematu. Funkcjonalność bazy danych wektorowych jest kluczowa dla aktywacji RAG, obsługiwana przez różnych dostawców baz danych wektorowych, w tym Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis i Weaviate.
Autor wyróżnionego obrazu: Kerem Gülen/DALL-E 3
