Technologia mikronów ogłoszony wysyła do klientów próbki modułu pamięci SOCAMM2 o pojemności 192 GB. Nowy produkt, opracowany dla centrów danych AI, wykorzystuje technologię LPDDR5X w celu zwiększenia pojemności i wydajności przy jednoczesnym zmniejszeniu zużycia energii. Moduł, moduł pamięci SOCAMM2 (Small Outline Compression Dołączony), zapewnia 192 gigabajty pojemności, najwyższą dostępną dla tej formy w centrach danych. Oznacza to 50-procentowy wzrost wydajności w porównaniu z poprzednią generacją przy identycznej powierzchni fizycznej. Konstrukcja o dużej gęstości ma kluczowe znaczenie w przypadku serwerów AI o ograniczonej przestrzeni, zapewniając większą ilość pamięci na system w celu obsługi dużych modeli AI. Koncentrując pojemność, moduł bezpośrednio odpowiada na rosnące wymagania dotyczące pamięci współczesnych obciążeń związanych ze sztuczną inteligencją, których efektywne działanie opiera się na ogromnych zbiorach danych i obszernych licznikach parametrów. W swej istocie SOCAMM2 wykorzystuje LPDDR5X DRAM, technologię pochodzącą z sektora mobilnego, obecnie zaadaptowaną do użytku korporacyjnego. Pamięć jest wytwarzana w procesie 1-gamma DRAM firmy Micron, jej najbardziej zaawansowanym węźle produkcyjnym. Proces ten zapewnia poprawę efektywności energetycznej o ponad 20 procent w porównaniu z poprzednimi generacjami. Połączenie architektury małej mocy LPDDR5X z zaawansowanym procesem produkcyjnym tworzy rozwiązanie pamięci zaprojektowane specjalnie w celu zmniejszenia znacznego zapotrzebowania na energię obliczeń AI, przekształcając pamięć DRAM o niskim poborze mocy w komponent klasy centrum danych o zwiększonej wytrzymałości i skalowalności. Wskaźniki wydajności obejmują prędkości przesyłania danych sięgające do 9,6 gigabitów na sekundę (Gb/s), zapewniające przepustowość niezbędną do zapobiegania wąskim gardłom danych w systemach AI. Podstawową cechą jest oszczędność energii, ponieważ moduł zmniejsza zużycie energii o ponad dwie trzecie w porównaniu z równoważnymi wdrożeniami RDIMM (Registered Dual In-line Memory Module). Ponieważ moduły RDIMM są standardem serwerowym, redukcja ta zapewnia znaczne oszczędności operacyjne. Niższy pobór mocy zmniejsza koszty energii elektrycznej i zmniejsza obciążenie systemów chłodzenia centrów danych, co jest głównym czynnikiem wpływającym na całkowity koszt posiadania i zrównoważony rozwój infrastruktury. Zwiększona pojemność pamięci bezpośrednio poprawia wydajność aplikacji AI, szczególnie w przypadku zadań wnioskowania w czasie rzeczywistym. Dostępność 192 GB w jednym module może skrócić „czas do pierwszego tokena” (TTFT) o ponad 80 procent. TTFT to kluczowy wskaźnik opóźnienia w generatywnej sztucznej inteligencji, mierzący opóźnienie, zanim model zacznie generować odpowiedź. W przypadku usług interaktywnych, takich jak asystenci AI, to skrócone opóźnienie jest niezbędne. Znaczące zmniejszenie początkowego opóźnienia pozwala modelom AI znacznie szybciej dostarczać dane wyjściowe, co poprawia czas reakcji i wygodę użytkownika w przypadku aplikacji wrażliwych na opóźnienia. Standard SOCAMM2 jest z natury modułowy, co zapewnia praktyczne korzyści w zarządzaniu dużymi środowiskami komputerowymi. Ta modułowość zwiększa łatwość serwisowania serwera, umożliwiając łatwiejszą i szybszą wymianę lub modernizację poszczególnych modułów pamięci przy minimalnym przestoju systemu. W dużych klastrach centrów danych taka usprawniona konserwacja jest niezbędna do utrzymania wysokiej dostępności. Projekt wyznacza także jasną ścieżkę przyszłej rozbudowy pojemności, umożliwiając operatorom skalowanie zasobów pamięci w celu dostosowania do rosnących wymagań modeli sztucznej inteligencji nowej generacji, chroniąc w ten sposób inwestycje sprzętowe w czasie. Opracowanie pamięci serwerowej o niskim poborze mocy było wspólnym wysiłkiem firmy Nvidiaprowadzone przez okres pięciu lat. To strategiczne partnerstwo pozycjonuje SOCAMM2 jako kluczowe rozwiązanie dla platform AI nowej generacji, a współpraca sugeruje projekt zoptymalizowany pod kątem integracji z ekosystemem Nvidia. Produkt jest skierowany w szczególności na rynek centrów danych AI, gdzie zapotrzebowanie na pamięć rośnie w związku z rozwojem generatywnej sztucznej inteligencji i modeli o masowym kontekście. Te zaawansowane systemy sztucznej inteligencji wymagają do skutecznego działania ogromnej, szybkiej i bardzo wydajnej pamięci, a do spełnienia tej potrzeby moduł został zaprojektowany. Firma Micron rozpoczęła od klientów pobieranie próbek modułu 192 GB, umożliwiając partnerom testowanie i walidację technologii w ich własnych systemach. Planowana produkcja wielkoseryjna będzie zgodna z harmonogramem wprowadzenia na rynek klientów, aby zapewnić dostępność rynkową nowych wdrożeń serwerów. Znaczna efektywność energetyczna modułu wspiera przejście szerszej branży centrów danych w kierunku bardziej zrównoważonej infrastruktury zoptymalizowanej pod kątem zużycia energii. To skupienie pomaga operatorom zarządzać zarówno kosztami finansowymi, jak i środowiskowymi związanymi z szybką globalną ekspansją obciążeń związanych ze sztuczną inteligencją i powiązanym z nimi śladem sprzętowym.
