Akamai Technology wprowadza wnioskowanie Akamai Cloud, nową usługę chmurową, która zwiększa wydajność zadań dotyczących wnioskowania AI. Zapewnia lepszą przepustowość, zmniejszenie opóźnień i niższe koszty niż tradycyjna infrastruktura hiperskalna.
Wniosek Akamai Cloud działa na Akamai Cloud, najbardziej rozproszonej platformie na świecie. Ta nowa technologia została zaprojektowana w celu rozwiązania ograniczeń scentralizowanych modeli chmur poprzez przetwarzanie danych AI bliżej użytkownika i urządzeń.
Adam Karon, dyrektor operacyjny i dyrektor generalny, Cloud Technology Group w Akamai, podkreślił wyzwanie wydajnego dystrybucji danych AI. „Przybliżenie danych AI do użytkowników i urządzeń jest trudne i tam walczą starsze chmury” – stwierdził Karon.
Wnioskowanie AI na Akamai Cloud umożliwia inżynierom platform i programistom budowanie i uruchamianie aplikacji AI bliżej użytkowników końcowych. To nowe rozwiązanie oferuje 3x lepszą przepustowość i do 2,5x zmniejszenie opóźnienia.
Nowe narzędzia umożliwiają firmom zaoszczędzenie do 86% na wnioskowaniu sztucznej inteligencji i obciążenia agencyjnym AI w porównaniu z tradycyjną infrastrukturą Hyerscaler.
Kluczowe funkcje wnioskowania Akamai Cloud obejmują:
- Obliczać: Akamai Cloud zapewnia wszechstronne opcje obliczeniowe, takie jak procesory do dopracowanego wnioskowania, GPU dla przyspieszonego obliczenia i ASIC VPU. Itp., Aby rozwiązać różnorodne wyzwania dotyczące wnioskowania AI.
- Zarządzanie danymi: Akamai integruje się z ogromnymi danymi do dostępu do danych w czasie rzeczywistym i zapewnia skalowalne przechowywanie obiektów do zarządzania zestawami danych AI. Firma współpracuje również z dostawcami wektorów bazy danych, takimi jak AIVEN i MILVUS, aby umożliwić pokolenie odzyskania.
- Konteneralizacja: Akamai integruje konteneryzację w celu poprawy odporności aplikacji i przenośności hybrydowej/multicloud. Akamai zapewnia wniosek AI, który jest szybszy, tańszy i bezpieczniejszy z Kubernetes, obsługiwany przez Linode Kubernetes Engine (LKE)-Enderprise. Nowa usługa umożliwia szybkie wdrożenie platform gotowych do sztucznej inteligencji, w tym KSERV, Kubeflow i Spinkube.
- Oblicz krawędzi: Wniosek Akamai AI obejmuje możliwości Webassembly (WASM). Deweloperzy budują aplikacje zasilane AI na krawędzi, umożliwiając rozwiązania wrażliwe na opóźnienie.
Skalowalna i rozproszona architektura chmury Akamai pozwala na dostępność zasobów obliczeniowych na całym świecie – od chmury do krawędzi – przy jednoczesnym przyspieszeniu wydajności aplikacji i zwiększaniu skalowalności. Platforma obejmuje 4200 punktów obecności w 1200 sieciach w ponad 130 krajach.
Polyhedra właśnie upubliczniła uczciwe tajemnice AI
Akasm ujawnia przejście od treningu dużych modeli językowych (LLM) do wnioskowania AI, podkreślając potrzebę praktycznych rozwiązań AI. LLM są skuteczne w zakresie zadań ogólnych, ale często mają wysokie koszty i czasochłonne wymagania.
Zamiast intensywnie inwestować w LLM, przedsiębiorstwa przechodzą do lżejszych modeli AI. Są one zoptymalizowane pod kątem konkretnych problemów biznesowych, oferują dziś lepszy zwrot z inwestycji.
Wnioskowanie w chmurze Akamai obsługuje przetwarzanie danych AI bliżej miejsca, w którym są one generowane, rozwiązując wymagania dotyczące bardziej rozproszonych rozwiązań AI.
Nowa oferta Akamai stanowi znaczący ruch w kierunku zdecentralizowanej sztucznej inteligencji, rozwiązując klasyczną zagadkę przetwarzania w chmurze odległości. Dlaczego? Ponieważ zmniejszone opóźnienie bezpośrednio przekłada się na prawdziwe, natychmiastowe oszczędności i lepsze wrażenia użytkownika, co jest trudną kombinacją dla konkurentów do pokonania.
Jedną szczególnie doświadczoną funkcją jest nacisk na konteneryzację, zapewniając, że wdrożenie aplikacji AI pozostaje znacznie łatwiejsze i bardziej bezpieczne niż tradycyjne konfiguracje. Korzystanie z Linode Kubernetes Engine (LKE) -Serprise podkreśla zaangażowanie Akamai w oferowanie nowoczesnych, wydajnych narzędzi dostosowanych do dzisiejszych wyzwań technologicznych.
