Google ma wystrzelony Nowa funkcja w API Gemini o nazwie „Implicit Buging”, który, jak twierdzi firma, może obniżyć koszty o 75% dla twórców stron trzecich, korzystając z najnowszych modeli AI, Gemini 2.5 Pro i 2.5 Flash.
Funkcja automatycznie umożliwia oszczędności kosztów, gdy żądanie API GEMINI do modelu uderza w pamięć podręczną, eliminując potrzebę ręcznej konfiguracji wymaganej przez poprzednią jawną metodę buforowania. Według Google, niejawne buforowanie jest wywoływane, gdy żądanie podziela wspólny prefiks z poprzednim żądaniem, a wymagana minimalna szybka liczba tokenów wynosi 1024 dla 2,5 Flash i 2048 dla 2,5 Pro.
Logan Kilpatrick, członek zespołu Gemini, ogłoszony Uruchomienie 8 maja 2025 r., Stwierdzając, że funkcja może zapewnić znaczne oszczędności dla programistów. Google zaleca, aby programiści umieścili powtarzający się kontekst na początku żądań i dołączyli do zmiany kontekstu na końcu, aby zwiększyć szanse na ukryte trafienia pamięci podręcznej.
Buforowanie to powszechnie przyjęta praktyka w branży AI, która ponownie wykorzystuje dane lub wstępnie obliczone dane w celu zmniejszenia wymagań i kosztów obliczeniowych. Poprzednia jawna metoda buforowania Google wymagała od deweloperów ręcznego zdefiniowania podpowiedzi o wysokiej częstotliwości, co często spowodowało dodatkową pracę, a czasem zaskakująco duże rachunki za interfejs API dla niektórych użytkowników.
Niektórzy programiści wyrazili niezadowolenie z wyraźnego wdrożenia buforowania Gemini 2.5 Pro, co skłoniło zespół Gemini do przeprosin i zobowiązania do wprowadzenia zmian. Nowa domyślna funkcja buforowania dotyczy tych obaw poprzez automatyzację procesu buforowania i przekazywanie oszczędności kosztów dla programistów, gdy nastąpi uderzenie pamięci podręcznej.
Chociaż Google twierdzi, że domyślne buforowanie może zapewnić 75% oszczędności kosztów, firma nie zapewniła stron trzecich skuteczności funkcji. W związku z tym faktyczne oszczędności kosztów mogą się różnić w zależności od tego, w jaki sposób programiści korzystają z tej funkcji.
