Doradca naukowy Białego Domu Michael Kratsios zarzucił, że chińska firma Moonshot skopiowała wielkojęzykowy model (LLM) firmy Anthropic’s Fable, aby stworzyć Kimi K3, który jest największym obecnie dostępnym modelem o otwartej wadze. Kratsios stwierdził, że w modelu Moonshot wykorzystano chipy, które nie są dopuszczone do eksportu do Chin, i dodał, że tajna destylacja przemysłowa mająca na celu kradzież amerykańskiej technologii jest „niedopuszczalna”. Zwrócił uwagę na trwające dyskusje na temat potencjalnego zakazu chińskich modeli z otwartą wagą, które stały się kontrowersyjne w sektorze sztucznej inteligencji.
Sekretarz skarbu Scott Bessent powtórzył uwagi Kratsiosa, ujawniając, że w wielu modelach chińskich wykryto amerykańskie modele wielojęzyczne, które również określił jako „niedopuszczalne”. Departament Skarbu nie wyjaśnił dokładnego charakteru znaków wodnych występujących w tych modelach. Eksperci wyrazili jednak sceptycyzm co do tego, czy sama destylacja może wyjaśnić zaawansowane możliwości Kimi K3, zwłaszcza biorąc pod uwagę datę premiery Fable przypadającą na 1 lipca.
Braden Hancock, badacz w Laude Institute, zwrócił uwagę, że opracowanie modelu o mocy Kimi K3 w tak krótkim czasie przy użyciu wyłącznie technik destylacji jest nieprawdopodobne. Stwierdził: „Nie da się destylować tak dużej ilości danych, wytrenować modelu i opublikować go w dwa tygodnie”. Nathan Lambert z Allen Institute for AI zauważył malejącą skuteczność destylacji z biegiem czasu i argumentował, że zaawansowane metody, takie jak uczenie się przez wzmacnianie, mogą być konieczne, aby takie modele osiągnęły swoje możliwości.
Proces destylacji obejmuje systematyczne sprawdzanie LLM w celu odtworzenia jego funkcjonalności. Proces ten może obejmować nadzorowane dostrajanie (SFT), podczas którego model docelowy szkoli nowy model, emulując jego zachowania. Lambert ocenił, że chociaż SFT przynosi korzyści, zmniejszają się one wraz ze wzrostem złożoności modelu. Odtworzenie możliwości Fable może wymagać uczenia się przez wzmacnianie, co może wymagać dużych zasobów i może nie gwarantować doskonałej wydajności.
W branży sztucznej inteligencji istnieje ciągły konflikt dotyczący praktyk destylacyjnych. Anthropic wcześniej oskarżyła Moonshot o systematyczne wydobywanie danych ze swoich modeli, powołując się na miliony podejrzanych wymian monitorowanych za pośrednictwem adresów IP. Elon Musk zeznał, że jego firma SpaceXAI również wykorzystała techniki destylacji w modelach OpenAI do opracowania Groka, co pokazuje, jak powszechna jest ta praktyka w całym sektorze.
Hancock podkreślił, że amerykańskie postrzeganie może bagatelizować umiejętności techniczne chińskich zespołów AI, odnosząc się do współzałożyciela Moonshot, doktoranta na Carnegie Mellon University. Moonshot rzekomo wykorzystał zakazane chipy Nvidia podczas uzyskiwania dostępu do serwerów wyposażonych w GB300 w Tajlandii w celu opracowania Kimi K3. Sam Bresnick, pracownik naukowy w Centrum Bezpieczeństwa i Wschodzących Technologii w Georgetown, zauważył istnienie czarnego rynku takich chipów, których eksport do Chin pozostaje zakazany. Wysiłki mające na celu egzekwowanie przepisów dotyczących stosowania tych zaawansowanych chipów nie przyniosły jeszcze znaczącego postępu.
Departament Handlu prezydenta Bidena zaproponował w 2024 r. zasady dla centrów danych mające na celu ustanowienie środków identyfikacji klientów. Jednak za poprzedniej administracji nie nastąpiły żadne znaczące zmiany w tym obszarze, a eksporterzy muszą zadbać o to, aby ich zaawansowane chipy były wykorzystywane do legalnych zastosowań.
