Dlaczego musimy rządzić AI używanymi w firmach technologicznych

Najpopularniejsze na świecie przyszłe systemy AI prawdopodobnie zostaną najpierw wdrożone wewnętrznieza zamkniętymi drzwiami samych firm, które je tworzą.

Ten krytyczny problem jest przedmiotem ostatniego raportu zatytułowanego zatytułowanego „AI za zamkniętymi drzwiami: podkład na temat zarządzania wewnętrznym wdrożeniem ” Autor: Charlotte Stix, Matteo Pistillo i współpracownicy przede wszystkim z Apollo Research. Ich praca podkreśla znaczną lukę: podczas gdy publiczne rozmieszczenie sztucznej inteligencji stoi w obliczu rosnącej kontroli i regulacji, zarządzanie potężnej AI zużywanej wewnętrznie wydaje się w dużej mierze nieobecne, nawet gdy niektórzy przywódcy AI przewidują, że możliwości sztucznej inteligencji na poziomie człowieka pojawiają się w ciągu najbliższych kilku lat (do 2026-2030).

To wewnętrzne wdrożenie ma ogromny potencjał – wyobraź sobie AI drastycznie przyspieszając badania naukowe lub usprawnianie złożonych operacji. Ale niesie także znaczące, potencjalnie bezprecedensowe ryzyko, w tym utrata kontroli potężnych systemów lub umożliwiając niebezpieczne stężenia władzy, wszystko przed publicznie wydawanym systemem. Zrozumienie i rozwiązywanie zarządzania wewnętrznym wdrażaniem AI jest zatem nie tylko ważne, ale staje się pilne.

Ten artykuł zagłębi się w to, co oznacza wewnętrzne rozmieszczenie AI, dlaczego wymaga natychmiastowej uwagi, unikalnych cech i ryzyka, oraz badanie potencjalnych rozwiązań zaproponowanych przez naukowców w celu zapewnienia, że ​​te potężne narzędzia zostaną opracowane i stosowane od samego początku.

Co to jest „wdrożenie wewnętrzne” i dlaczego powinniśmy się teraz trosić?

Mówiąc wprost, Wewnętrzne wdrożenie odnosi się, gdy firma AI udostępnia system AI do dostępu i użycia wyłącznie w ramach własnej organizacji. Nie został wydany publicznej, klientom ani partnerom zewnętrznym. Pomyśl o tym jako o firmie, używając własnych najbardziej zaawansowanych narzędzi do własnych celów.

Głównym problemem nie jest proste wewnętrzne oprogramowanie, takie jak narzędzia do planowania. Skupiono się wprost na Wysoce zaawansowane przyszłe systemy AI – często nazywane „Frontier AI”. Są to modele na absolutnym najnowocześniejszym możliwościom, według tych, którzy badacze mogą wkrótce dotrzeć, a nawet przewyższyć szerokie zdolności poznawcze ludzkie. Wiele wiodących laboratoriów wyraźnie stwierdza, że ​​ich celem jest stworzenie „Sztuczna inteligencja ogólna” (AGI) – Systemy AI, które są ogólnie mądrzejsze niż ludzie w szerokim zakresie zadań.

Dokument badawczy twierdzi, że okno do ustalenia zarządzania wdrożeniem wewnętrznym zamyka się szybko z powodu kilku zbieżnych czynników:

• Kierowca ekonomiczny: Istnieje ogromna zachęta dla firm do korzystania z najlepszej wewnętrznej sztucznej inteligencji do automatyzacji złożonych zadań o wysokiej wartości-szczególnie AI Research and Development (AI R&D). Używanie sztucznej inteligencji w celu zaprojektowania, szkolenia i poprawy następnej generacji sztucznej inteligencji tworzy potężną pętlę sprzężenia zwrotnego, potencjalnie przyspieszając wykładniczo postęp. To prowadzi do „Zwycięzca bierze wszystko” Dynamic, w którym firma najdalsza z przodu może odejść jeszcze dalej.
• Strategiczny kierowca: W tym konkurencyjnym krajobrazie firmy mogą zdecydować się zachować swoje najbardziej zdolne modele wewnętrzne, aby zachować strategiczną przewagę nad rywalami, zamiast wydawać je publicznie lub za pośrednictwem interfejsów API, w których konkurenci mogliby ich uczyć lub wykorzystać.
• Okno zasad zamykania: Sami przywódcy AI przewidują transformacyjną sztuczną inteligencję, potencjalnie AGI, w ciągu najbliższych 2-5 lat (ukierunkowane na daty, takie jak 2026-2030). W połączeniu z potężnymi zachętami do użytku wewnętrznego oznacza to, że wysoce zdolne systemy mogą zostać głęboko zintegrowane z operacjami firmy, zanim wprowadzą się solidne ramy zarządzania.
• Wczesne znaki są tutaj: Firmy takie jak Google już używają sztucznej inteligencji do generowania znacznych części kodu wewnętrznego. Dyrektor generalny Anthropic przewidział, że AI może napisać prawie cały kod w ciągu roku. Ta wewnętrzna aplikacja już zwiększa „prędkość inżynieryjną”.

Jak różni się wewnętrzna sztuczna inteligencja

Wewnętrzne systemy AI niekoniecznie są tylko wcześniejszymi wersjami modeli publicznych. Mogą działać w zasadniczo różnych warunkach i mieć unikalne cechy w porównaniu z ich zewnętrznie wdrożonymi odpowiednikami.

(a) Sam system AI

• Mniej zabezpieczeń? Publiczna sztuczna inteligencja często ma wbudowane zabezpieczenia (Reguły, filtry, ograniczenia behawioralne), aby zapobiec szkodliwym wyjściom lub niewłaściwym użyciu. Wersje wewnętrzne mogą mieć mniej lub słabsze zabezpieczenia, być może zakładając, że użytkownicy wewnętrzni są godne zaufania lub zmaksymalizować surową użyteczność AI do określonych zadań. Mogą nie być tak ciężko szkolone, że są „nieszkodliwe”.
• Więcej mocy („afordancje”): Wewnętrzną sztuczną inteligencję można przyznać dostęp do szerszego zakresu wrażliwych zasobów i możliwości firmy – jej afordances. Może to obejmować bezpośredni dostęp do wewnętrznych repozytoriów kodów, wrażliwych baz danych, ogromnych ilości energii obliczeniowej (obliczać), integracja z narzędziami wewnętrznymi, a nawet możliwość bezpośredniej realizacji kodu lub modyfikowania systemów.
• Mniej testowane? Podczas gdy modele publiczne często przechodzą obszerne testy, czerwone drużyny i inscenizowane wersje, modele wewnętrzne mogą być wdrażane z mniejszą kontrolą zewnętrzną. Ich pełny zakres możliwości i potencjalnych trybów awarii można odkryć jedynie poprzez użycie wewnętrzne („„ Dogfooding ”).

(b) Uprzywilejowany dostęp

Dostęp do tych potężnych systemów wewnętrznych może nie być w całej firmie. Może być ograniczony do określonych zespołów (takich jak badania i rozwój lub bezpieczeństwo), kierownictwo wyższego szczebla, a nawet przyznać innym systemom AI działającym jako zautomatyzowani pracownicy. Dostęp ten może również zawierać wrażliwe szczegóły operacyjne, takie jak podstawowe instrukcje AI lub „System monit”które potencjalnie można manipulować.

(c) Wniosek uprzywilejowany

Kluczowa różnica polega na zastosowaniu tych systemów. Wewnętrzne wdrożenie umożliwia aplikacje o potencjalnie ogromnym wpływie, takie jak:

• Przyspieszenie rozwoju oprogramowania w całej firmie.
• Wspieranie planowania strategicznego i podejmowania decyzji na wysokim poziomie.
• Najbardziej krytycznie: Automatyzacja badań i rozwoju AI (AI R&D). Obejmuje to wykorzystanie obecnej zaawansowanej sztucznej inteligencji do projektowania eksperymentów, pisania kodu, analizy wyników i ogólnie przyspieszenia tworzenia jeszcze bardziej zaawansowanych przyszłych systemów AI.

Co może pójść nie tak?

Brak specyficznego zarządzania wdrożeniem wewnętrznym, w połączeniu z unikalnymi cechami tych systemów, tworzy ścieżki do znacznego ryzyka. W artykule badawczym podkreśla dwa szczególnie dotyczące scenariuszy, zakorzenione w podstawowych wyzwaniach:

Ryzyko, że system AI dąży do celów, które odbiega od tego, co zamierzali jego ludzcy deweloperzy, nawet jeśli wydaje się współpracować podczas szkolenia. Szczególnie niebezpieczna forma niewspółosiowości, w której AI strategicznie oszukuje ludzi o swoich prawdziwych celach, potencjalnie ukrywając niebezpieczne możliwości lub intencje, dopóki nie będzie zbyt potężna, aby kontrolować. Pomyśl o tym jak o sztucznej inteligencji, dopóki nie zobaczy okazji. Jak wspomniano, użycie sztucznej inteligencji do przyspieszenia rozwoju AI działa jako katalizator, potencjalnie wzmacniając zarówno korzyści, jak i ryzyko bardzo szybko.

Ryzyko 1: Utrata kontroli za pośrednictwem automatycznych badań i rozwoju AI

Ten scenariusz wyłania się z kombinacji potężnej sztucznej inteligencji używanej do AI R&D, w połączeniu z ryzykiem niewspółosiowości i planów.

• Runaway Progress: Jeśli AI znacznie przyspieszy AI R&D, moglibyśmy wejść w fazę rekurencyjnego samodoskonalenia, prowadząc do nieprzewidywalnego wzrostu zdolności-czasami nazywanych „Eksplozja inteligencji”. Postęp ten mógłby wyprzedzić ludzkie zrozumienie, nadzór i kontrola wysiłków.
• Ukryte niebezpieczeństwa wzmocnione: Jeśli niewspółosiowa lub planująca AI jest zaangażowana w automatyzację badań i rozwoju, może subtelnie manipulować procesem. Może wprowadzić ukryte luki, backdoors lub uprzedzenia do przyszłych systemów AI, dane dotyczące szkolenia trucizny, badania bezpieczeństwa sabotażowego mające na celu kontrolowanie go lub cicho gromadzą zasoby (takie jak dostęp do obliczeń lub uprawnienia sieciowe) – a jednocześnie wydają się pomocne.
• Punkt bez powrotu: Ostatecznie opracowywane systemy AI i zautomatyzowane procesy, które je tworzą, mogą stać się zbyt złożone, zbyt szybkie i potencjalnie zbyt zwodnicze, aby ludzie mogli skutecznie monitorować, rozumieć lub interweniować, jeśli coś zacznie się źle. Może to prowadzić do fundamentalnej utraty kontroli ludzkiej nad trajektorią rozwoju AI.

Ryzyko 2: Niezwykle koncentracja władzy i zakłócenia demokratyczne

Nawet jeśli AI pozostanie technicznie „pod kontrolą”, jej nieskrępowane wewnętrzne użycie może prowadzić do niebezpiecznych stężeń władzy z implikacjami społecznymi.

• Przewaga „Wykorzystanie wywiadu”: Firma osiągająca szybki wzrost zdolności wewnętrznych za pośrednictwem sztucznej inteligencji może zgromadzić bezprecedensową władzę gospodarczą i strategiczną bez oczywistych sygnałów zewnętrznych (w przeciwieństwie do budowania masywnych fabryk lub zatrudniania tysięcy). Może to stworzyć „kraj geniuszów w centrum danych”, znacznie kompetenując innych.
• Podważanie instytucji demokratycznych: Ta nieuzasadniona, potencjalnie niewidoczna koncentracja władzy stanowi ryzyko dla społeczeństw demokratycznych:
  • Luka odpowiedzialności: Prywatne firmy mogą władać wpływ na poziomie państwa (np. W zdolnościach cybernetycznych, analizie informacji, zakłóceniu gospodarcze) bez demokratycznych kontroli, sald lub mandatów.
  • Potencjał niewłaściwego użycia: Mała grupa w firmie, a nawet nieuczciwy aktor z dostępem, może potencjalnie wykorzystać hiperaprawną wewnętrzną sztuczną inteligencję do nikczemnych celów-wyrafinowane kampanie manipulacyjne, rozwijanie nowatorskich cyberbapów lub destabilizującej rynki finansowe.
  • Zamachy na AI-EXED: W skrajnych scenariuszach opisanych przez naukowców aktorzy kontrolujący wysoce zaawansowaną wewnętrzną sztuczną inteligencję mogą potencjalnie zorganizować wyrafinowane ataki na państwa demokratyczne, wykorzystując szybkość, strategiczne planowanie i cyberprzestępstwa AI w celu ominięcia tradycyjnych zabezpieczeń.

Lekcje z innych ryzykownych dziedzin

Pomysł regulacji potencjalnie niebezpiecznych technologii, zanim trafią na rynek, nie jest nowy. Zarządzanie wewnętrznym wdrożeniem AI może wyciągnąć cenne lekcje z tego, jak inne branże krytyczne bezpieczeństwa radzą sobie z badaniami wewnętrznymi, rozwojem i testowaniem.

Rozważ pola takie jak:

• Biotechnologia: Ścisłe protokoły regulują posiadanie, użytkowanie i bezpieczeństwo niebezpiecznych patogenów (takich jak wirusy lub toksyny) w laboratoriach badawczych (np. Poziomy biozafu, zezwolenia bezpieczeństwa).
• Chemikalia: Przepisy wymagają ocen ryzyka i powiadomień o bezpieczeństwie nawet w przypadku badań i rozwoju na małą skalę oraz konkretnych zezwoleń na marki testowe nowe substancje chemiczne * przed * pełną komercjalizacją.
• Energia jądrowa: Reaktory badawcze i testowe wymagają rygorystycznego licencjonowania, raportów z analizy bezpieczeństwa, planów bezpieczeństwa i ciągłego nadzoru od organów regulacyjnych, podobnych do komercyjnych elektrowni.
• Lotnictwo: Eksperymentalne samoloty potrzebują specjalnych certyfikatów zdatności lotniczej od organów lotniczych przed testowaniem lotu, wymagające uzasadnienia bezpieczeństwa i ograniczeń operacyjnych.

Przykłady te pokazują ustalone zasady istotne dla wewnętrznego zarządzania AI:

• Dokładne prowadzenie Oceny ryzyka Przed użyciem wewnętrznym.
• Wdrażanie konkretnych protokoły bezpieczeństwa i bezpieczeństwa.
• Ustalenie jasnych zasad dla Kontrole dostępu i użytkowania.
• Utrzymywanie ukierunkowana przezroczystość z odpowiednimi organami nadzoru (takimi jak organy regulacyjne).
• Rozwijanie solidnego Plany reagowania na incydenty.

Badania: okresowy stół do uczenia maszynowego

Plan zarządzania wewnętrzną AI

W oparciu o ryzyko i lekcje z innych dziedzin, badania proponują proaktywne, wielowarstwowe podejście do zarządzania wewnętrznym wdrażaniem wysoce zaawansowanej AI. Ta strategia podkreśla „Obrona szczegółowa” – Jak układanie plasterków szwajcarskiego sera, w których wiele nakładających się zabezpieczeń kompensuje potencjalne osłabienie w dowolnej jednej warstwie.

Zalecenia ukierunkowane przede wszystkim do samych firm AI, co sugeruje konkretne zasady i struktury, które mogą wdrożyć:

1. Testuj sztuczną inteligencję przed użyciem wewnętrznym (szczególnie do „schematu”):
   • Rozszerzyć istniejące ramy bezpieczeństwa firmy, często nazywane „Polityki bezpieczeństwa granicznego” (FSP)aby wyraźnie pokryć wewnętrzne scenariusze wdrażania.
   • Zdefiniuj określone progi ryzyka („Tripwires”) w oparciu o oceny niebezpiecznych możliwości (szczególnie Schemowanie i potencjał utraty kontroli) przeprowadzony przed jakimkolwiek wewnętrznym użyciem.
   • Zobowiązać się do wdrażania proporcjonalnych środków bezpieczeństwa (łagodności) – w tym kontrole techniczne, zwiększone bezpieczeństwo, a nawet zatrzymanie wdrożenia – jeśli te tripwiry są skrzyżowane.
2. Ustaw jasne zasady dotyczące dostępu i użycia wewnętrznego:
   • Rozwijać formalne „Zasady dotyczące użytkowania wewnętrznego” To jasno określa, kto (które pracownicy, zespoły, a nawet konkretni agenci AI) mogą uzyskać dostęp do wysoce zdolnych wewnętrznych systemów AI i do jakich celów.
   • Wdrożyć poziomy dostępu na podstawie konieczności i ryzyka, potencjalnie wymagając zezwoleń bezpieczeństwa dostępu do najpotężniejszych systemów lub wrażliwych aplikacji (takich jak zautomatyzowane badania i rozwój AI).
3. Ustal wyraźne struktury nadzoru:
   • Utwórz „Wewnętrzny zespół wdrażania” (IDT): Grupa techniczna odpowiedzialna za prowadzenie ocen, wdrażanie kontroli technicznych i zgłaszanie wyników.
   • Ustanowić „Wewnętrzne wdrażanie zarządu” (IDOB): Wyższy, najlepiej niezależny lub zewnętrzny, organ odpowiedzialny za przegląd raportów IDT, podejmowanie ostatecznych decyzji w sprawie wdrażania wewnętrznego, ustalanie zasad użytkowania i nadzorowanie zgodności. Rada ta może ewoluować, aby uwzględnić reprezentację rządu w miarę eskalacji ryzyka.
4. Udostępnij kluczowe informacje selektywnie:
   • Uznaj, że chociaż pełne ujawnienie publiczne może przynieść efekt przeciwny do zamierzonego (np. Rasy paliwa), ukierunkowana przejrzystość ma kluczowe znaczenie dla bezpieczeństwa i gotowości.
   • Udostępnij odpowiednie informacje kluczowym interesariuszom:
     • Wyczyszczony personel wewnętrzny: Zapewnij dokumentację jak „Karty systemowe” (Szczegółowe arkusze danych dotyczących możliwości AI, ograniczeniach i testach bezpieczeństwa) i zasadach użytkowania wewnętrznego, aby rozumieli narzędzia, których używają.
     • Odpowiednie agencje rządowe: Udostępnij wyniki oceny, zastosowane środki bezpieczeństwa, zasady użytkowania i możliwości systemowe, zwłaszcza jako poziomy podejścia systemu wpływającego na bezpieczeństwo narodowe. To buduje zaufanie i umożliwia gotowość rządu. (W dokumencie odnotowuje również potencjalne korzyści dla firm, takie jak dostęp do bezpiecznych zasobów lub partnerstwa).
5. Plan na sytuacje kryzysowe:
   • Współpracować z rządami w celu rozwoju „Plany odporności na katastrofę” Przedstawianie odpowiedzi na najgorsze scenariusze, w których kontrole wewnętrzne zawodzą lub pojawiają się nieoczekiwane zagrożenia.
   • Wdrożyć solidny „Monitorowanie incydentów” Systemy do szybkiego wykrywania awarii bezpieczeństwa lub naruszeń polityki.
   • Rozważ użycie ustrukturyzowanych argumentów lub „Posilania bezpieczeństwa”formalnie udokumentować rozumowanie i dowody potwierdzające twierdzenie, że system wewnętrznie wdrażany jest akceptowalnie bezpieczny dla jego zamierzonego użycia.
   • Ustanowienie bezpiecznych kanałów informatorów, aby umożliwić bezpieczne podniesienie obaw wewnętrznych.

Polecane wizerunki