Firma Crowdstrike i Meta z cyberbezpieczeństwem wydała Cybersoceval, pakiet benchmarkowy open source zaprojektowany do oceny wydajności modeli AI w centrach operacyjnych bezpieczeństwa (SOCS). Narzędzie ma na celu pomóc firmom w wyborze odpowiednich rozwiązań cyberbezpieczeństwa zasilanego przez sztuczną inteligencję poprzez zapewnienie znormalizowanego sposobu testowania swoich możliwości w kluczowych zadaniach bezpieczeństwa.
Wyzwanie polegające na wybraniu odpowiedniego narzędzia bezpieczeństwa sztucznej inteligencji
Gdy AI zostaje zintegrowana z rosnącą liczbą produktów cyberbezpieczeństwa, specjaliści ds. Bezpieczeństwa stoją przed wyzwaniem wyboru z szerokiej gamy opcji o różnych kosztach i możliwościach. Cybersoceval rozwiązuje to, oferując ustrukturyzowaną metodę testowania dużych modeli językowych (LLM) na podstawowych funkcjach SOC, w tym reakcję na incydent, analizę zagrożenia i wykrywanie złośliwego oprogramowania.
Bez wyraźnych punktów odniesienia trudno jest wiedzieć, które systemy, przypadki użycia i standardy wydajności zapewniają prawdziwą przewagę sztucznej inteligencji w stosunku do rzeczywistych ataków.
Standaryzując te oceny, punkt odniesienia pozwala organizacjom obiektywnie zmierzyć, w jaki sposób różne modele AI działają w realistycznych scenariuszach, pomagając im zidentyfikować narzędzia, które najlepiej pasują do ich potrzeb operacyjnych.
Jak Cybersoceval przynosi korzyści zarówno firmom, jak i programistom
W przypadku firm Benchmark zapewnia jasne, porównywalne dane dotyczące wydajności modelu. Dla programistów AI oferuje cenne informacje na temat tego, w jaki sposób klienci korporacyjne wykorzystują swoje modele do cyberbezpieczeństwa. Ta informacja zwrotna może prowadzić do przyszłych ulepszeń, pomagając twórcom udoskonalić swoje modele w celu lepszego obsługi konkretnego żargonu branżowego lub złożonej inteligencji zagrożenia. Ramy zostały zaprojektowane tak, aby można je było dostosować, umożliwiając włączenie nowych testów w miarę pojawiania się zagrożeń takich jak wyczyny zero-dniowe. Wydanie Cybersoceval pojawia się w wyścigu zbrojeń cyfrowej, w którym zarówno atakujący, jak i obrońcy wykorzystują sztuczną inteligencję. Ankieta przeprowadzona przez MasterCard i Financial Times Longitude wykazała, że firmy usług finansowych zaoszczędziły miliony dolarów, używając narzędzi napędzanych AI do zwalczania oszustw związanych z AI, wykazując wymierne korzyści z skutecznej sztucznej inteligencji obronnej.
Podejście open source do poprawy bezpieczeństwa
Zaangażowanie meta w projekcie jest zgodne z jego historią wspierania rozwoju AI open source, takich jak modele LLAMA. Uczyniając Cybersoceval narzędziem open source, firmy zachęcają do współpracy społeczności do poprawy i rozszerzenia testów porównawczych z czasem. Takie podejście ma na celu przyspieszenie postępów w branży w obronie przed zaawansowanymi zagrożeniami opartymi na AI.
Dzięki tym testom porównawczym i otwartym, aby społeczność bezpieczeństwa i AI mogła jeszcze bardziej poprawić, możemy szybciej pracować jako przemysł, aby odblokować potencjał AI w ochronie przed zaawansowanymi atakami, w tym zagrożeniami opartymi na sztucznej inteligencji.
Cybersoceval jest już dostępny w GitHub, gdzie użytkownicy mogą pobrać pakiet, aby uruchomić oceny na preferowanych LLM. Repozytorium zawiera dokumentację, przykładowe zestawy danych i instrukcje dotyczące integracji testów z istniejącymi platformami bezpieczeństwa.
