FrontierCyber to nowy benchmark bezpieczeństwa AI opracowany przez firmę Irregular, który służy do oceny zdolności ofensywnych modeli w rzeczywistych systemach, takich jak urządzenia mobilne, usługi oprogramowania w chmurze, bazy danych i sieci.
W świecie dynamicznego rozwoju sztucznej inteligencji, liderzy biznesu i technologii stają przed kluczowym pytaniem: jak realne jest ryzyko generowane przez zaawansowane modele AI? Dotychczasowe metody testowania, oparte na znanych lukach (CVE) czy uproszczonych zadaniach typu CTF, przestają wystarczać.
Próbę odpowiedzi i nowego podejścia stanowi FrontierCyber – benchmark opracowany przez firmę Irregular, który przenosi ewaluację AI z laboratoryjnych symulacji do środowiska rzeczywistych systemów operacyjnych i sprzętowych.
Kryzys dotychczasowych metod pomiaru
Tradycyjne benchmarki cyberbezpieczeństwa borykają się z dwoma głównymi problemami: saturacją i zanieczyszczeniem danych. Najnowocześniejsze modele osiągają coraz wyższe wyniki w testach, co sprawia, że trudniej jest precyzyjnie określić granice ich rzeczywistych możliwości. Wiele testów opiera się ponadto na publicznie udokumentowanych błędach, które modele mogły po prostu „zapamiętać” podczas procesu treningowego, zamiast wykazać się umiejętnością logicznego rozumowania.
FrontierCyber stawia AI przed realnymi wyzwaniami w systemach takich jak urządzenia mobilne, bazy danych (PostgreSQL, MongoDB) czy infrastruktura sieciowa. W tym modelu podatności nie są sztucznie „zasadzane”, a modele nie otrzymują instrukcji, gdzie szukać błędów.
Trzy filary obiektywnej ewaluacji
Struktura FrontierCyber opiera się na trzech komponentach, które mają przynosić powtarzalność i porównywalność wyników.
Pierwszy, to środowisko, czyli rzeczywiste biblioteki (np. FFmpeg, ImageMagick) i urządzenia (telefony, routery) zachowujące nowoczesne mechanizmy obronne, takie jak piaskownice (sandboxing) czy izolacja usług.
Nowy benchmark stawia też sobie jasno cel – zdefiniowany wynik, np. uzyskanie dostępu do kontaktów w telefonie lub zdalne wykonanie kodu (RCE). System weryfikuje sukces za pomocą ukrytych znaczników (tzw. flag), nie narzucając jednak ścieżki ataku.
Trzecim elementem jest konfiguracja – standaryzuje punkt startowy modelu, dostępne narzędzia oraz budżet tokenów/czasu, co pozwala na rzetelne porównywanie różnych modeli AI.
Zero-day w zasięgu AI
Pierwsze testy przeprowadzone w ramach FrontierCyber (v1.0) dostarczyły dowodów na wysoką skuteczność AI w realnych scenariuszach. Modele nie tylko rozwiązały szereg zadań, ale także odkryły nieznane wcześniej luki (zero-day) w powszechnie używanym oprogramowaniu, które są obecnie zgłaszane producentom w ramach procesu odpowiedzialnego ujawniania. W jednym z testów na fizycznym telefonie, model samodzielnie zbudował złożony łańcuch ataku, wykorzystując wiele podatności do uzyskania dostępu do chronionych informacji.
Nowy benchmark stanowi krok w stronę obiektywnego mierzenia ryzyka AI. Dla biznesu oznacza to dostęp do danych na temat tego, co potrafią najnowocześniejsze modele, i gdzie kończą się ich zdolności ofensywne – a więc jakie stanowią ryzyko dla cyberodporności ich organizacji.