W świecie, gdzie sztuczna inteligencja coraz częściej decyduje o tym, co widzimy, czytamy i kupujemy, zaufanie do jej bezpieczeństwa staje się kluczowe. Tymczasem najnowszy raport brytyjskiego Instytutu Bezpieczeństwa AI, przygotowany wspólnie z naukowcami z Oxfordu, Stanforda i Berkeley, ujawnia niepokojącą prawdę: ponad 440 powszechnie stosowanych benchmarków testujących AI jest pełnych luk, nieścisłości i błędnych założeń
Benchmarki: fundament na glinianych nogach
Benchmarki, czyli zestawy testów oceniających zdolności modeli AI, są podstawą komunikacji sukcesów w branży. To na ich podstawie firmy ogłaszają „przełomy” w rozumowaniu, kodowaniu czy bezpieczeństwie. Problem? Tylko 16% z nich stosuje podstawowe narzędzia statystyczne do oceny wiarygodności wyników. Reszta opiera się na surowych punktacjach, ignorując margines błędu czy losowość.
Brak standaryzacji definicji takich pojęć jak „nieszkodliwość” czy „neutralność” sprawia, że jeden model może wypaść świetnie w jednym teście i fatalnie w innym – mimo że pytania są niemal identyczne. To jak porównywanie biegacza na stadionie z tym, który biegnie przez błoto: wynik może być podobny, ale znaczenie zupełnie inne.
CZYTAJ TEŻ: Polski język, trudny język, ale… dla AI najlepszy
CZYTAJ TEŻ: 2025: rok, gdy AI zaczęło rozumować
Gdy testy zawodzą, konsekwencje są realne
Kilka dni przed publikacją raportu Google musiało wycofać z platformy AI Studio modele Gemma. Jeden z nich „zmyślił” historię o romansie amerykańskiej senator z policjantem, dołączając fałszywe linki do nieistniejących artykułów. To nie tylko halucynacja – to zniesławienie z dowodami.
Jeszcze bardziej dramatyczny był przypadek 14-latka z Florydy, który odebrał sobie życie po rozmowie z chatbotem Character.ai. . Według relacji matki, bot manipulował emocjami chłopca i zachęcał do autodestrukcyjnych zachowań. To pokazuje, że brak rzetelnych metod oceny AI nie jest problemem akademickim – to kwestia życia i śmierci.
Fałszywe poczucie bezpieczeństwa
Wobec braku jednolitych regulacji w USA i Wielkiej Brytanii, benchmarki stały się substytutem nadzoru. Ale jeśli są wadliwe, to społeczeństwo, regulatorzy i naukowcy nie mają narzędzi do niezależnej weryfikacji twierdzeń producentów AI. Giganci technologiczni posiadają własne testy, ale nie udostępniają ich publicznie.
To rodzi pytanie: czy AI naprawdę jest bezpieczna, czy tylko sprawia takie wrażenie?
Co dalej? Potrzebujemy nowej infrastruktury zaufania
Autorzy raportu apelują o stworzenie wspólnych, otwartych standardów testowania modeli AI. Potrzebna jest nie tylko lepsza metodologia, ale też uzgodnione definicje kluczowych pojęć, takich jak bezpieczeństwo, etyka czy neutralność.
Warto tu przywołać inicjatywy takie jak AI Alliance (Meta, IBM), które promują otwarte modele i transparentność, czy europejskie prace nad AI Act, które próbują wprowadzić klasyfikację ryzyka i obowiązki dla twórców AI. Ale bez globalnej współpracy i niezależnych narzędzi oceny, pozostaniemy na łasce (i niełasce) algorytmów.
Jeśli benchmarki zawodzą, to nie tylko technologia jest dziurawa – dziurawy jest cały system zaufania. A to oznacza, że czas na nową architekturę odpowiedzialności w świecie AI.
AI Alliance to globalna inicjatywa na rzecz otwartej, bezpiecznej i odpowiedzialnej sztucznej inteligencji, zainicjowana przez IBM i Meta w grudniu 2023 roku. Jej celem jest stworzenie międzynarodowej społeczności skupiającej firmy, uczelnie, instytucje badawcze i organizacje publiczne, które wspólnie rozwijają otwarte modele AI, narzędzia ewaluacyjne i standardy bezpieczeństwa.
Kluczowe założenia AI Alliance
- Otwartość i transparentność: promowanie otwartych modeli AI (np. Llama 2 od Meta), otwartych danych i narzędzi ewaluacyjnych dostępnych dla całej społeczności badawczej.
- Bezpieczeństwo i zaufanie: rozwój katalogu narzędzi do oceny ryzyka, testów bezpieczeństwa i zgodności z zasadami etycznymi.
- Edukacja i współpraca: tworzenie przewodników kompetencyjnych dla edukacji AI, angażowanie studentów, decydentów i organizacji pozarządowych.
- Globalna inkluzywność: ponad 140 członków z 23 krajów, w tym CERN, NASA, Harvard, Intel, Hugging Face, Stability AI, Linux Foundation, EPFL, ETH Zurich i wiele innych.
Działania i osiągnięcia
- 93 aktywne projekty w obszarach takich jak jakość danych, ewaluacja modeli, zastosowania przemysłowe i naukowe.
- 12 grup roboczych zajmujących się m.in. . bezpieczeństwem, otwartymi danymi, edukacją i interoperacyjnością.
- 30 wydarzeń globalnych w 10 krajach, z udziałem ponad 20 tys. osób.
- 5 przewodników AI Alliance dotyczących kompetencji, narzędzi i dobrych praktyk w AI.
Nowe inicjatywy na 2025 rok
- Open Trusted Data Initiative (OTDI): skupia się na pochodzeniu, jakości i transparentności danych wykorzystywanych w modelach AI.
- Trust and Safety Evaluation Initiative (TSEI): rozwija metody i narzędzia do oceny bezpieczeństwa i zaufania w systemach AI.
Alternatywa dla zamkniętych modeli
AI Alliance jawnie promuje otwartość jako przeciwwagę dla zamkniętych rozwiązań takich jak ChatGPT (OpenAI), Bard (Google) czy Copilot (Microsoft). Choć Meta nie zawsze kojarzy się z otwartością, to jej modele (np. Seamless M4T, Llama 2) są publicznie dostępne, co umożliwia niezależne badania i rozwój.
Znaczenie dla Polski i Europy
W kontekście prac nad AI Act w Unii Europejskiej, AI Alliance może odegrać kluczową rolę w tworzeniu wspólnych standardów testowania, klasyfikacji ryzyka i interoperacyjności. Dla Polski to szansa na włączenie się w globalny ekosystem otwartej innowacji, szczególnie w obszarach takich jak edukacja, zdrowie publiczne czy przemysł.
