AI może być najgroźniejszym narzędziem w rękach oszustów. Może też być najskuteczniejszą linią obrony, ale wymaga to podejścia łączącego siłę modeli z hybrydową architekturą bezpieczeństwa i jakością inżynierii promptów.
Badania przeprowadzone przez naukowców z Northeastern University oraz inne międzynarodowe instytucje (https://arxiv.org/html/2607.17353v1) wykazały, że duże modele językowe (LLM) są znacznie skuteczniejsze w budowaniu zaufania niż ludzie.
Badacze wywnioskowali to przeprowadzając eksperyment odtwarzający oszustwo typu pig butchering. Polega ono na tworzeniu dłuższej (korespondencję prowadzono 7 dni), zaufanej relacji z ofiarą, służącej ostatecznie wyłudzeniu pieniędzy. W eksperymencie, boty oparte na modelu Claude odniosły sukces w niemal 50% przypadków. Ludzie odgrywający w eksperymencie rolę oszustów zdołali zmanipulować jedynie 18% uczestników.
Stworzenie tak skutecznego „cyfrowego naciągacza” wymagało relatywnie niewielkiego nakładu pracy, a ofiary często nie potrafiły uwierzyć, że zostały oszukane przez maszynę.
Wobec tego zagrożenia, zespół badawczy pod kierunkiem Cema Topcuoglu przeprowadził pierwsze kompleksowe badanie wydajności modeli LLM w wykrywaniu oszustw. Do badania zespół wykorzystał zbiór danych ScamBenchmark, zawierający 2742 próbki ze świata rzeczywistego (m.in. z Reddita, Google Images i Mechanical Turk). Przy jego pomocy przetestowano dziewięć czołowych modeli, w tym warianty Mistral, Llama 3 oraz ChatGPT.
Z eksperymentu wynika, że o powodzeniu decydowały zarówno wielkość modelu, jak i jakość promptowania. Największe modele, takie jak ChatGPT 4o1 oraz Llama 3.1 70B, osiągały najlepsze wyniki, wykazując się wysoką precyzją i zdolnością do generalizacji wiedzy. Skuteczność mniejszych modeli, jak Llama 3.1 8B, można znacząco podnieść (z 50% do 57% wskaźnika) dzięki zastosowaniu technik takich jak „Chain of Thought” (łańcuch myśli) czy dostarczanie zewnętrznych kontekstów, np. listy typowych oznak oszustwa.
Modele LLM radzą sobie znacznie lepiej z wykrywaniem zupełnie nowych, nieznanych wcześniej schematów oszustw niż tradycyjne, dostrojone modele typu BERT. Te ostatnie, choć tańsze, zawodzą w starciu ze zmieniającymi się metodami oszustów.
Choć wyniki są obiecujące, badacze podkreślają, że AI nie jest jeszcze „srebrną kulą” na internetowych oszustów. Modele wciąż mają trudności z jednoznaczną klasyfikacją próbek jako „czyste” lub „niepewne”. Przykładowo, ChatGPT 4o1 był bezkonkurencyjny w wykrywaniu oszustw, ale to ChatGPT 4 Turbo najlepiej radził sobie z identyfikacją przypadków niejednoznacznych.
Z biznesowego punktu widzenia istotne są również koszty. Choć giganty takie jak Llama 3.1 70B oferują wydajność porównywalną z modelami komercyjnymi, ich utrzymanie na lokalnej infrastrukturze wymaga poważnych zasobów sprzętowych (np. jednostek NVIDIA A100).
W ocenie badaczy, przyszłość detekcji oszustw nie należy do jednego modelu, lecz do systemów hybrydowych. Eksperci sugerują łączenie semantycznej siły modeli LLM (do analizy intencji i kontekstu) z wydajnością klasycznego uczenia maszynowego. LLM mogą służyć do flagowania podejrzanych treści i ekstrakcji cech, podczas gdy szybsze modele decyzyjne zajmą się ostateczną klasyfikacją na dużą skalę.
Odpór cyfrowym oszustom wymaga nie tylko najnowszych modeli AI, ale także precyzyjnej inżynierii promptów i strategicznego podejścia do architektury systemów bezpieczeństwa.