I cyber criminali sfruttano i modelli generativi pubblici per automatizzare phishing, malware e deepfake, industrializzando il cybercrime senza investire in LLM propri.
Autore: Redazione SecurityOpenLab
Con l’AI; i cyber criminali non hanno reinventato il crimine informatico: hanno solo trovato un modo più redditizio e scalabile per fare le stesse cose di sempre, sfruttando i modelli generativi sviluppati (e pagati) dalle big tech per abbassare i propri costi e aumentare l’efficacia delle campagne. È quello che emerge dall’ultima ricerca Trend Micro dal titolo esplicativo They Don’t Build the Gun, They Sell the Bullets, in cui si ripercorre l’industrializzazione dell’ecosistema criminale in chiave AI, passando dalla fase sperimentale a un vero stack di servizi sotterranei che produce armi digitali pronte all’uso.
La linea temporale è stretta: nel 2023 ci si chiedeva se la GenAI sarebbe diventata uno strumento per il cybercrime; nel 2024 sono emersi i primi pattern consolidati e a fine 2025 l’uso criminale dell’AI era una pratica ormai assodata. Tutto ruota attorno all’approccio opportunistico che da sempre contraddistingue gli attaccanti: la ricerca del massimo risultato con il minimo sforzo. Con il cybercrime LLM la logica è semplice: meglio rubare che costruire. Altro che modelli addestrati da zero in data center clandestini, con copiosi investimenti in risorse e denaro: i criminali sfruttano modelli commerciali esistenti (sviluppati e mantenuti dalle stesse aziende che poi diventano vittime) come Gemini, ChatGPT e altri, aggirandone le protezioni con creatività.
Il modello dominante è il jailbreak-as-a-service: threat actor specializzati sviluppano prompt, wrapper, tecniche di fine-tuning e strategie di bypass delle policy che trasformano modelli legittimi in strumenti sbloccati, pronti a generare codice, malware, phishing o contenuti abusivi con pochi input. Si tratta di un mercato che ha iniziato a consolidarsi: alle ondate di “-GPT” effimeri che si vedevano sui forum negli anni precedenti si sono sostituiti pochi operatori con una certa stabilità, attivi su Telegram, marketplace sotterranei e siti dedicati.
Sul piano tecnico è più interessante Xanthorox, un servizio che si presenta come LLM “uncensored” su infrastruttura locale, con abbonamenti da 300 dollari al mese e un’offerta che spazia dai chatbot agli agent per il coding. L’analisi di Trend Micro evidenzia che, dietro le quinte, Xanthorox sembra appoggiarsi a modelli mainstream (probabilmente Gemini) usando canali offuscati per nascondere la dipendenza da provider legittimi. È l’ennesima conferma che per i criminali è molto più conveniente sfruttare R&D e capacità computazionale altrui che mantenere un proprio modello competitivo.
Detto questo, gli LLM “non allineati” che girano in locale (scaricabili da repository pubblici e non soggetti alle policy dei grandi provider) esistono, e in alcuni casi offrono proprio ciò che i criminali cercano: meno controlli, più libertà di sperimentare, maggiore discrezione operativa. Il problema è che, per potenza e versatilità, non sono ancora paragonabili ai grandi modelli dei colossi del settore. Da qui il compromesso razionale: meglio investire in prompt engineering e aggiramento delle barriere sui modelli commerciali, piuttosto che nella costruzione o gestione di un modello da zero, che è costosissimo in termini di dati, hardware e competenze.
Il caso WormGPT è emblematico: nato nel 2023, è stato cannibalizzato da una miriade di cloni opportunistici che sfruttano la notorietà del brand senza alcuna continuità tecnica con l’originale, fino ad arrivare a progetti che promettono “LLM di nuova generazione” e raccolte milionarie da sedicenti investitori. Il brand vale più del prodotto, e questo è di per sé un segnale di maturità commerciale: come in qualsiasi altro mercato underground, la reputazione diventa una leva per vendere tool, accessi e consulenze.»
Sul piano del malware, la narrazione mediatica del malware AI-driven sta trovando qualche riscontro concreto, ma con parecchie sfumature che meritano di essere sottolineate. Trend Micro cataloga una serie di famiglie che integrano capacità di code generation on the fly tramite LLM. Uno dei primi esempi è MalTerminal, un eseguibile Python che chiede a ChatGPT di generare, a seconda delle necessità, codice per un ransomware o per una reverse shell, delegando al modello parte del lavoro di sviluppo. Un altro esempio è quello di LameHug, probabilmente associato al threat actor russo APT28, che sfrutta un modello ospitato su Hugging Face per generare codice che esfiltra informazioni dal sistema compromesso.
Per salire un gradino nella scala della complessità si passa a PromptLock, in cui il dropper scarica un modello AI da Hugging Face, lo interroga per ottenere codice sorgente con funzionalità ransomware e compila il risultato, producendo varianti diverse a ogni infezione. Google ha descritto due famiglie che utilizzano Gemini e Claude come “copilota” per la generazione di codice malevolo: PromptFlux e QuietVault. Il filo conduttore è l’esternalizzazione di specifiche funzioni a un LLM, che diventa un componente della catena di attacco.
Nonostante questi esempi, Trend Micro resta scettica sulla possibilità che questo tipo di malware diventi mainstream, soprattutto per via del vincolo delle API. Ogni codice malevolo che si appoggia direttamente a un servizio AI online è esposto a un kill switch strutturale: basta che il provider individui l’abuso e revochi la chiave API perché l’intera campagna si spenga. Gli attaccanti possono correre ai ripari con la rotazione delle chiavi, nuovi account e tecniche di ghosting delle richieste, ma il rischio è che la complessità operativa cresca al punto da compromettere il rapporto fra costi e benefici.
Anche il modello PromptLock mostra limiti evidenti: spostare 10 GB di modello su ogni sistema target ha un impatto di rete e di tempi che mal si concilia con le logiche di attacchi su larga scala. In più, l’affidabilità del codice generato non è garantita: gli LLM non sono compilatori deterministici, possono produrre errori, codice non funzionante o varianti incoerenti da una macchina all’altra. Lo scenario più realistico è quello in cui l’AI diventa un jolly nei toolkit tradizionali: per esempio, un bot già rodato potrebbe contattare un chatbot con una chiave monouso per ottenere un pezzo di codice che svolga una funzione precisa. Questo non sostituisce il malware classico, lo affianca, ritagliandosi spazi specifici soprattutto in operazioni mirate in cui un singolo colpo ben assestato giustifica la complessità aggiuntiva.
È nell’ambito dei deepfake che l’AI criminale mostra il volto più maturo. Qui la questione si sposta dal piano tecnico a quello delle implicazioni sociali e psicologiche. Di fatto, oggi generare immagini, audio e video manipolati non richiede competenze particolari, basta un’app gratuita.
Sul piano individuale l’AI amplifica sextortion, truffe romantiche e “virtual kidnapping”, mentre nelle aziende vediamo l’evoluzione naturale di schemi già noti come BEC, frodi al CEO e assunzioni fraudolente. La novità è la qualità dell’imitazione resa possibile dai deepfake audio e video. Nel mondo enterprise si stanno moltiplicando le campagne in cui gli attaccanti impersonano amministratori delegati o CFO con video call e messaggi vocali per sbloccare bonifici o autorizzare operazioni straordinarie. La voce clonata, combinata con email persuasive generate da LLM e con un minimo di OSINT sugli organigrammi, rende molto più difficile per i dipendenti distinguere un ordine legittimo da una truffa, soprattutto in contesti ad alta pressione.
Ancora più insidioso è il fronte delle assunzioni, in cui falsi candidati costruiscono identità digitali impeccabili con tanto di curriculum, referenze, profili social, per superare selezioni in grandi aziende tech, spesso in contesti full-remote o ibridi. Una volta “dentro”, questi dipendenti fantasma hanno accesso a codice sorgente, infrastrutture cloud, segreti industriali, e possono deviare stipendi e proventi direttamente verso regimi sanzionati, mantenendo il doppio gioco per mesi o anni.
Nel settore finanziario il tallone d’Achille è la KYC digitale: i sistemi di verifica identità che, per ragioni di user experience, si basano su selfie, video brevi e affini. Gli attaccanti sfruttano face swap in tempo reale, documenti rubati e tool creati ad hoc per bypassare questi controlli e riescono in alcuni casi a impersonare correntisti o a creare identità sintetiche plausibili, assistiti da servizi underground di KYC bypass completi di tutorial e supporto clienti.
La domanda a questo punto è quanto manca a un’ondata di attacchi basati su video interamente sintetici, creati da zero a partire da una descrizione testuale con risorse come Sora di OpenAI. Il rischio non è ancora imminente grazie a barriere come i requisiti computazionali, le policy di utilizzo e il watermarking, che ne rallentano l’adozione criminale su vasta scala, ma non si tratta di ostacoli strutturali. Con l’inevitabile arrivo di modelli open source più potenti e di versioni meno vincolate delle piattaforme commerciali, la capacità di generare contenuti video convincenti rischia di diventare una commodity a pieno titolo.
La buona notizia è che i difensori non sono in ritardo: piattaforme di sicurezza, SIEM evoluti e strumenti di threat hunting che già sfruttano l’AI con efficacia, insieme ai limiti strutturali dell’uso criminale dell’AI, frenano l’adozione di massa di alcune tecniche. Ma il margine è sottile: ogni dollaro investito in sicurezza AI viene rapidamente riciclato dal cybercrime, perciò sottovalutare questi rischi oggi significa ritrovarseli amplificati domani.