▾ G11 Media: | ChannelCity | ImpresaCity | SecurityOpenLab | Italian Channel Awards | Italian Project Awards | Italian Security Awards | ...

Sicurezza delle soluzioni GenAI: altri rischi in agguato

Trend Micro avverte sui pericoli dei sistemi RAG: vulnerabilità nei vector store e server esposti mettono a rischio dati aziendali e privacy.

Tecnologie/Scenari

La recente diffusione di modelli di GenAI ha semplificato, accelerato e reso più economico lo sviluppo di applicazioni personalizzate, cambiando il modo in cui aziende e sviluppatori creano soluzioni su misura. È un fenomeno di cui abbiamo trattato più volte su SecurityOpenLab, che comporta vantaggi e svantaggi. Ne sono un esempio le tecniche di jailbreak degli LLM, come la Deceptive Delight che sfrutta la persuasione per aggirare i filtri di sicurezza. La crescente adozione di sistemi Retrieval-Augmented Generation (RAG) aggiunge ulteriori criticità, come evidenziato in una nuova ricerca di Trend Micro, che ne ha identificato i principali rischi, insieme alle relative misure di mitigazione.

Retrieval-Augmented Generation

I sistemi RAG rappresentano una tecnologia in rapida ascesa nel panorama dell'intelligenza artificiale. Si tratta di un tipo di modello utile per creare applicazioni personalizzate ed efficienti basate su dati privati, capaci di generare risposte di AI con una elevata precisione e contestualizzazione.

Concretamente, un sistema RAG combina la potenza degli LLM con la capacità di recuperare informazioni ed è composto principalmente da due elementi: una base di dati (vector store) composta da blocchi di testo (tecnicamente definiti chunks) e una serie di numeri (vettori) per il recupero efficiente di tali dati. Quando un utente pone una domanda, il sistema RAG cerca informazioni pertinenti nel database e, mediante algoritmi che analizzano il contenuto, determina quali chunks sono più adatti a rispondere alla domanda dell'utente. Il sistema passa quindi i dati selezionati a un LLM che li usa per generare una risposta basata non solo su quello che ha appreso nella fase di addestramento, ma anche sulla specifica fonte di dati privata.

Modelli LLM ospitati su llama.cpp che risultavano esposti a novembre 2024, quando è stata condotta la ricerca

I possibili rischi

La ricerca di Trend Micro è di grande importanza perché, sebbene i sistemi RAG siano una interessante opportunità per le aziende, una loro implementazione scorretta può esporre a gravi minacce alla sicurezza. In particolare, Trend Micro accende i riflettori circa il fatto che cicli di sviluppo accelerati, errori di validazione dei dati e attacchi denial-of-service costituiscano un rischio concreto per la sicurezza dei sistemi RAG. Il motivo è che le vulnerabilità in fase di sviluppo possono comportare una fuoriuscita di dati, accessi non autorizzati e potenziali manipolazioni del sistema nel momento in cui non vengono cercate, tracciate e risolte in sede di sviluppo.

Riassumiamo di seguito i risultati principali della ricerca. Per la componente più tecnica rimandiamo alla pagina con la ricerca completa. Partiamo con le vulnerabilità nei vector store, che possono essere ChromaDB o Weaviate, e nelle piattaforme di hosting LLM (per esempio llama.cpp e Ollama): molte installazioni di questi componenti sono esposte su Internet senza un'adeguata autenticazione, permettendo quindi ai cyber criminali di accedere ai dati, manipolarli o eliminarli. Per esempio, i ricercatori hanno individuato 80 server llama.cpp esposti, 57 dei quali privi di autenticazione, collocati principalmente negli Stati Uniti, Cina, Germania e Francia. Al loro interno erano ospitati modelli Llama 3, Mistral, QWEN2, Llava e altri, alcuni dei quali sottoposti a jailbreak, ossia modificati per aggirare le impostazioni di sicurezza e generare risposte dannose o non autorizzate.

Ancora più allarmante è la scoperta di oltre 3.000 server Ollama completamente aperti (senza sistema di autenticazione attivo), che ospitavano 15.000 modelli. Un cyber criminale avrebbe potuto ottenere facilmente la cronologia delle chat scambiate fra utenti e modelli (chat completion), avrebbe potuto elencare, creare, copiare, eliminare, e scaricare modelli, e in definitiva compromettere la sicurezza e la riservatezza del modello (creare embeddings).

Modelli LLM ospitati su Ollama che risultavano esposti a novembre 2024, quando è stata condotta la ricerca

Le possibili conseguenze

Le conseguenze dello sfruttamento di queste vulnerabilità possono essere gravi. Un attaccante potrebbe rubare informazioni riservate memorizzate nei vector stores, manipolare i dati per influenzare le decisioni prese dal sistema RAG o dall'agente AI che lo utilizza o addirittura sostituire o eliminare modelli LLM sui server Ollama esposti, compromettendo completamente la funzionalità del sistema RAG o dell’agente che li utilizza. Non ultimo, un cyber criminale potrebbe avere la possibilità di ispezionare il "system prompt" dei modelli ospitati su Ollama venendo a conoscenza delle sue vulnerabilità.

Trend Micro sottolinea che i rischi esposti nella ricerca non sono teorici, anzi, costituiscono un rischio concreto per tutte le aziende che utilizzano sistemi RAG in generale e in particolare per quelle che memorizzano informazioni riservate o dati sensibili nei propri vector stores. A tale riguardo, i più esposti risultano essere il settore finanziario, sanitario e legale in virtù del tipo di dati trattati.

Trend Micro raccomanda un approccio alla sicurezza su più livelli che include l'implementazione della crittografia TLS e l'adozione di un modello di rete Zero Trust, in cui siano consentite solo le connessioni precedentemente autorizzate. Inoltre, è imperativo richiedere l’autenticazione per non lasciare nessun sistema esposto.

Se questo articolo ti è piaciuto e vuoi rimanere sempre informato
Iscriviti alla nostra Newsletter Gratuita. Iscriviti
GoogleNews Rimani sempre aggiornato, seguici su Google News! Seguici

Notizie correlate

Speciali Tutti gli speciali

Speciale

Speciale iperautomazione

Speciale

Speciale Backup e Resilienza 2025

Speciale

Speciale OT Security

Speciale

2025 obiettivo cybersecurity

Speciale

Previsioni per la cybersecurity del 2025

Calendario Tutto

Lug 09
Forcepoint NGFW Multi-Layer Protection in Action
Lug 09
Creatività ed efficienza con Adobe: più veloci, più connessi, più creativi con le ultime novità al servizio dei team creativi
Lug 10
Azure Special Club
Lug 10
Business Meeting Lexmark Marche | XC9525, la nuova generazione della stampa A3
Lug 10
Bootcamp WatchGuard - Sicurezza senza compromessi: Scopri WatchGuard Endpoint Security
Lug 10
scrivi qui il titolo...
Lug 10
Boost Your Backup Strategy con Object First: demo live e casi di successo
Lug 10
Parallels RAS: accesso remoto sicuro, semplice, e scalabile per la tua azienda
Lug 11
TPM 2.0: Il Cuore della Sicurezza nei PC Moderni

Ultime notizie Tutto

Acronis, come semplificare il lavoro di MSP e team IT con il patch management

Umberto Zanatta, Senior Solutions Engineer di Acronis, approfondisce come l’automazione del patch management possa semplificare le attività quotidiane, migliorare l’efficienza e assicurare una maggiore aderenza ai requisiti normativi, anche in ambienti IT complessi e distribuiti

08-07-2025

La rivoluzione quantistica nella cybersecurity: sfide e soluzioni

La rivoluzione del quantum computing mette a rischio la crittografia attuale: Umberto Pirovano di Palo Alto Networks spiega rischi, tempistiche e soluzioni post-quantum.

07-07-2025

SentinelOne premia i partner top performer in EMEA

Nel corso del PartnerOne Summit 2025 il vendor di cybersecurity premia i contributi di eccellenza all'innovazione nelle soluzioni di sicurezza dei propri partner

07-07-2025

Scattered Spider punta su attacchi a catena via fornitori BPO e call center

Noto gruppo criminale sfrutta la compromissione di fornitori BPO e call center per colpire più vittime in settori chiave. Facciamo il punto sulle nuove tattiche.

04-07-2025

Iscriviti alla nostra newsletter

Soluzioni B2B per il Mercato delle Imprese e per la Pubblica Amministrazione

Iscriviti alla newsletter

www.securityopenlab.it - 8.3.21 - 4.6.1