La recente diffusione di modelli di GenAI ha semplificato, accelerato e reso più economico lo sviluppo di applicazioni personalizzate, cambiando il modo in cui aziende e sviluppatori creano soluzioni su misura. È un fenomeno di cui abbiamo trattato più volte su SecurityOpenLab, che comporta vantaggi e svantaggi. Ne sono un esempio le tecniche di jailbreak degli LLM, come la Deceptive Delight che sfrutta la persuasione per aggirare i filtri di sicurezza. La crescente adozione di sistemi Retrieval-Augmented Generation (RAG) aggiunge ulteriori criticità, come evidenziato in una nuova ricerca di Trend Micro, che ne ha identificato i principali rischi, insieme alle relative misure di mitigazione.

Retrieval-Augmented Generation

I sistemi RAG rappresentano una tecnologia in rapida ascesa nel panorama dell'intelligenza artificiale. Si tratta di un tipo di modello utile per creare applicazioni personalizzate ed efficienti basate su dati privati, capaci di generare risposte di AI con una elevata precisione e contestualizzazione.

Concretamente, un sistema RAG combina la potenza degli LLM con la capacità di recuperare informazioni ed è composto principalmente da due elementi: una base di dati (vector store) composta da blocchi di testo (tecnicamente definiti chunks) e una serie di numeri (vettori) per il recupero efficiente di tali dati. Quando un utente pone una domanda, il sistema RAG cerca informazioni pertinenti nel database e, mediante algoritmi che analizzano il contenuto, determina quali chunks sono più adatti a rispondere alla domanda dell'utente. Il sistema passa quindi i dati selezionati a un LLM che li usa per generare una risposta basata non solo su quello che ha appreso nella fase di addestramento, ma anche sulla specifica fonte di dati privata.

Modelli LLM ospitati su llama.cpp che risultavano esposti a novembre 2024, quando è stata condotta la ricerca

I possibili rischi

La ricerca di Trend Micro è di grande importanza perché, sebbene i sistemi RAG siano una interessante opportunità per le aziende, una loro implementazione scorretta può esporre a gravi minacce alla sicurezza. In particolare, Trend Micro accende i riflettori circa il fatto che cicli di sviluppo accelerati, errori di validazione dei dati e attacchi denial-of-service costituiscano un rischio concreto per la sicurezza dei sistemi RAG. Il motivo è che le vulnerabilità in fase di sviluppo possono comportare una fuoriuscita di dati, accessi non autorizzati e potenziali manipolazioni del sistema nel momento in cui non vengono cercate, tracciate e risolte in sede di sviluppo.

Riassumiamo di seguito i risultati principali della ricerca. Per la componente più tecnica rimandiamo alla pagina con la ricerca completa. Partiamo con le vulnerabilità nei vector store, che possono essere ChromaDB o Weaviate, e nelle piattaforme di hosting LLM (per esempio llama.cpp e Ollama): molte installazioni di questi componenti sono esposte su Internet senza un'adeguata autenticazione, permettendo quindi ai cyber criminali di accedere ai dati, manipolarli o eliminarli. Per esempio, i ricercatori hanno individuato 80 server llama.cpp esposti, 57 dei quali privi di autenticazione, collocati principalmente negli Stati Uniti, Cina, Germania e Francia. Al loro interno erano ospitati modelli Llama 3, Mistral, QWEN2, Llava e altri, alcuni dei quali sottoposti a jailbreak, ossia modificati per aggirare le impostazioni di sicurezza e generare risposte dannose o non autorizzate.

Ancora più allarmante è la scoperta di oltre 3.000 server Ollama completamente aperti (senza sistema di autenticazione attivo), che ospitavano 15.000 modelli. Un cyber criminale avrebbe potuto ottenere facilmente la cronologia delle chat scambiate fra utenti e modelli (chat completion), avrebbe potuto elencare, creare, copiare, eliminare, e scaricare modelli, e in definitiva compromettere la sicurezza e la riservatezza del modello (creare embeddings).

Modelli LLM ospitati su Ollama che risultavano esposti a novembre 2024, quando è stata condotta la ricerca

Le possibili conseguenze

Le conseguenze dello sfruttamento di queste vulnerabilità possono essere gravi. Un attaccante potrebbe rubare informazioni riservate memorizzate nei vector stores, manipolare i dati per influenzare le decisioni prese dal sistema RAG o dall'agente AI che lo utilizza o addirittura sostituire o eliminare modelli LLM sui server Ollama esposti, compromettendo completamente la funzionalità del sistema RAG o dell’agente che li utilizza. Non ultimo, un cyber criminale potrebbe avere la possibilità di ispezionare il "system prompt" dei modelli ospitati su Ollama venendo a conoscenza delle sue vulnerabilità.

Trend Micro sottolinea che i rischi esposti nella ricerca non sono teorici, anzi, costituiscono un rischio concreto per tutte le aziende che utilizzano sistemi RAG in generale e in particolare per quelle che memorizzano informazioni riservate o dati sensibili nei propri vector stores. A tale riguardo, i più esposti risultano essere il settore finanziario, sanitario e legale in virtù del tipo di dati trattati.

Trend Micro raccomanda un approccio alla sicurezza su più livelli che include l'implementazione della crittografia TLS e l'adozione di un modello di rete Zero Trust, in cui siano consentite solo le connessioni precedentemente autorizzate. Inoltre, è imperativo richiedere l’autenticazione per non lasciare nessun sistema esposto.