Il Meta hack rivela che la sicurezza dell’AI non è solo questione di modelli super-intelligenti

Il 5 giugno, 404 Media ha rivelato che alcuni attacker hanno usato l’agente di supporto clienti AI di Meta per rubare account Instagram. Il metodo era sorprendentemente semplice: hanno chiesto all’agente di associare gli account a indirizzi email sotto il loro controllo, e l’agente ha obbedito. Un attacker è riuscito a violare l’account dormiente della Casa Bianca dell’era Obama, pubblicando post filo-iraniani. Altri hanno preso il controllo di account con nickname preziosi (una singola parola), probabilmente per rivenderli.

Le preoccupazioni sulla sicurezza dell’AI non sono nuove. Da quando Anthropic ha annunciato in aprile che il suo modello Mythos era troppo abile nell’hacking per essere rilasciato al pubblico, l’attenzione si è concentrata su sistemi super-potenti in grado di devastare infrastrutture. Ma l’hack di Instagram era diverso: l’AI non era l’attaccante, ma il bersaglio, e il metodo era molto più semplice di qualsiasi attacco progettato da Mythos. Man mano che le aziende delegano più lavoro all’AI, attacchi relativamente poco sofisticati potrebbero causare danni propri.

«Con l’uso sempre più diffuso dell’AI, specialmente quando viene usata per automatizzare flussi di lavoro come il recupero account, credo che gli attaccanti saranno sempre più motivati ad attaccare l’AI stessa», dice Neil Gong, professore di ingegneria elettrica e informatica alla Duke University. Gong e altri studiosi avvertono da tempo sulle vulnerabilità degli agenti AI, pubblicando paper e blog post su exploit come il prompt injection indiretto, che dirotta agenti usando comandi nascosti in siti web, email o altre fonti di dati.

Rispetto a queste tecniche, l’hack di Meta è stato quasi banale. L’unica difficoltà per gli hacker è stata usare una VPN corrispondente alla posizione reale del proprietario dell’account; poi hanno chiesto direttamente all’agente di cambiare l’indirizzo email, e quello ha eseguito. Meta non ha commentato pubblicamente come questa vulnerabilità sia sfuggita ai controlli. Data la semplicità dell’exploit, Gong dice che avrebbe dovuto essere scoperto facilmente prima del deploy. «È davvero sorprendente», dice. «Non capisco perché non abbiano trovato questo problema semplice.»

Jessica Ji, analista di ricerca senior al Georgetown’s Center for Security and Emerging Technology, concorda: «Solleva domande come: c’erano delle barriere di protezione? Qualcuno ha pensato di testare questo scenario?». Ji nota che la svista è particolarmente sorprendente per un’azienda come Meta, che ha vaste competenze sia in AI che in cybersecurity. Meta non ha risposto a una richiesta di commento per questo articolo, ma lunedì un portavoce ha detto su X che la vulnerabilità è stata risolta.

L’episodio evidenzia vulnerabilità comuni a tutti gli agenti AI. A differenza del software tradizionale, gli agenti possono rispondere in modo flessibile e inaspettato a nuove circostanze — il che li rende utili come supporto clienti. Ma possono anche essere ingannati in modi che un umano non lo sarebbe, e poiché possono compiere azioni nel mondo reale, quegli errori hanno conseguenze. «Un essere umano direbbe: ‘Ok, perché vuoi cambiare l’indirizzo email?’ e forse risponderebbe con una domanda di sicurezza», dice Somesh Jha, professore di informatica all’Università del Wisconsin-Madison. «Il problema con questi agenti è che sono molto desiderosi di completare il compito. È quasi come uno scolaro che vuole solo compiacere l’insegnante.»

Ci sono modi per mitigare i rischi. Le aziende possono usare software tradizionale per costruire barriere che facciano rispettare regole rigide: ad esempio, chiedere sempre risposte a domande di sicurezza prima di inviare informazioni sensibili a un nuovo indirizzo email. Gli esperti concordano anche che gli agenti dovrebbero essere sottoposti a rigorosi red-teaming, un processo in cui gli sviluppatori cercano di attaccare il sistema per scoprire vulnerabilità prima del deploy. Ma ci sono forze contrarie: le aziende vogliono implementare agenti capaci, e più potere ha un agente (con meno barriere), più lavoro può svolgere. «C’è sempre un compromesso tra sicurezza e utilità», dice Bo Li, professoressa di informatica all’Università dell’Illinois Urbana-Champaign.

Il red-teaming adeguato è costoso. I difensori devono spendere più risorse degli attaccanti, perché questi ultimi devono scoprire un solo exploit, mentre i difensori cercano di trovarli e ripararli tutti. Quando gli attaccanti mirano a qualcosa di prezioso come un nickname Instagram di una parola, investono risorse per trovare exploit, e i difensori devono spendere ancora di più per proteggere quel premio.

Con il miglioramento dei modelli AI, rinforzare le difese potrebbe diventare più facile. Sebbene la natura probabilistica degli LLM li renda sempre vulnerabili ad alcune forme di attacco, un modello più sofisticato avrebbe potuto identificare come sospetto un tentativo di cambiare l’email associata all’account della Casa Bianca. Inoltre, i sistemi AI possono essere usati per il red-teaming degli agenti, come fanno i partecipanti al Project Glasswing di Anthropic usando Mythos per identificare vulnerabilità nel loro software.

Tuttavia, gli esperti prevedono che il problema di proteggere gli agenti AI diventerà sempre più pressante. Con agenti più capaci, le aziende potrebbero voler dare loro più potere, sia per offrire più servizi con meno umani, sia per non farsi superare dai concorrenti. Nel mondo frenetico dell’AI, il tempo necessario per assicurare sistemi rischiosi potrebbe sembrare un ritardo inaccettabile. «Tutti vogliono essere i primi a fare qualcosa e pubblicare senza un’accurata analisi e red-teaming», dice Jha. «Credo sia una cosa molto pericolosa.»