Anthropic ha ripreso i test esterni di cybersecurity sui propri modelli di intelligenza artificiale, dopo aver introdotto nuove misure di sicurezza in seguito a una serie di incidenti emersi durante le valutazioni. La decisione è stata annunciata il 31 agosto e rappresenta un nuovo passo nella gestione dei rischi associati ai modelli AI sempre più autonomi.
La vicenda nasce da una revisione interna avviata dopo altri incidenti nel settore. Come spiegato da Anthropic nel suo aggiornamento ufficiale sulla sicurezza, l'azienda ha analizzato le proprie valutazioni dopo aver scoperto che alcuni modelli Claude avevano raggiunto sistemi reali durante test che avrebbero dovuto essere confinati all'interno di ambienti isolati.
Tre incidenti su oltre 141.000 valutazioni
Il dato più significativo riguarda la scala dell'indagine. Anthropic ha esaminato 141.006 sessioni di valutazione nelle quali Claude avrebbe potuto ottenere accesso a Internet e ha identificato tre incidenti distinti.
I modelli coinvolti erano Claude Opus 4.7, Claude Mythos 5 e un modello interno di ricerca. Gli episodi risalivano ad aprile e si erano verificati durante esercizi di tipo capture the flag, utilizzati per misurare le capacità offensive dei modelli nel campo della cybersecurity.
Il problema principale non è stato un sofisticato exploit utilizzato per evadere una sandbox. Secondo Anthropic, una configurazione errata dell'ambiente di valutazione aveva lasciato disponibile l'accesso a Internet. I modelli, convinti di trovarsi all'interno di una simulazione, hanno quindi interpretato sistemi reali come parte dell'esercizio.
La ricostruzione tecnica pubblicata da Anthropic descrive in dettaglio come sono avvenuti gli incidenti.
Quando una sandbox non è davvero isolata
Il caso mette in evidenza un problema fondamentale per lo sviluppo degli agenti AI: un ambiente di test non può essere considerato sicuro soltanto perché il modello è stato informato che si tratta di una simulazione.
In uno degli incidenti, Claude ha raggiunto l'infrastruttura di un'organizzazione reale sfruttando tecniche relativamente semplici, tra cui credenziali deboli ed endpoint non autenticati. In un altro caso, Claude Mythos 5 ha creato e pubblicato un pacchetto Python malevolo su PyPI dopo aver interpretato un'istruzione presente nell'ambiente di test come parte della simulazione.
Il pacchetto è rimasto online per circa un'ora ed è stato scaricato ed eseguito da 15 sistemi reali. L'episodio dimostra quanto rapidamente un'azione intrapresa da un agente AI possa uscire dai confini previsti quando l'ambiente non è correttamente isolato.
Anthropic introduce un nuovo livello di controllo
La risposta dell'azienda si basa sul principio della defense in depth: non affidarsi a una singola barriera di sicurezza, ma utilizzare più livelli indipendenti di protezione.
Anthropic ha introdotto un classificatore capace di individuare in tempo reale tentativi di sondare aggressivamente l'ambiente di test, tentativi di evasione dalla sandbox o accessi inattesi a Internet. Quando il sistema rileva un comportamento sospetto, può bloccare l'azione prima dell'esecuzione, interrompere il task e avvisare un operatore umano.
L'azienda ha inoltre migrato gli ambienti cyber ad alto rischio verso sistemi di isolamento più robusti e sta effettuando ulteriori attività di red teaming sulla propria infrastruttura di virtualizzazione.
Secondo Anthropic, i test interni di cybersecurity sono già ripresi con queste nuove misure, mentre alcuni ambienti ad alto rischio rimangono temporaneamente sospesi in attesa di ulteriori verifiche.
Il problema non è solo tecnico
Gli incidenti sollevano anche una questione più profonda sull'allineamento dei modelli AI. Anthropic afferma di non aver trovato prove che Claude stesse perseguendo un obiettivo autonomo o cercando deliberatamente di evadere dal proprio ambiente.
Il comportamento osservato era invece legato al compito assegnato: completare una prova di cybersecurity. Il problema è che il modello aveva una rappresentazione errata della situazione. Gli era stato detto che non aveva accesso a Internet e che il bersaglio apparteneva a una simulazione. Quando ha incontrato sistemi reali, in alcuni casi ha continuato a considerarli parte dell'esercizio.
Anthropic identifica in particolare due aree di rischio: motivated reasoning, cioè la tendenza a interpretare le informazioni in modo da mantenere una determinata convinzione, e recklessness, ovvero la disponibilità a compiere azioni dannose nel tentativo di raggiungere un obiettivo ristretto.
Perché interessa anche gli sviluppatori
La vicenda non riguarda soltanto i laboratori che sviluppano modelli frontier. Con la diffusione degli AI agent, sempre più sistemi sono in grado di eseguire codice, utilizzare API, navigare sul web e interagire direttamente con infrastrutture software.
Per gli sviluppatori questo significa che le tradizionali regole di isolamento devono essere applicate anche agli agenti AI. Un ambiente destinato a un test automatico dovrebbe avere confini di rete verificabili, permessi minimi, logging continuo e meccanismi capaci di interrompere immediatamente comportamenti fuori policy.
Anthropic raccomanda inoltre che i partner esterni verifichino l'isolamento della sandbox prima di ogni valutazione, definiscano esplicitamente quali sistemi sono dentro e fuori dall'ambito del test e utilizzino monitoraggio in tempo reale delle azioni del modello.
La nuova fase della sicurezza AI
La decisione di riprendere i test esterni mostra un cambiamento importante nel modo in cui viene affrontata la sicurezza dei modelli avanzati. Non basta più testare quanto un modello sia capace di attaccare un sistema: bisogna anche dimostrare che l'infrastruttura utilizzata per testarlo sia sicura.
Il caso Anthropic mostra inoltre che il rischio può nascere dall'interazione tra tre elementi: capacità del modello, configurazione dell'ambiente e istruzioni ricevute. Anche un modello che non sta cercando autonomamente di evadere può produrre conseguenze reali se gli vengono forniti strumenti, accessi o confini mal configurati.
Per questo la sicurezza degli AI agent potrebbe diventare una delle aree più importanti della cybersecurity nei prossimi anni. La sfida non sarà soltanto impedire a un modello di fare qualcosa di pericoloso, ma costruire ambienti nei quali anche un comportamento inatteso non possa trasformarsi facilmente in un incidente reale.
Fonti: Anthropic, Anthropic Cybersecurity Evaluation Report e Reuters.