Google introduce l’incertezza fedele: gli LLM imparano a dire “non ne sono sicuro”

I modelli linguistici di grandi dimensioni (LLM) continuano ad allucinare, e per le applicazioni enterprise questo è un problema serio. Ridurre gli errori di fatto significa spesso sacrificare anche risposte corrette. In un nuovo paper, i ricercatori di Google propongono il concetto di “faithful uncertainty” (incertezza fedele), una tecnica metacognitiva che allinea la risposta del modello con la sua reale confidenza interna.

L’idea è semplice: invece del binomio “risposta sicura o astensione”, il modello può offrire ipotesi accompagnate da frasi come “La mia migliore ipotesi è…”. Per i sistemi AI autonomi, questa consapevolezza funge da strato di controllo essenziale: il modello capisce quando la sua conoscenza è sufficiente e quando deve attivare strumenti esterni o API di ricerca.

La tassa sull’utilità degli attuali metodi

Capire perché gli LLM allucinano significa distinguere tra due capacità: conoscere i fatti e sapere cosa si conosce. Storicamente, i miglioramenti nella correttezza fattuale sono arrivati aggiungendo più dati di addestramento. Ma espandere la conoscenza non migliora automaticamente la consapevolezza dei propri limiti. “Ci sono due modi per migliorare l’affidabilità fattuale”, spiega Gal Yona, ricercatore Google e coautore del paper. Il primo è insegnare più fatti. Ma, nota Yona, “la capacità del modello è finita e la coda lunga della conoscenza è infinita”.

Quando il modello raggiunge questo limite, l’ideale sarebbe che si astenesse. Ma è intrinsecamente difficile per un LLM. “La maggior parte dei tentativi di ridurre le allucinazioni non arriva al deployment”, dice Yona. “Riducono gli errori, ma danneggiano l’utilità perché il modello rifiuta di rispondere a domande che conosce”. Questa incapacità crea la cosiddetta “utility tax” (tassa sull’utilità). Gli autori mostrano che per ridurre un tasso di errore dal 25% al 5%, gli sviluppatori devono scartare il 52% delle risposte corrette del modello. Trattare ogni errore come allucinazione costringe i sistemi aziendali a scegliere tra affidabilità e utilità.

Riformulare le allucinazioni come errori sicuri

Per superare la tassa sull’utilità, i ricercatori propongono di smettere di trattare ogni errore fattuale come allucinazione. Invece, riformulano le allucinazioni come “confident errors” (errori sicuri): informazioni errate fornite in modo autorevole senza le dovute attenuazioni. Se un modello sbaglia ma attenua la risposta (es. “Non sono sicuro, ma penso…”), non è un’allucinazione. È un’ipotesi. Questo preserva l’utilità senza violare la fiducia.

Il problema però è che se l’assistente attenua tutte le risposte, l’utente deve verificare tutto. La soluzione è l’incertezza fedele: allineare l’incertezza linguistica (le parole usate per esprimere dubbio) con l’incertezza intrinseca (la reale confidenza statistica interna del modello). Il modello attenua solo quando il suo stato interno riflette informazioni conflittuali o a bassa probabilità. L’esempio è quello del medico: non ci fidiamo perché è onnisciente, ma perché distingue tra una diagnosi sicura (“Ha una frattura”) e un’ipotesi (“Potrebbe essere una distorsione, facciamo altri test”).

Con questa nuova categoria, gli errori in cui il modello è sinceramente sicuro ma sbaglia diventano “honest mistakes” (errori onesti). L’espansione della conoscenza spinge il confine verso l’esterno per minimizzare gli errori onesti, mentre l’incertezza fedele comunica onestamente dove si trova quel confine in ogni momento.

Implicazioni per l’AI agentica

Con l’AI agentica, sembrerebbe che sapere cosa il modello non sa sia ridondante, dato che può cercare nei database. Invece, l’accesso a strumenti esterni amplifica la necessità di incertezza fedele. La metacognizione diventa il layer di controllo centrale dell’intero sistema. Gli strumenti esterni risolvono il problema dello stoccaggio, ma introducono il problema del controllo: quando recuperare informazioni, verificare fatti e orchestrare strumenti.

“Il modello potrebbe cercare qualcosa che già sa con sicurezza, sprecando latenza e costo. O il contrario: rispondere a memoria quando avrebbe dovuto cercare, producendo output plausibile ma sbagliato”, dice Yona. Oggi i sistemi cercano di risolvere il problema esternamente con classificatori di query o regole fisse, ma Yona li definisce “statici e fragili”. Usando l’incertezza intrinseca per regolare il proprio comportamento, l’agente ottimizza dinamicamente l’uso degli strumenti: cerca solo quando la confidenza è bassa, e valuta i risultati della ricerca confrontandoli con le proprie conoscenze interne.

Il paradosso del bootstrap

Raggiungere questa incertezza fedele è più complesso di quanto sembri. Richiede insegnare al modello la sintassi dell’incertezza tramite apprendimento supervisionato (SFT). I modelli pre-addestrati sono nutriti principalmente con testo autorevole, quindi vanno addestrati esplicitamente a dire “Non sono sicuro, ma penso che…”. Ma l’SFT introduce un paradosso: a differenza dei dataset standard in cui la risposta corretta è nota, qui il dato di verità è l’incertezza interna del modello stesso, e non quella di un valutatore umano o esterno. Questo richiede di generare coppie (domanda, risposta attenuata) in cui l’attenuazione rifletta fedelmente la confidenza del modello, non ciò che un esperto umano considererebbe incerto.