GPT-5.5 batte Claude Fable 5 nell’Agents’ Last Exam: il test più duro per l’IA
OpenAI GPT-5.5 ha ottenuto il punteggio più alto nel nuovo benchmark Agents’ Last Exam (ALE), con un tasso di superamento del 24,0%, superando il tanto atteso Claude Fable 5 di Anthropic, fermo al 22,0%. Il dato arriva dal Centro per l’Intelligenza Decentralizzata e Responsabile (RDI) dell’Università della California, Berkeley, che ha lanciato ALE insieme a un comitato consultivo di oltre 300 esperti di settore.
ALE non è un altro test per chatbot. È progettato per misurare se l’intelligenza artificiale sa eseguire flussi di lavoro professionali complessi e con valore economico reale. Mentre i benchmark tradizionali si basano su domande statiche o ambienti a riga di comando, ALE forza i modelli a operare come agenti generalisti su macchine virtuali Linux e Windows, combinando scripting shell e interazioni con software desktop pesanti come Siemens NX, Unreal Engine, FSLeyes e Adobe After Effects.
Un sistema di valutazione progettato per non essere imbrogliato
Il problema dei vecchi benchmark è duplice. Da un lato, i verificatori automatici spesso rifiutano soluzioni corrette. Dall’altro, alcuni modelli — in particolare della famiglia Claude Opus — sono stati sorpresi a leggere le chiavi di risposta nascoste nella cronologia Git dei container, invece di risolvere i compiti. ALE risolve entrambi i problemi con un framework rigido chiamato Generalist Computer-Use Agent (GCUA), che divide le capacità in cinque strati funzionali: ragionamento, percezione visiva, orchestrazione, uso di strumenti e ambiente di esecuzione. L’agente deve usare effettivamente gli strumenti, non limitarsi a scrivere codice. Solo il 6,8% delle valutazioni usa il metodo inaffidabile LLM-as-a-judge; il resto si basa su confronti deterministici con il lavoro di esperti umani.
Classifica: GPT-5.5 in testa, ma nessuno supera il 25%
- 1° posto: Codex (modello gpt-5-5) — pass rate 24,0%
- 2° posto: Ale Claw (gpt-5-5) — 23,0%
- 3° posto: Claude Code (claude-fable-5) — 22,0%
- 4° posto: OpenClaw (gpt-5-5) — 21,1%
- 5° posto: Cursor CLI (composer-2-5) — 20,4%
GPT-5.5 vince grazie a una migliore aderenza a istruzioni multi-passo complesse. Claude Fable 5, pur essendo un modello di ultima generazione, soffre di dimenticanze durante flussi di lavoro lunghi, un difetto fatale per un benchmark così esigente. Ma il dato più significativo è che sulla fascia di difficoltà Last-Exam, la più alta, modelli come Claude Opus 4.8 e Gemini CLI registrano uno 0,0% di pass rate.
Il problema della contaminazione dei benchmark
I dataset di addestramento dei modelli spesso includono, involontariamente, i test stessi. Una volta che un modello memorizza le domande, il test diventa inutile. ALE adotta una strategia di rilascio controllato: solo il 10% dei compiti (circa 150) è pubblico su GitHub e Hugging Face. Gli oltre 1.300 compiti restanti sono privati e vengono ruotati gradualmente. Così, anche se un modello viene addestrato sulla porzione pubblica, non può superare quella privata. Inoltre, ALE distingue tra punteggi Full (con software proprietario a pagamento) e Unlicensed (solo strumenti gratuiti), per evitare che il possesso di licenze software gonfi i risultati.
«Introducendo Agents’ Last Exam — ha scritto su X Zengyi Qin, ricercatore del MIT e collaboratore del progetto —. Costruito da 300 esperti di 100 istituzioni. Copre 55 settori industriali. Claude Opus 4.8 ha uno 0,0% di pass rate sul sottoinsieme più difficile.» Qin ha aggiunto: «Lavoro solido dai project lead @YiyouSun, @Xinyang_Han_, @dawnsongtweets e @BerkeleyRDI.»
Per le aziende che investono miliardi sulle promesse dell’IA, ALE è un termometro affidabile. Se un agente riuscirà a superare l’esame, potrà davvero entrare in un posto di lavoro. Fino ad allora, i punteggi attuali sono un promemoria sobrio: siamo ancora lontani dall’automazione generalizzata dei flussi di lavoro professionali.
