Harness-1: l’AI search agent open source da 20 miliardi di parametri supera GPT-5.4 nei test di recupero informazioni
Un gruppo di ricerca congiunto composto da UIUC, UC Berkeley e la piattaforma vettoriale open source Chroma ha presentato Harness-1, un modello open source con 20 miliardi di parametri progettato per eseguire compiti complessi di recupero informazioni. Nei test, Harness-1 ha ottenuto un punteggio medio del 73% nell’accedere correttamente a informazioni rilevanti, superando GPT-5.4 (70,9%) e distanziando il miglior concorrente open source, Tongyi DeepResearch 30B, di 11,4 punti percentuali. I ricercatori non hanno testato GPT-5.5, non ancora disponibile al momento della costruzione del modello.
Il modello e l’ambiente software sono disponibili immediatamente su Hugging Face con licenza Apache 2.0, insieme al codice e ai pesi. Harness-1 è anche la prova di efficacia di Tinker, una API distribuita per training e fine-tuning sviluppata da Thinking Machines, utilizzata specificamente per addestrare il modello.
Benchmark e prestazioni
I ricercatori hanno valutato Harness-1 su otto benchmark di ricerca complessi, che spaziavano da ricerche web aperte a documenti finanziari SEC, database di brevetti USPTO e compiti “multi-hop”, dove l’AI doveva collegare indizi sparsi da più documenti per arrivare alla risposta corretta.
Risultato: Harness-1 ha dominato la competizione open source. Contro ogni previsione, il modello da 20 miliardi di parametri ha superato sistemi proprietari ben più grandi come Sonnet-4.6 e Kimi-K2.5, che operano su centinaia di miliardi o trilioni di parametri. Solo il gigante Opus-4.6 è riuscito a superarlo di poco nella media complessiva.
Come funziona: l’idea di un “cabinet virtuale”
Harness-1 ottiene questi risultati grazie a un cambio di paradigma nell’architettura. Tradizionalmente, i modelli di search agent devono tenere traccia di ogni ricerca, lettura e riflessione all’interno di un contesto crescente, affrontando ciò che i ricercatori chiamano “amnesia da ricerca“. Con l’aumentare dei documenti, l’AI dimentica la query originale, rilegge materiale già scartato o perde il filo.
Harness-1 risolve questo problema “esternalizzando” la contabilità della sessione di ricerca in un ambiente software strutturato. Il ricercatore principale Patrick (Pengcheng) Jiang dell’UIUC ha spiegato su X: «A un certo punto il modello non sta più solo ‘cercando’. Gli viene chiesto di essere un sistema di memoria, un prenditore di appunti, un verificatore e un bibliotecario». La soluzione è un “cabinet virtuale” — un ambiente che mantiene una memoria di lavoro recuperabile: un pool di candidati, un set di evidenze con tag di importanza, collegamenti compatti e record di verifica. In questo modo, il modello si concentra sulle decisioni semantiche (cosa cercare, quali documenti conservare, quando fermarsi), mentre l’ambiente gestisce lo stato.
Addestramento: meno dati, più struttura
Il processo di training di Harness-1 è stato sorprendentemente efficiente. Nella fase di Supervised Fine-Tuning (SFT), il team ha generato solo 899 traiettorie usando un modello GPT-5.4 come insegnante, ma all’interno dello stesso harness che il modello studente avrebbe poi usato. L’obiettivo non era iniettare conoscenza, ma insegnare i ritmi meccanici di un buon ricercatore: formattare chiamate tool, taggare documenti per importanza e verificare le affermazioni prima di promuoverle al set finale.
Successivamente, il modello è stato sottoposto a Reinforcement Learning (RL) con l’algoritmo CISPO, su episodi di ricerca di massimo 40 turni. La funzione di ricompensa finale separava esplicitamente la scoperta dalla selezione: il modello veniva premiato solo se trovava un documento e lo promuoveva al set finale, mentre veniva penalizzato se trovava l’informazione ma non la curava. Un bonus per la “diversità degli strumenti” impediva che la strategia collassasse in un approccio pigro di sole ricerche, senza verifica dei testi.
