Harness-1: l’agente di ricerca AI open source che supera modelli molto più grandi
Harness-1, un agente di retrieval da 20 miliardi di parametri sviluppato da un team di ricercatori di University of Illinois Urbana-Champaign, UC Berkeley e Chroma, ha raggiunto un curated recall medio dello 0,730 su otto benchmark, superando modelli aperti ben più grandi e avvicinandosi ai risultati dei migliori modelli closed-source come Opus-4.6.
La chiave del successo non è nelle dimensioni del modello, ma nell’architettura. Il team ha spostato la “contabilità” della ricerca — ricordare cosa è stato già visto, quali documenti sono stati estratti, quali entità sono emerse — fuori dal modello e dentro un harness stateful. Il policy decide solo le azioni semantiche: cosa cercare, quali documenti privilegiare, quando fermarsi. Il resto lo gestisce l’ambiente.
L’harness, chiamato WORKINGMEMORY, mantiene una candidate pool di documenti compressi e deduplicati, un curated set finale (massimo 30 documenti) con etichette di importanza (very_high, high, fair, low), un full-text store di tutti i chunk recuperati, e un evidence graph che tiene traccia di entità frequenti, bridge document (documenti che contengono due o più entità frequenti) e singleton (entità che appaiono in un solo documento e suggeriscono nuovi percorsi). Il tutto è accessibile al policy tramite otto strumenti: fan_out_search, search_corpus, grep_corpus, read_document, review_docs, curate, verify e end_search.
Un design interessante è il warm-start della curation: al primo successo nella ricerca, l’harness inserisce automaticamente otto documenti nel curated set. Il policy poi li promuove o elimina. Trasforma il problema da “costruire da zero” a “raffinare”.
Come è stato addestrato
L’addestramento segue la stessa divisione. Prima, supervised fine-tuning (SFT) per insegnare al modello a usare l’interfaccia dell’harness. Un singolo teacher, GPT-5.4, ha generato 899 traiettorie valide. Il modello ha usato LoRA con rank 32 per tre epoche. Poi, reinforcement learning (RL) on-policy con CISPO, con un limite di 40 turni e reward solo a terminale. L’RL è stato fatto solo su query del dataset SEC.
Una scelta cruciale: senza un tool-diversity bonus, l’agente collassa su azioni ripetitive e il curated recall si ferma a 0,53. Con il bonus, la diversità si stabilizza e il recall sale a circa 0,60.
Performance e transfer
I risultati parlano chiaro. Harness-1, con 20B parametri, raggiunge 0,730 di curated recall medio. Tongyi DeepResearch 30B si ferma a 0,616. Tra i modelli chiusi, solo Opus-4.6 fa meglio (0,764). Ma il dato più interessante è il transfer learning: l’RL è stato fatto solo su query SEC, eppure il guadagno sui benchmark tenuti fuori dall’addestramento è stato di 17,0 punti percentuali, contro i 7,9 punti sui benchmark source. Il doppio. Segno che Harness-1 ha imparato operazioni di ricerca generali, non solo pattern specifici dei dati di training.
Le ablazioni confermano il ruolo dell’harness: disabilitare tutti i meccanismi dell’harness fa perdere il 12,2% di recall relativo su BrowseComp+. Il policy continua a cercare, ma non riesce più a organizzare ciò che trova.
Punti di forza e limiti
Tra i punti di forza: è il miglior modello aperto nei test, i pesi e il codice dell’harness sono pubblici, può essere servito con vLLM, SGLang o Transformers, e ha richiesto solo 4.352 item unici per l’addestramento, molto meno di altri modelli. Tra i limiti: l’evidence graph usa regex, non entity linking completo; il tool verify è un proxy LLM che può sbagliare; la compressione sentence-BM25 può perdere contesto.
