Hermes Agent introduce Tool Search: meno token MCP e accuratezza al 74% su Opus 4
I sistemi di AI agent che usano tanti strumenti MCP (Model Context Protocol) hanno un problema serio: ogni tool carica il suo schema JSON nel contesto, e alla fine ti ritrovi con metà dei prompt occupati da definizioni che non servono. Nous Research ha risposto con una funzione chiamata Tool Search, disponibile ora nella versione open-source di Hermes Agent.
Il meccanismo è semplice: invece di caricare tutti gli strumenti all’inizio di ogni turno, Hermes ne mostra solo tre bridge tool — tool_search, tool_describe, tool_call — e lascia che sia il modello a cercare ciò che gli serve. Il risultato è una riduzione drastica dei token spesi per le definizioni, e un miglioramento concreto della precisione.
I dati parlano chiaro: in una configurazione tipica con cinque server MCP e 34 strumenti, il prompt medio era di 45.000 token per turno. Di questi, circa 22.000 token, ossia il 50%, erano solo schema JSON. Secondo il benchmark di Anthropic, con Tool Search attivo il consumo di token per le definizioni cala dell’85%.
Ma non è solo una questione di costi. Ridurre il rumore nel contesto migliora anche l’accuratezza del modello. I test interni di Anthropic mostrano che su Claude Opus 4 l’accuratezza sale dal 49% al 74%, e su Opus 4.5 dal 79,5% all’88,1%. Il motivo è la cosiddetta “paralisi decisionale”: meno opzioni irrilevanti vede il modello, meno errori fa.
Sotto il cofano, Hermes usa l’algoritmo BM25 per cercare tra nomi, descrizioni e parametri degli strumenti. Se BM25 non trova corrispondenze positive, cade in un fallback basato su corrispondenza letterale del nome. Il catalogo è stateless: si ricostruisce da zero a ogni turno, così non rischia di diventare vecchio rispetto ai tool attivi.
Tool Search si attiva in modalità automatica quando la dimensione degli schemi supera il 10% della finestra di contesto del modello in uso. Se sei sotto quella soglia, non succede nulla. La decisione viene rivalutata a ogni turno, e se rimuovi un server MCP a metà sessione, il sistema torna subito all’esposizione diretta.
Per configurarlo, basta aggiungere la sezione tool_search al tuo hermes.yaml. L’impostazione predefinita è auto, con soglia al 10% e un limite di 5 risultati per ricerca. Si può anche abilitare permanentemente o disattivare del tutto.
