Cohere rilascia North Mini Code, un modello open-source per coding agentico che gira su una singola H100

I team di ingegneria che costruiscono pipeline di coding agentico hanno ora un’alternativa open-source concreta ai modelli gestiti come Claude Fable 5. North Mini Code, rilasciato da Cohere martedì, funziona su una singola H100. Il compromesso: nei test indipendenti, ha generato tre volte i token di output rispetto a modelli comparabili — un costo di verbosità che si accumula in carichi di lavoro di produzione ad alto volume.

North Mini Code è un modello mixture-of-experts (MoE) da 30 miliardi di parametri, con soli 3 miliardi di parametri attivi per token. È stato costruito appositamente per l’ingegneria del software agentica: orchestrazione di sub-agenti, mappatura dell’architettura, code review e lavoro da terminale. Supporta una finestra di contesto di 256.000 token con una generazione massima di 64.000 token. È disponibile su Hugging Face con licenza Apache 2.0.

Cosa fa North Mini Code

Cohere ha progettato North Mini Code specificamente per l’ingegneria del software agentica, non adattato da una base generalista. Ha capacità di utilizzo degli strumenti integrate e supporta il pensiero intervallato (interleaved thinking), che secondo Cohere migliora le prestazioni in lavori multi-step.

Il modello può analizzare e mappare l’architettura dei sistemi, individuare dipendenze ed eseguire code review su ampi codebase. Con 256.000 token di contesto, può contenere progetti multi-file in un singolo passaggio. È addestrato per ambienti terminali: shell, script di pacchetto e strumenti da riga di comando. Cohere lo ha testato su Terminal-Bench v2, che valuta gli agenti in ambienti terminali reali, non in compiti sintetici di generazione di codice.

Come è stato costruito

North Mini Code è un modello MoE sparso con 128 esperti, di cui 8 si attivano per token. Il requisito computazionale a inferenza è paragonabile a un modello da 3 miliardi di parametri, nonostante i 30 miliardi totali. Nick Frosst, co-fondatore di Cohere, lo ha dimostrato in esecuzione su un Mac Studio tramite MLX con circa 20 GB di RAM.

L’addestramento è avvenuto in due fasi di supervised fine-tuning seguite da reinforcement learning con ricompense verificabili su oltre 70.000 compiti verificabili distribuiti in circa 5.000 repository, deduplicati rispetto a SWE-Bench. Invece di ottimizzare per un singolo scaffold agentico, Cohere si è addestrata su tre: SWE-Agent (CLI con comandi specializzati), Mini-SWE-Agent (singolo strumento bash con output grezzo) e OpenCode (strumenti tipizzati che restituiscono JSON strutturato). Cohere riporta un guadagno di 10 punti percentuali sulla valutazione OpenCode dall’approccio multi-harness, mantenendo le prestazioni su SWE-Agent.

Dove si posiziona

North Mini Code entra in un mercato che include Mistral Devstral Small 2, GitHub Copilot, Cursor e Claude Fable 5 — ciascuno con diversi compromessi di costo e distribuzione. Il confronto principale di Cohere è con Mistral Devstral Small 2, un modello denso da 24 miliardi di parametri. Nei test interni, Cohere afferma un throughput di output 2,8 volte superiore e un vantaggio del 30% nella latenza inter-token rispetto a Devstral Small 2, a parità di hardware.

Cohere sostiene inoltre che North Mini Code superi modelli open-source fino a quattro volte la sua dimensione (inclusi modelli da 120 miliardi di parametri) nei suoi benchmark riportati. Artificial Analysis lo classifica ottavo su 127 modelli comparabili per velocità di output (210 token al secondo), con un tempo al primo token di 0,25 secondi contro una mediana di 1,95 secondi. È 18° su 127 nell’Artificial Analysis Intelligence Index.

Un dato dallo stesso indice: North Mini Code ha generato 75 milioni di token di output per completare l’Intelligence Index, contro una mediana di 25 milioni. Nelle pipeline agentiche ad alto volume, questa verbosità si traduce in costi di inferenza e latenza. “All’improvviso le persone pensano ‘ma sto ottenendo abbastanza valore economico dai token di un modello?'”, ha detto Frosst durante il video di lancio. “La distribuzione locale è un modo per dare potere alle persone e rendere l’AI qualcosa che funziona per loro.”

GitHub Copilot, Cursor e Claude Code operano con prezzi per utilizzo o abbonamento, senza opzioni on-premises. Claude Fable 5 costa 50 dollari per milione di token di output. Per Frosst, il modello è l’opposto polare di Fable: “Piccolo, conveniente, Apache 2.0 e distribuibile localmente. Questa è la direzione che i LLM dovrebbero prendere: piccoli, aperti, trasparenti e sovrani, contro grandi, costosi, proprietari ed egemonici”, ha scritto su X.

Cosa significa per le aziende

Per i team che costruiscono pipeline di coding agentico in produzione, il rilascio di North Mini Code chiarisce alcune decisioni che si stavano formando da mesi. L’addestramento agentico mirato è ora un parametro da valutare: la differenza tra modelli ottimizzati per codice e modelli addestrati per flussi di lavoro agentici, con chiamate a strumenti verificate e robustezza multi-harness, è un fattore materiale. La verbosità è un costo nascosto che i benchmark non rilevano: Artificial Analysis ha misurato North Mini Code che genera tre volte i token di output dei modelli comparabili. E lo split dei prezzi tra Fable 5 a 50 dollari per milione di token e North Mini Code su una singola H100 rappresenta un vero trade-off tra controllo dei costi e residenza dei dati da un lato, e overhead dell’infrastruttura gestita dall’altro. I team dovrebbero modellare entrambi i percorsi di costo contro il loro carico di lavoro reale prima di impegnarsi.