Cohere presenta North Mini Code: modello open-weight 30B per coding agentico

Cohere ha rilasciato North Mini Code, il suo primo modello di coding pensato per sviluppatori. È un mixture-of-experts (MoE) con 30B parametri totali, di cui solo 3B attivi per token (A3B). I pesi sono disponibili su Hugging Face con licenza Apache 2.0.

Il modello è progettato per tre ambiti: generazione di codice, ingegneria del software agentica e comandi da terminale. La finestra di contesto è di 256K token, con output massimo di 64K token. Il testo è l’unico formato supportato: niente immagini o video.

L’hardware minimo richiesto è una singola H100 in FP8. Si può usare tramite Hugging Face Transformers, l’API di Cohere, Model Vault, OpenRouter, oppure scaricarlo per Ollama, LM Studio o llama.cpp.

Architettura e post-training

North Mini Code è un decoder-only Transformer con strati MoE sparsi. L’attenzione intercala due tipi in rapporto 3:1: sliding-window con RoPE e globale senza embedding posizionali. Il blocco feed-forward contiene 128 esperti, di cui 8 attivi per token, ciascuno con attivazione SwiGLU. Il router usa una sigmoide prima della selezione top-k.

Il modello è stato addestrato in BF16. Il post-training ha previsto due fasi: SFT cascading in due stadi, poi reinforcement learning con reward verificabili (RLVR), ottimizzando per coding agentico. Supporta ragionamento interleaved e uso nativo di tool.

Benchmark e velocità

Cohere riporta 33.4 sull’Artificial Analysis Coding Index, posizionandolo competitivamente tra modelli di dimensione simile. I test includono SWE-Bench Verified, SWE-Bench Pro, Terminal-Bench v2 e Hard, SciCode e LiveCodeBench v6. Ogni benchmark è stato eseguito con tre seed e media dei risultati, con temperatura 1.0 e top_p 0.95.

Nei test interni, North Mini Code raggiunge fino a 2.8x il throughput di Devstral Small 2 a parità di concorrenza e hardware, con una latenza inter-token migliore del 30%. Il time-to-first-token è leggermente inferiore a Devstral Small 2.

Casi d’uso

Cohere ha costruito North Mini Code per workflow agentici. Tre pattern principali:

• Orchestrazione di sotto-agenti: un agente principale delega sotto-compiti (es. scrivere test mentre un altro corregge codice).
• Mappatura dell’architettura: il modello legge un repository e ne schematizza la struttura, utile prima di un refactoring.
• Review del codice: analizza un diff e segnala problemi, come un null dereference non gestito.

North Mini Code gestisce anche comandi da terminale: elencare file, eseguire una build e analizzare l’output per errori.

Come iniziare

La via più rapida è Hugging Face Transformers (da installare dalla source). Campionamento consigliato: temperatura 1.0 e top_p 0.95. Per serving con vLLM serve la libreria melody di Cohere per il parsing corretto delle risposte.