Cos'è PixelRAG e come funziona?

PixelRAG è un sistema di retrieval sviluppato da UC Berkeley, Princeton, EPFL e Databricks che, invece di convertire le pagine web in testo, le renderizza come screenshot e le indicizza come immagini. I tile vengono poi passati a un modello di visione-linguaggio (VLM) che legge il contenuto con layout e struttura intatti, eliminando i problemi di perdita di informazioni causati dai parser tradizionali.

Quali vantaggi economici offre PixelRAG per gli agenti AI?

Nei test, un agente AI che utilizza PixelRAG ha consumato 3,6 milioni di token contro 37,5 milioni per il retrieval testuale, con una riduzione del 90%. Il costo è da 2 a 4 volte inferiore rispetto ad alternative come Google, e l'uso di compressione delle immagini può ridurre ulteriormente del 33% il budget token.

PixelRAG: AI senza parser, accuracy +18% e token costi 10x inferiori

Q: PixelRAG è disponibile per sistemi RAG esistenti?

Sì, il team di ricerca suggerisce di adottare PixelRAG come livello di potenziamento ibrido accanto ai sistemi di retrieval testuale. Il retrieval ibrido, che combina ricerca testuale e visuale, è considerato la strada più pratica per i deployment produttivi, senza bisogno di ricostruire da zero l'infrastruttura esistente.

La maggior parte dei sistemi RAG (Retrieval-Augmented Generation) inizia con un parser: uno strumento che converte pagine web e documenti in testo semplice, pronto per essere suddiviso e indicizzato. Quel passaggio, secondo una nuova ricerca pubblicata da un team di UC Berkeley, Princeton, EPFL e Databricks, è il principale responsabile degli errori di risposta. Il team ha introdotto PixelRAG, un sistema che elimina la conversione in testo: le pagine vengono renderizzate come screenshot, indicizzate come immagini e i tile recuperati vengono passati direttamente a un modello di visione-linguaggio (VLM). Testato su 30 milioni di tile che coprono tutta Wikipedia, PixelRAG ha superato i sistemi text-based in sei benchmark, con un miglioramento di accuratezza fino al 18,1%.

Secondo Yichuan Wang, dottorando a UC Berkeley e primo autore dello studio, la strada del miglioramento dei parser è senza uscita: «Migliorare i parser è un processo infinito perché ogni sito web richiede una gestione personalizzata. Il nostro obiettivo era capire se i recenti progressi nei VLM permettessero di bypassare del tutto il problema». Lo studio identifica tre modi in cui il parsing distrugge le informazioni utili per il retrieval.

Il primo è la parser loss, che causa il 36,6% degli errori: la conversione HTML-testo distrugge la struttura del contenuto al punto che nessun blocco testuale contiene più la risposta. Il secondo è la rank loss (55,2% degli errori): la risposta esiste, ma viene scalzata da riquadri informativi ricchi di parole chiave, che appaiono al primo posto nel 75,9% delle query. Il terzo è la reader loss (8,2%): il contenuto arriva al lettore, ma la struttura appiattita causa attribuzioni errate.

Il funzionamento di PixelRAG si basa su un principio diverso. Un VLM accetta immagini come input, quindi può leggere una pagina renderizzata come farebbe un umano, con layout e gerarchia visiva intatti. Il sistema ha quattro fasi: rendering con Playwright a una viewport fissa di 875 pixel, con tile da 1024 pixel di altezza (30 milioni di tile per Wikipedia); indexing con vettori 2048-dimensionali da Qwen3-VL-Embedding-2B, archiviati in un indice FAISS da circa 120 GB; training con dati sintetici contrastivi e hard-negative mining, completato in meno di tre ore su una singola H100 con 40.000 coppie; storage on demand, eliminando la necessità di archiviare permanentemente i 5,6 TB di screenshot.

Nei benchmark, PixelRAG ha raggiunto il 78,8% di accuratezza su SimpleQA contro il 71,6% del miglior parser testuale, salendo al 48,8% contro 42,5% su query strutturate su tabelle. Richiede modelli VLM di classe Qwen3-VL-4B o superiore: modelli più piccoli perdono oltre 12,5 punti percentuali. Il vantaggio economico per gli agenti AI è il caso d’uso più immediato. Nei test, un agente con PixelRAG ha consumato 3,6 milioni di token contro 37,5 milioni per il retrieval testuale, con un costo da 2 a 4 volte inferiore rispetto ad alternative come Google, e compressione delle immagini che riduce ulteriormente del 33% il budget token.

Il problema aperto è il chunking visuale: i sistemi text-based hanno affinato per anni le strategie di suddivisione in base a topic o sezioni. PixelRAG taglia le pagine per altezza fissa in pixel, con il rischio che un paragrafo o una tabella vengano spezzati. «La comunità del text retrieval ha studiato le strategie di chunking per anni, mentre il retrieval visuale ha ricevuto molta meno attenzione – ha detto Wang – È un’area importante per la ricerca futura».

Per le aziende, la via più pratica è un deployment ibrido. I dati di VB Pulse Q1 2026 mostrano che l’intenzione di adottare il retrieval ibrido è triplicata dal 10,3% di gennaio al 33,3% di marzo. «PixelRAG può fungere da livello di potenziamento accanto ai sistemi di retrieval testuale esistenti – ha detto Wang – Il retrieval ibrido che combina ricerca testuale e visuale è semplice e probabile evoluzione per molti deployment produttivi».