reader-lm-0.5b

reader-lm-0.5b è un piccolo modello di linguaggio da 494M parametri specializzato nella conversione di documenti HTML disordinati in Markdown pulito e strutturato. Affronta un collo di bottiglia critico nelle pipeline di dati moderne: trasformare il contenuto web per il consumo dei LLM senza sistemi fragili basati su regole o grandi modelli intensivi in risorse. Raggiunge un'elaborazione HTML di livello professionale con un'impronta compatta, gestendo documenti fino a 256K token.

Il modello adotta un'architettura decoder-only 'shallow-but-wide' ottimizzata specificamente per operazioni di copia selettiva piuttosto che per la generazione creativa di testo. È dotato di 24 layer transformer con 896 dimensioni nascoste, 14 query head e 2 key-value head (configurazione GQA). L'addestramento ha coinvolto due fasi distinte: prima, addestramento su HTML più corto e semplice (32K token) per imparare i pattern di conversione di base; poi, addestramento su HTML complesso e reale (128K token) per gestire casi difficili con CSS inline, script e strutture DOM complesse. Il modello incorpora la ricerca contrastiva durante l'addestramento e implementa un meccanismo di rilevamento delle ripetizioni per prevenire problemi di degenerazione come i loop di token. Un meccanismo di zigzag-ring-attention consente di gestire sequenze estremamente lunghe fino a 256K token mantenendo prestazioni stabili.

Il modello raggiunge un punteggio ROUGE-L di 0,56, indicando una forte preservazione del contenuto, e mantiene un basso tasso di errore dei token di 0,34, mostrando un'allucinazione minima. In valutazioni qualitative su 22 fonti HTML diverse (articoli di notizie, post di blog, pagine di e-commerce in più lingue), mostra una particolare forza nella preservazione della struttura e nell'uso della sintassi Markdown. È particolarmente forte nel gestire pagine web moderne complesse dove CSS inline e script possono espandersi a centinaia di migliaia di token — uno scenario in cui gli approcci tradizionali basati su regole (BeautifulSoup, Readability) spesso falliscono. Può essere necessaria elaborazione aggiuntiva per pagine altamente dinamiche o cariche di JavaScript dove il contenuto è renderizzato client-side.

Il modello funziona meglio con input HTML grezzi e non richiede prefissi o istruzioni speciali. Per prestazioni ottimali, implementa il meccanismo di rilevamento delle ripetizioni fornito per prevenire i loop di token nella generazione dell'output. Il modello supporta più lingue e varie strutture HTML, ma è progettato specificamente per l'estrazione del contenuto e la conversione in Markdown — non usarlo per la generazione di testo, il riassunto o la risposta diretta a domande. Disponibile per il deployment in produzione tramite AWS SageMaker e per la sperimentazione tramite un notebook Google Colab. Sebbene il modello gestisca documenti fino a 256K token, l'elaborazione di input molto grandi può richiedere ulteriore gestione della memoria. Per i carichi di produzione è consigliata una GPU con supporto CUDA. Per maggiore accuratezza, usa reader-lm-1.5b o ReaderLM-v2. Per l'estrazione JSON, usa ReaderLM-v2, che supporta l'ottimizzazione multi-obiettivo per output in Markdown e JSON.