reader-lm-0.5b

reader-lm-0.5b est un petit modèle de langage de 494M paramètres spécialisé dans la conversion de documents HTML désordonnés en Markdown propre et structuré. Il répond à un goulot d'étranglement critique des pipelines de données modernes : transformer le contenu web pour la consommation des LLMs sans systèmes fragiles basés sur des règles ni grands modèles intensifs en ressources. Il atteint un traitement HTML de niveau professionnel avec une empreinte compacte, gérant des documents jusqu'à 256K tokens.

Le modèle emploie une architecture decoder-only « shallow-but-wide » optimisée spécifiquement pour des opérations de copie sélective plutôt que la génération créative de texte. Elle comporte 24 couches transformer avec 896 dimensions cachées, 14 têtes de requête et 2 têtes clé-valeur (configuration GQA). L'entraînement a impliqué deux étapes distinctes : d'abord, entraînement sur du HTML plus court et simple (32K tokens) pour apprendre des schémas de conversion de base ; ensuite, entraînement sur du HTML complexe et réel (128K tokens) pour gérer des cas difficiles avec CSS en ligne, scripts et structures DOM complexes. Le modèle incorpore une recherche contrastive pendant l'entraînement et implémente un mécanisme de détection de répétition pour prévenir les problèmes de dégénérescence comme les boucles de tokens. Un mécanisme de zigzag-ring-attention permet de traiter des séquences extrêmement longues jusqu'à 256K tokens en maintenant des performances stables.

Le modèle atteint un score ROUGE-L de 0,56, indiquant une forte préservation du contenu, et maintient un faible taux d'erreur de tokens de 0,34, montrant une hallucination minimale. Dans des évaluations qualitatives sur 22 sources HTML diverses (articles de presse, billets de blog, pages de commerce électronique dans plusieurs langues), il montre une force particulière dans la préservation de la structure et l'usage de la syntaxe Markdown. Il est particulièrement performant dans le traitement de pages web modernes complexes où le CSS en ligne et les scripts peuvent gonfler à des centaines de milliers de tokens — un scénario où les approches traditionnelles basées sur des règles (BeautifulSoup, Readability) échouent souvent. Un traitement supplémentaire peut être nécessaire pour les pages très dynamiques ou chargées en JavaScript où le contenu est rendu côté client.

Le modèle fonctionne le mieux avec une entrée HTML brute et ne nécessite pas de préfixes ou d'instructions spéciales. Pour des performances optimales, implémentez le mécanisme de détection de répétition fourni pour prévenir les boucles de tokens dans la génération de sortie. Le modèle prend en charge plusieurs langues et diverses structures HTML, mais est spécifiquement conçu pour l'extraction de contenu et la conversion en Markdown — ne l'utilisez pas pour la génération de texte, le résumé ou la réponse directe à des questions. Disponible pour le déploiement en production via AWS SageMaker et pour l'expérimentation via un notebook Google Colab. Bien que le modèle gère des documents jusqu'à 256K tokens, le traitement d'entrées très volumineuses peut nécessiter une gestion mémoire supplémentaire. Pour les charges de production, un GPU compatible CUDA est recommandé. Pour une précision supérieure, utilisez reader-lm-1.5b ou ReaderLM-v2. Pour l'extraction JSON, utilisez ReaderLM-v2, qui prend en charge l'optimisation multi-objectifs pour les sorties Markdown et JSON.