reader-lm-0.5b

reader-lm-0.5b ist ein kleines Sprachmodell mit 494M Parametern, das speziell darauf ausgelegt ist, unordentliche HTML-Dokumente in sauberes, strukturiertes Markdown umzuwandeln. Es adressiert einen kritischen Flaschenhals in modernen Datenpipelines: die Transformation von Webinhalten für den LLM-Verbrauch, ohne fragile regelbasierte Systeme oder ressourcenintensive große Modelle. Es erreicht professionelle HTML-Verarbeitung mit kleinem Fußabdruck und verarbeitet Dokumente bis zu 256K Token.

Das Modell verwendet eine 'flach-breit'-Decoder-Only-Architektur, die speziell für selektive Kopieroperationen optimiert ist und nicht für die kreative Textgenerierung. Sie verfügt über 24 Transformer-Schichten mit 896 Hidden-Dimensionen, 14 Query-Heads und 2 Key-Value-Heads (GQA-Konfiguration). Das Training umfasste zwei getrennte Stufen: zunächst Training auf kürzerem, einfachem HTML (32K Token), um grundlegende Konversionsmuster zu lernen; dann Training auf komplexem, echtem HTML (128K Token), um herausfordernde Fälle mit Inline-CSS, Skripten und komplexen DOM-Strukturen zu bewältigen. Das Modell integriert kontrastive Suche während des Trainings und implementiert einen Wiederholungs-Erkennungsmechanismus, um Degenerationsprobleme wie Token-Loops zu verhindern. Ein Zigzag-Ring-Attention-Mechanismus ermöglicht die Verarbeitung von extrem langen Sequenzen bis zu 256K Token bei stabiler Leistung.

Das Modell erzielt einen ROUGE-L-Score von 0,56, die eine starke Content-Erhaltung anzeigt, und hält eine niedrige Token-Fehlerrate von 0,34 aufrecht, was minimale Halluzinationen zeigt. In qualitativen Bewertungen über 22 verschiedene HTML-Quellen (News-Artikel, Blog-Beiträge, E-Commerce-Seiten in mehreren Sprachen) zeigt es besondere Stärke in der Strukturerhaltung und der Markdown-Syntax-Nutzung. Es ist besonders stark bei der Verarbeitung komplexer moderner Webseiten, bei denen Inline-CSS und Skripte auf Hunderttausende von Token ausufern können — ein Szenario, in dem traditionelle regelbasierte Ansätze (BeautifulSoup, Readability) oft scheitern. Für hochdynamische oder JavaScript-lastige Seiten, deren Inhalt client-seitig gerendert wird, kann zusätzliche Verarbeitung erforderlich sein.

Das Modell funktioniert am besten mit rohem HTML-Eingang und benötigt keine speziellen Präfixe oder Anweisungen. Für optimale Leistung implementieren Sie den bereitgestellten Wiederholungs-Erkennungsmechanismus, um Token-Loops in der Ausgabe zu verhindern. Das Modell unterstützt mehrere Sprachen und verschiedene HTML-Strukturen, ist aber speziell für Content-Extraktion und Markdown-Umwandlung konzipiert — nicht für Textgenerierung, Zusammenfassung oder direkte Frage-Antwort. Verfügbar für Produktivdeployment über AWS SageMaker und für Experimente über ein Google Colab-Notebook. Während das Modell Dokumente bis zu 256K Token verarbeitet, kann die Verarbeitung sehr großer Eingaben zusätzliches Speichermanagement erfordern. Für Produktivlasten wird eine CUDA-fähige GPU empfohlen. Für höhere Genauigkeit nutzen Sie reader-lm-1.5b oder ReaderLM-v2. Für JSON-Extraktion nutzen Sie ReaderLM-v2, das Multi-Objective-Optimierung für Markdown- und JSON-Ausgabe unterstützt.