reader-lm-1.5b

reader-lm-1.5b ist ein kleines Sprachmodell mit 1,54B Parametern, das komplexe HTML-Dokumente in sauberes Markdown konvertiert und dabei Modelle 50× seiner Größe einschließlich GPT-4 und Gemini-1.5-Pro bei der HTML-zu-Markdown-Konversion übertrifft. Es verarbeitet Dokumente bis zu 256K Token nativ und eliminiert die Notwendigkeit teurer Chunking-Operationen. Die 'flach-breit'-Architektur des Modells ist für selektive Kopieroperationen optimiert und erreicht hohe Genauigkeit ohne den rechnerischen Overhead von Allzweck-LLMs.

Das Modell verwendet eine 'flach-breit'-Decoder-Only-Architektur: 28 Transformer-Schichten, 12 Query-Heads und 2 Key-Value-Heads (GQA), 1536 Hidden-Dimensionen und 8960 Zwischendimensionen. Diese Konfiguration stellt die gängige Annahme in Frage, dass tiefere Modelle immer besser sind — für selektive Kopieraufgaben wie HTML-zu-Markdown ist Breite (mehr Parameter pro Schicht) wirksamer als Tiefe (mehr Schichten). Das Training folgte zwei Stufen: (1) kurzes, einfaches HTML (32K Token) für grundlegende Konversionsmuster, (2) langes, schwieriges HTML (128K Token) für reale Komplexität. Der Zigzag-Ring-Attention-Mechanismus ermöglicht 256K-Token-Verarbeitung. Kontrastive Suche und Wiederholungs-Erkennung verhindern typische kleine-LM-Pathologien wie Degeneration und Token-Loops.

Das Modell erreicht ROUGE-L von 0,72 und Token-Fehlerrate von 0,19 und übertrifft GPT-4 (0,43 ROUGE-L, 0,50 TER) und Gemini-1.5-Pro (0,42 ROUGE-L, 0,48 TER) deutlich bei der HTML-zu-Markdown-Konversion. Qualitative Bewertungen über vier Schlüsseldimensionen — Header-Extraktion, Hauptinhalt-Extraktion, Erhaltung reichhaltiger Strukturen, Markdown-Syntax-Nutzung — zeigen konsistent hohe Genauigkeit über verschiedene Dokumenttypen hinweg: News-Artikel, Blog-Beiträge, Landing Pages und Forum-Posts. Das Modell verarbeitet mehrere Sprachen, darunter Englisch, Deutsch, Japanisch und Chinesisch. Diese Leistung wird erreicht, während Dokumente bis zu 256K Token verarbeitet werden, was den Chunking-Overhead eliminiert, den größere Modelle typischerweise benötigen.

Verwenden Sie dieses Modell für die Verarbeitung komplexer HTML-Dokumente, wo Genauigkeit und Effizienz oberste Priorität haben. Optimale Leistung erfordert CUDA-fähige GPU-Infrastruktur, läuft aber auf bescheidenerer Hardware als Allzweck-LLMs. Verfügbar über AWS SageMaker und den Azure Marketplace. Das Modell ist speziell für HTML-zu-Markdown-Konversion optimiert und ist nicht für Allzweck-Textgenerierung oder andere NLP-Aufgaben geeignet. Bei der Verarbeitung extrem langer Dokumente (nahe 512K Token) kann die Leistung nachlassen, da dies den Trainingsbereich des Modells (256K) überschreitet. Implementieren Sie die bereitgestellten Wiederholungs-Erkennungsmechanismen und erwägen Sie den Einsatz kontrastiver Suche während der Inferenz, um die Ausgabequalität zu erhalten. Für JSON-Extraktion neben Markdown nutzen Sie ReaderLM-v2, das Multi-Objective-Optimierung unterstützt.