reader-lm-1.5b

reader-lm-1.5b es un pequeño modelo de lenguaje de 1,54B parámetros que convierte documentos HTML complejos en Markdown limpio, superando a modelos 50× su tamaño incluyendo GPT-4 y Gemini-1.5-Pro en la conversión HTML-a-Markdown. Maneja documentos de hasta 256K tokens de forma nativa, eliminando la necesidad de operaciones de chunking costosas. La arquitectura 'shallow-but-wide' del modelo está optimizada para operaciones de copia selectiva, logrando alta precisión sin la sobrecarga computacional de los LLMs de propósito general.

El modelo emplea una arquitectura decoder-only 'shallow-but-wide': 28 capas transformer, 12 cabezas de consulta y 2 cabezas clave-valor (GQA), 1536 dimensiones ocultas y 8960 dimensiones intermedias. Esta configuración desafía la sabiduría convencional de que los modelos más profundos son siempre mejores — para tareas de copia selectiva como HTML-a-Markdown, el ancho (más parámetros por capa) es más efectivo que la profundidad (más capas). El entrenamiento siguió dos etapas: (1) HTML corto y simple (32K tokens) para patrones básicos de conversión, (2) HTML largo y difícil (128K tokens) para complejidad del mundo real. El mecanismo de zigzag-ring-attention permite el procesamiento de 256K tokens. La búsqueda contrastiva y la detección de repeticiones previenen patologías comunes de LMs pequeños como degeneración y bucles de tokens.

El modelo logra ROUGE-L de 0,72 y Token Error Rate de 0,19, superando significativamente a GPT-4 (0,43 ROUGE-L, 0,50 TER) y Gemini-1.5-Pro (0,42 ROUGE-L, 0,48 TER) en la conversión HTML-a-Markdown. Evaluaciones cualitativas en cuatro dimensiones clave — extracción de encabezados, extracción de contenido principal, preservación de estructura rica y uso de sintaxis Markdown — muestran alta precisión consistente en diversos tipos de documentos: artículos de noticias, entradas de blog, páginas de aterrizaje y publicaciones de foros. El modelo maneja múltiples idiomas, incluyendo inglés, alemán, japonés y chino. Este rendimiento se logra mientras se procesan documentos de hasta 256K tokens, eliminando el overhead de chunking que los modelos más grandes típicamente requieren.

Use este modelo para el procesamiento de documentos HTML complejos donde la precisión y la eficiencia son prioritarias. El rendimiento óptimo requiere infraestructura de GPU compatible con CUDA, pero se ejecuta en hardware más modesto que los LLMs de propósito general. Disponible a través de AWS SageMaker y Azure Marketplace. El modelo está específicamente optimizado para la conversión HTML-a-Markdown y no es adecuado para generación de texto de propósito general u otras tareas NLP. Al procesar documentos extremadamente largos (cercanos a 512K tokens), el rendimiento puede degradarse, ya que esto excede el rango de entrenamiento del modelo (256K). Implementa los mecanismos de detección de repeticiones proporcionados y considere usar búsqueda contrastiva durante la inferencia para mantener la calidad de la salida. Para extracción de JSON junto con Markdown, use ReaderLM-v2, que soporta optimización de multiobjetivo.