reader-lm-0.5b

reader-lm-0.5b es un pequeño modelo de lenguaje de 494M parámetros especializado en convertir documentos HTML desordenados en Markdown limpio y estructurado. Aborda un cuello de botella crítico en las pipelines de datos modernas: transformar contenido web para el consumo de LLMs sin sistemas frágiles basados en reglas ni modelos grandes intensivos en recursos. Alcanza un procesamiento HTML de nivel profesional con una huella compacta, manejando documentos de hasta 256K tokens.

El modelo emplea una arquitectura decoder-only 'shallow-but-wide' optimizada específicamente para operaciones de copia selectiva en lugar de generación creativa de texto. Tiene 24 capas transformer con 896 dimensiones ocultas, 14 cabezas de consulta y 2 cabezas clave-valor (configuración GQA). El entrenamiento implicó dos etapas distintas: primero, entrenamiento en HTML más corto y simple (32K tokens) para aprender patrones básicos de conversión; segundo, entrenamiento en HTML complejo y real (128K tokens) para manejar casos difíciles con CSS en línea, scripts y estructuras DOM complejas. El modelo incorpora búsqueda contrastiva durante el entrenamiento e implementa un mecanismo de detección de repeticiones para prevenir problemas de degeneración como bucles de tokens. Un mecanismo de zigzag-ring-attention permite manejar secuencias extremadamente largas de hasta 256K tokens manteniendo un rendimiento estable.

El modelo logra una puntuación ROUGE-L de 0,56, indicando fuerte preservación de contenido, y mantiene una baja tasa de error de tokens de 0,34, mostrando mínima alucinación. En evaluaciones cualitativas sobre 22 fuentes HTML diversas (artículos de noticias, entradas de blog, páginas de comercio electrónico en múltiples idiomas), muestra fuerza particular en la preservación de estructura y el uso de sintaxis Markdown. Es especialmente fuerte en el manejo de páginas web modernas complejas donde CSS en línea y scripts pueden expandirse a cientos de miles de tokens — un escenario donde los enfoques tradicionales basados en reglas (BeautifulSoup, Readability) a menudo fallan. Puede requerir procesamiento adicional para páginas altamente dinámicas o cargadas de JavaScript donde el contenido se renderiza del lado del cliente.

El modelo funciona mejor con entrada HTML cruda y no requiere prefijos o instrucciones especiales. Para un rendimiento óptimo, implementa el mecanismo de detección de repeticiones proporcionado para prevenir bucles de tokens en la generación de salida. El modelo soporta múltiples idiomas y varias estructuras HTML, pero está diseñado específicamente para extracción de contenido y conversión a Markdown — no lo use para generación de texto, resumen o respuesta directa a preguntas. Disponible para despliegue en producción a través de AWS SageMaker y para experimentación a través de un notebook de Google Colab. Aunque el modelo maneja documentos de hasta 256K tokens, el procesamiento de entradas muy grandes puede requerir gestión adicional de memoria. Para cargas de producción se recomienda una GPU compatible con CUDA. Para mayor precisión, use reader-lm-1.5b o ReaderLM-v2. Para extracción de JSON, use ReaderLM-v2, que soporta optimización de multiobjetivo para salida en Markdown y JSON.