reader-lm-0.5b

reader-lm-0.5b 是一个 494M 参数的小型语言模型，专门将杂乱无章的 HTML 文档转换为干净、结构化的 Markdown。它解决了现代数据管道中的关键瓶颈：在不用脆弱的基于规则的系统或资源密集型大模型的情况下，将网页内容转换为 LLM 可消费的格式。它以紧凑的足迹实现专业级 HTML 处理，可处理多达 256K token 的文档。

该模型采用 'shallow-but-wide' decoder-only 架构，专为选择性复制操作而非创造性文本生成而优化。它具有 24 个 transformer 层、896 隐藏维度、14 个 query 头和 2 个 key-value 头（GQA 配置）。训练分为两个独立阶段：首先，在更短、更简单的 HTML（32K token）上训练以学习基本转换模式；其次，在复杂的真实世界 HTML（128K token）上训练以处理包含内联 CSS、脚本和复杂 DOM 结构的挑战性案例。模型在训练过程中结合了对比搜索，并实现了重复检测机制以防止 token 循环等退化问题。zigzag-ring-attention 机制使其能够以稳定的性能处理长达 256K token 的超长序列。

该模型取得 ROUGE-L 分数 0.56，表明强大的内容保留能力，并保持 0.34 的低 token 错误率，显示极少的幻觉。在跨越 22 个多样化 HTML 来源（多语言新闻文章、博客文章、电商页面）的定性评估中，它在结构保留和 Markdown 语法使用方面尤为出色。它擅长处理复杂的现代网页——内联 CSS 和脚本可能膨胀到数十万 token 的场景，而传统基于规则的方法（BeautifulSoup、Readability）往往在此失败。但对于高度动态或 JavaScript 重度、内容在客户端渲染的页面，它可能需要额外处理。

该模型最适合原始 HTML 输入，不需要特殊前缀或指令。为了最佳性能，请实现提供的重复检测机制以防止输出生成中的 token 循环。该模型支持多种语言和各类 HTML 结构，但专为内容提取和 Markdown 转换而设计——不要将其用于文本生成、摘要或直接问答。可通过 AWS SageMaker 用于生产部署，通过 Google Colab notebook 用于实验。虽然该模型可处理多达 256K token 的文档，但处理非常大的输入可能需要额外的内存管理。生产工作负载建议使用支持 CUDA 的 GPU。为了更高精度，请使用 reader-lm-1.5b 或 ReaderLM-v2。为了 JSON 提取，请使用支持 Markdown 和 JSON 输出双目标优化的 ReaderLM-v2。