reader-lm-1.5b

reader-lm-1.5b 是一个 1.54B 参数的小型语言模型，将复杂的 HTML 文档转换为干净的 Markdown，在 HTML 到 Markdown 转换上超越了 50 倍于其大小的模型，包括 GPT-4 和 Gemini-1.5-Pro。它原生处理多达 256K token 的文档，消除了对昂贵分块操作的需求。该模型的 'shallow-but-wide' 架构为选择性复制操作而优化，在不承担通用 LLM 计算开销的情况下实现高准确率。

该模型采用 'shallow-but-wide' decoder-only 架构：28 个 transformer 层、12 个 query 头和 2 个 key-value 头（GQA）、1536 隐藏维度和 8960 中间维度。这一配置挑战了"更深的模型总是更好"的传统认知——对于 HTML 到 Markdown 这类选择性复制任务，宽度（每层更多参数）比深度（更多层）更有效。训练分两个阶段：(1) 短而简单的 HTML（32K token）用于基本转换模式，(2) 长而困难的 HTML（128K token）用于真实世界的复杂性。zigzag-ring-attention 机制实现 256K token 处理。对比搜索和重复检测防止小 LM 的常见病理，如退化和 token 循环。

该模型取得 ROUGE-L 0.72 和 Token Error Rate 0.19，在 HTML 到 Markdown 转换上显著超越 GPT-4（ROUGE-L 0.43，TER 0.50）和 Gemini-1.5-Pro（ROUGE-L 0.42，TER 0.48）。在四个关键维度——标题提取、主内容提取、富结构保留、Markdown 语法使用——上的定性评估显示，在新闻文章、博客文章、落地页和论坛帖子等多样化文档类型上始终保持高准确率。该模型处理包括英语、德语、日语和中文在内的多种语言。这一性能在处理多达 256K token 的文档时实现，消除了更大模型通常所需的分块开销。

对于以准确率和效率为首要目标的复杂 HTML 文档处理，请使用该模型。最佳性能需要支持 CUDA 的 GPU 基础设施，但它运行在比通用 LLM 要求更低的硬件上。可通过 AWS SageMaker 和 Azure Marketplace 获取。该模型专门为 HTML 到 Markdown 转换优化，不适合通用文本生成或其他 NLP 任务。处理极长文档（接近 512K token）时，由于超出模型的训练范围（256K），性能可能会下降。请实现提供的重复检测机制，并考虑在推理期间使用对比搜索以维持输出质量。为了与 Markdown 并行的 JSON 提取，请使用支持多目标优化的 ReaderLM-v2。