reader-lm-0.5b

reader-lm-0.5b 是一個 494M 參數的小型語言模型，專門將雜亂無章的 HTML 文件轉換為乾淨、結構化的 Markdown。它解決了現代數據管線中的關鍵瓶頸：在不用脆弱的基於規則的系統或資源密集型大型模型的情況下，將網頁內容轉換為 LLM 可消費的格式。它以緊湊的足跡實現專業級 HTML 處理，可處理多達 256K token 的文件。

該模型採用 'shallow-but-wide' decoder-only 架構，專為選擇性複製操作而非創造性文本生成而最佳化。它具有 24 個 transformer 層、896 隱藏維度、14 個 query 頭和 2 個 key-value 頭（GQA 配置）。訓練分為兩個獨立階段：首先，在更短、更簡單的 HTML（32K token）上訓練以學習基本轉換模式；其次，在複雜的真實世界 HTML（128K token）上訓練以處理包含內嵌 CSS、腳本和複雜 DOM 結構的挑戰性案例。模型在訓練過程中結合了對比搜尋，並實現了重複偵測機制以防止 token 迴圈等退化問題。zigzag-ring-attention 機制使其能夠以穩定的效能處理長達 256K token 的超長序列。

該模型取得 ROUGE-L 分數 0.56，表明強大的內容保留能力，並保持 0.34 的低 token 錯誤率，顯示極少的幻覺。在跨越 22 個多樣化 HTML 來源（多語言新聞文章、部落格文章、電商頁面）的定性評估中，它在結構保留和 Markdown 語法使用方面尤為出色。它擅長處理複雜的現代網頁——內嵌 CSS 和腳本可能膨脹到數十萬 token 的場景，而傳統基於規則的方法（BeautifulSoup、Readability）往往在此失敗。但對於高度動態或 JavaScript 重度、內容在客戶端渲染的頁面，它可能需要額外處理。

該模型最適合原始 HTML 輸入，不需要特殊前綴或指令。為了最佳效能，請實現提供的重複偵測機制以防止輸出產生中的 token 迴圈。該模型支援多種語言和各種 HTML 結構，但專為內容提取和 Markdown 轉換而設計——不要將其用於文本產生、摘要或直接問答。可透過 AWS SageMaker 用於生產部署，透過 Google Colab notebook 用於實驗。雖然該模型可處理多達 256K token 的文件，但處理非常大的輸入可能需要額外的記憶體管理。生產工作負載建議使用支援 CUDA 的 GPU。為了更高精度，請使用 reader-lm-1.5b 或 ReaderLM-v2。為了 JSON 提取，請使用支援 Markdown 和 JSON 輸出雙目標最佳化的 ReaderLM-v2。