reader-lm-0.5b

reader-lm-0.5b は 494M パラメータの小型言語モデルで、乱雑な HTML 文書をクリーンで構造化された Markdown への変換に特化しています。モダンなデータパイプラインにおける重要なボトルネック——脆いルールベースシステムやリソース集約型の大型モデルを用いずに Web コンテンツを LLM が消費できる形式へ変換すること——に対応します。コンパクトなフットプリントでプロフェッショナル品質の HTML 処理を実現し、最大 256K トークンの文書を扱えます。

このモデルは、創造的なテキスト生成ではなく選択的コピー操作に特化して最適化された 'shallow-but-wide' の decoder-only アーキテクチャを採用しています。transformer レイヤー 24、隠れ次元 896、クエリヘッド 14、キーバリューヘッド 2（GQA 構成）を備えます。訓練は2つの明確な段階から成ります：まず、より短くシンプルな HTML（32K トークン）で訓練して基本的な変換パターンを学習；次に、インライン CSS、スクリプト、複雑な DOM 構造を含む困難なケースに対応するため、複雑で実世界の HTML（128K トークン）で訓練します。モデルは訓練中にコントラストサーチを組み込み、トークンループのようなデジェネレーション問題を防止するための繰り返し検出機構を実装しています。ジグザグリングアテンション機構により、安定した性能を維持しながら最大 256K トークンの極めて長いシーケンスの処理を可能にします。

モデルは ROUGE-L スコア 0.56 を達成し、強力なコンテンツ保持を示し、トークンエラー率を 0.34 と低く保ち、ハルシネーションが少ないことを示しています。22 の多彩な HTML ソース（多言語のニュース記事、ブログ記事、EC ページ）にわたる定性的評価では、構造保持と Markdown 構文の使用に特に強みを見せています。インライン CSS やスクリプトが数十万トークンに膨らむ複雑な現代 Web ページの処理に優れており、従来のルールベース手法（BeautifulSoup、Readability）が頻繁に失敗するシナリオです。ただし、コンテンツがクライアントサイドでレンダリングされる高度に動的な JavaScript 中心のページには、追加の処理が必要になる場合があります。

このモデルは生の HTML 入力と相性が良く、特別なプレフィックスや指示は不要です。最適な性能のため、出力生成時のトークンループを防止する提供された繰り返し検出機構を実装してください。モデルは多言語とさまざまな HTML 構造をサポートしますが、コンテンツ抽出と Markdown 変換に特化して設計されており、テキスト生成、要約、直接的な質問応答には使用しないでください。本番デプロイには AWS SageMaker 経由で、実験には Google Colab ノートブック経由で利用可能です。モデルは最大 256K トークンの文書を処理しますが、非常に大きな入力の処理には追加のメモリ管理が必要になる場合があります。本番ワークロードには CUDA 対応 GPU を推奨します。より高い精度が必要なら reader-lm-1.5b または ReaderLM-v2 を使用してください。JSON 抽出には、Markdown と JSON の両方の出力に対する多目的最適化をサポートする ReaderLM-v2 を使用してください。