reader-lm-1.5b

reader-lm-1.5b は 1.54B パラメータの小型言語モデルで、複雑な HTML 文書をクリーンな Markdown に変換します。HTML から Markdown への変換において、GPT-4 や Gemini-1.5-Pro を含む 50 倍サイズのモデルを上回ります。最大 256K トークンの文書をネイティブに処理し、高コストのチャンキング操作の必要性を排除します。モデルの 'shallow-but-wide' アーキテクチャは選択的コピー操作に最適化されており、汎用 LLM の計算オーバーヘッドなしに高い精度を達成します。

このモデルは 'shallow-but-wide' の decoder-only アーキテクチャを採用しています：transformer レイヤー 28、クエリヘッド 12 とキーバリューヘッド 2（GQA）、隠れ次元 1536、中間次元 8960。この構成は、より深いモデルの方が常に優れるという従来の通説に挑戦します——HTML から Markdown への選択的コピータスクでは、幅（レイヤーあたりのパラメータ数が多いこと）が深さ（レイヤー数が多いこと）よりも効果的です。訓練は2段階を踏みました：(1) 基本的な変換パターン用の短いシンプルな HTML（32K トークン）、(2) 実世界の複雑さ用の長い困難な HTML（128K トークン）。ジグザグリングアテンション機構により 256K トークンの処理を可能にします。コントラストサーチと繰り返し検出により、デジェネレーションやトークンループのような小規模 LM に共通する病理を防止します。

モデルは ROUGE-L 0.72 と Token Error Rate 0.19 を達成し、HTML から Markdown への変換において GPT-4（ROUGE-L 0.43、TER 0.50）と Gemini-1.5-Pro（ROUGE-L 0.42、TER 0.48）を大きく上回ります。4 つの主要次元——ヘッダー抽出、メインコンテンツ抽出、リッチな構造保持、Markdown 構文の使用——にわたる定性的評価では、ニュース記事、ブログ記事、ランディングページ、フォーラム投稿という多様な文書タイプで一貫して高い精度を示します。モデルは英語、ドイツ語、日本語、中国語を含む多言語を処理します。この性能は最大 256K トークンの文書を処理しながら達成され、より大きなモデルが通常必要とするチャンキングのオーバーヘッドを排除しています。

このモデルは、精度と効率が最優先の複雑な HTML 文書処理に使用してください。最適な性能には CUDA 対応 GPU インフラストラクチャが必要ですが、汎用 LLM よりも控えめなハードウェアで動作します。AWS SageMaker と Azure Marketplace 経由で利用可能です。このモデルは HTML から Markdown への変換に特化して最適化されており、汎用テキスト生成やその他の NLP タスクには適していません。極めて長い文書（512K トークンに迫る長さ）を処理する場合、これはモデルの訓練範囲（256K）を超えるため、性能が低下する可能性があります。出力品質を維持するため、提供された繰り返し検出機構を実装し、推論中のコントラストサーチの使用を検討してください。Markdown と並ぶ JSON 抽出には、多目的最適化をサポートする ReaderLM-v2 を使用してください。