reader-lm-0.5b

reader-lm-0.5b — небольшая языковая модель на 494M параметров, специализированная на преобразовании неаккуратных HTML-документов в чистый структурированный Markdown. Она устраняет критическое узкое место в современных конвейерах данных: преобразование веб-контента для потребления LLM без хрупких систем на основе правил и ресурсоёмких больших моделей. Модель обеспечивает профессиональную обработку HTML при компактном размере, обрабатывая документы до 256K токенов.

Модель использует 'shallow-but-wide' decoder-only архитектуру, оптимизированную специально для операций выборочного копирования, а не для креативной генерации текста. Она имеет 24 слоя трансформера со 896 скрытыми размерностями, 14 query-головок и 2 key-value головки (конфигурация GQA). Обучение включало два различных этапа: сначала — обучение на более коротком и простом HTML (32K токенов) для освоения базовых паттернов конвертации; затем — обучение на сложном реальном HTML (128K токенов) для обработки сложных случаев с inline CSS, скриптами и сложными DOM-структурами. Модель включает контрастивный поиск во время обучения и реализует механизм обнаружения повторений, предотвращающий проблемы дегенерации, такие как циклы токенов. Механизм zigzag-ring-attention позволяет обрабатывать экстремально длинные последовательности до 256K токенов, сохраняя стабильную производительность.

Модель достигает ROUGE-L балла 0,56, что указывает на сильное сохранение контента, и поддерживает низкую долю ошибок токенов 0,34, демонстрируя минимальные галлюцинации. В качественных оценках по 22 разнообразным HTML-источникам (новостные статьи, блог-посты, e-commerce страницы на нескольких языках) она показывает особую силу в сохранении структуры и использовании синтаксиса Markdown. Она особенно сильна в обработке сложных современных веб-страниц, где inline CSS и скрипты могут разрастаться до сотен тысяч токенов — сценарий, где традиционные подходы на основе правил (BeautifulSoup, Readability) часто проваливаются. Для высокодинамичных или JavaScript-тяжёлых страниц, где контент рендерится на клиенте, может потребоваться дополнительная обработка.

Модель лучше всего работает с «сырым» HTML-входом и не требует специальных префиксов или инструкций. Для оптимальной производительности реализуйте предоставленный механизм обнаружения повторений, предотвращающий циклы токенов при генерации вывода. Модель поддерживает несколько языков и различные HTML-структуры, но спроектирована специально для извлечения контента и конвертации в Markdown — не используйте её для генерации текста, суммаризации или прямого ответа на вопросы. Доступна для продакшн-развёртывания через AWS SageMaker и для экспериментов через ноутбук Google Colab. Хотя модель обрабатывает документы до 256K токенов, обработка очень больших входов может потребовать дополнительного управления памятью. Для продакшн-нагрузок рекомендуется CUDA-GPU. Для повышенной точности используйте reader-lm-1.5b или ReaderLM-v2. Для извлечения JSON используйте ReaderLM-v2, поддерживающий многокритериальную оптимизацию для вывода в Markdown и JSON.