reader-lm-1.5b

reader-lm-1.5b — небольшая языковая модель на 1,54B параметров, превращающая сложные HTML-документы в чистый Markdown и превосходящая модели размером в 50× больше её, включая GPT-4 и Gemini-1.5-Pro, в конвертации HTML в Markdown. Она нативно обрабатывает документы до 256K токенов, устраняя необходимость в дорогих операциях чанкинга. 'Shallow-but-wide' архитектура модели оптимизирована для операций выборочного копирования, достигая высокой точности без вычислительного оверхеда универсальных LLM.

Модель использует 'shallow-but-wide' decoder-only архитектуру: 28 слоёв трансформера, 12 query-головок и 2 key-value головки (GQA), 1536 скрытых размерностей и 8960 промежуточных размерностей. Эта конфигурация бросает вызов устоявшемуся представлению, что более глубокие модели всегда лучше — для задач выборочного копирования, таких как HTML в Markdown, ширина (больше параметров на слой) эффективнее, чем глубина (больше слоёв). Обучение прошло в два этапа: (1) короткий и простой HTML (32K токенов) для базовых паттернов конвертации, (2) длинный и сложный HTML (128K токенов) для реальной сложности. Механизм zigzag-ring-attention позволяет обрабатывать 256K токенов. Контрастивный поиск и обнаружение повторений предотвращают типичные патологии малых LM, такие как дегенерация и циклы токенов.

Модель достигает ROUGE-L 0,72 и Token Error Rate 0,19, значительно превосходя GPT-4 (0,43 ROUGE-L, 0,50 TER) и Gemini-1.5-Pro (0,42 ROUGE-L, 0,48 TER) в конвертации HTML в Markdown. Качественные оценки по четырём ключевым измерениям — извлечение заголовков, извлечение основного контента, сохранение богатой структуры, использование синтаксиса Markdown — показывают последовательно высокую точность на разнообразных типах документов: новостные статьи, блог-посты, landing pages и форумные посты. Модель обрабатывает несколько языков, включая английский, немецкий, японский и китайский. Эта производительность достигается при обработке документов до 256K токенов, устраняя оверхед чанкинга, который обычно требуется более крупным моделям.

Используйте эту модель для обработки сложных HTML-документов, где точность и эффективность первостепенны. Для оптимальной производительности требуется CUDA-GPU инфраструктура, но модель работает на более скромном оборудовании, чем универсальные LLM. Доступна через AWS SageMaker и Azure Marketplace. Модель специально оптимизирована для конвертации HTML в Markdown и не подходит для универсальной генерации текста или других NLP-задач. При обработке экстремально длинных документов (близко к 512K токенов) производительность может деградировать, поскольку это выходит за пределы обучающего диапазона модели (256K). Реализуйте предоставленные механизмы обнаружения повторений и рассмотрите использование контрастивного поиска во время инференса для поддержания качества вывода. Для извлечения JSON наряду с Markdown используйте ReaderLM-v2, поддерживающий многокритериальную оптимизацию.