reader-lm-1.5b

reader-lm-1.5b는 1.54B 파라미터의 소형 언어 모델로, 복잡한 HTML 문서를 깔끔한 Markdown으로 변환하며, HTML에서 Markdown으로의 변환에서 GPT-4와 Gemini-1.5-Pro를 포함한 50배 큰 모델들을 능가합니다. 최대 256K 토큰 문서를 네이티브로 처리하여, 비용이 높은 청킹(chunking) 작업의 필요성을 제거합니다. 모델의 'shallow-but-wide' 아키텍처는 선택적 복사 작업에 최적화되어, 범용 LLM의 계산 오버헤드 없이 높은 정확도를 달성합니다.

모델은 'shallow-but-wide' 디코더 전용 아키텍처를 사용합니다: 28개 transformer 레이어, 12개 쿼리 헤드와 2개 키-값 헤드(GQA), 1536개의 은닉 차원, 8960개의 중간 차원. 이 구성은 더 깊은 모델이 항상 더 좋다는 기존 통념에 도전합니다 — HTML에서 Markdown으로의 선택적 복사 작업에서는 폭(레이어당 더 많은 파라미터)이 깊이(더 많은 레이어)보다 효과적입니다. 훈련은 두 단계를 거쳤습니다: (1) 기본 변환 패턴을 위한 짧고 단순한 HTML(32K 토큰), (2) 실제 세계의 복잡성을 위한 길고 어려운 HTML(128K 토큰). 지그재그 링 어텐션 메커니즘은 256K 토큰 처리를 가능하게 합니다. 대비 검색과 반복 감지는 퇴화와 토큰 루프와 같은 소형 LM의 공통 병리를 방지합니다.

모델은 ROUGE-L 0.72와 토큰 오류율 0.19를 달성하여, HTML에서 Markdown으로의 변환에서 GPT-4(ROUGE-L 0.43, TER 0.50)와 Gemini-1.5-Pro(ROUGE-L 0.42, TER 0.48)를 크게 능가합니다. 4개 핵심 차원 — 헤더 추출, 메인 콘텐츠 추출, 풍부한 구조 보존, Markdown 문법 사용 — 에 걸친 질적 평가는 뉴스 기사, 블로그 게시물, 랜딩 페이지, 포럼 게시물 등 다양한 문서 유형에서 일관된 높은 정확도를 보입니다. 모델은 영어, 독일어, 일본어, 중국어를 포함한 다국어를 처리합니다. 이 성능은 최대 256K 토큰 문서를 처리하는 동안 달성되며, 더 큰 모델이 일반적으로 필요로 하는 청킹 오버헤드를 제거합니다.

정확도와 효율성이 최우선인 복잡한 HTML 문서 처리에 이 모델을 사용하세요. 최적의 성능을 위해서는 CUDA 지원 GPU 인프라가 필요하지만, 범용 LLM보다 더 소박한 하드웨어에서 실행됩니다. AWS SageMaker와 Azure Marketplace를 통해 이용할 수 있습니다. 이 모델은 HTML에서 Markdown으로의 변환에 특화되어 최적화되었으며, 범용 텍스트 생성이나 다른 NLP 작업에는 적합하지 않습니다. 극도로 긴 문서(512K 토큰에 근접)를 처리할 경우, 모델의 훈련 범위(256K)를 초과하므로 성능이 저하될 수 있습니다. 출력 품질을 유지하기 위해 제공된 반복 감지 메커니즘을 구현하고, 추론 중 대비 검색 사용도 고려하세요. Markdown과 함께 JSON 추출에는 다중 목적 최적화를 지원하는 ReaderLM-v2를 사용하세요.