reader-lm-0.5b

reader-lm-0.5b는 494M 파라미터의 소형 언어 모델로, 지저분한 HTML 문서를 깔끔하고 구조화된 Markdown으로 변환하는 데 특화되어 있습니다. 현대 데이터 파이프라인의 핵심 병목을 해결합니다: 취약한 규칙 기반 시스템이나 자원 집약적 대형 모델 없이 웹 콘텐츠를 LLM이 소비할 수 있는 형태로 변환하는 것입니다. 컴팩트한 푸트프린트로 프로페셔널급 HTML 처리를 달성하며, 최대 256K 토큰의 문서를 처리합니다.

모델은 창의적 텍스트 생성이 아닌 선택적 복사 작업에 특화되어 최적화된 'shallow-but-wide' 디코더 전용 아키텍처를 사용합니다. 24개 transformer 레이어, 896개의 은닉 차원, 14개 쿼리 헤드, 2개 키-값 헤드를 갖춘 GQA 구성입니다. 훈련은 두 가지 명확한 단계를 거쳤습니다: 먼저 더 짧고 단순한 HTML(32K 토큰)로 기본 변환 패턴을 학습하고, 다음으로 인라인 CSS, 스크립트, 복잡한 DOM 구조가 포함된 도전적인 케이스를 다루기 위해 복잡하고 실제 환경의 HTML(128K 토큰)로 훈련합니다. 모델은 훈련 중 대비 검색(contrastive search)을 통합하고, 토큰 루프와 같은 퇴화 문제를 방지하기 위한 반복 감지 메커니즘을 구현합니다. 지그재그 링 어텐션 메커니즘은 안정된 성능을 유지하면서 최대 256K 토큰의 극도로 긴 시퀀스 처리를 가능하게 합니다.

모델은 ROUGE-L 점수 0.56를 달성하여 강력한 콘텐츠 보존을 나타내며, 토큰 오류율을 0.34로 낮게 유지하여 최소한의 환각을 보여줍니다. 22개의 다양한 HTML 소스(다국어 뉴스 기사, 블로그 게시물, 이커머스 페이지)에 대한 질적 평가에서 구조 보존과 Markdown 문법 사용에 특유의 강점을 보입니다. 인라인 CSS와 스크립트가 수십만 토큰으로 팽창할 수 있는 복잡한 현대 웹 페이지 처리에서 특히 강하며, 전통적 규칙 기반 접근(BeautifulSoup, Readability)이 자주 실패하는 시나리오입니다. 다만, 콘텐츠가 클라이언트 측에서 렌더링되는 고도 동적 또는 JavaScript 중심의 페이지에는 추가 처리가 필요할 수 있습니다.

모델은 원시 HTML 입력과 가장 잘 동작하며, 특별한 접두사나 지침이 필요하지 않습니다. 최적의 성능을 위해 출력 생성 시 토큰 루프를 방지하는 제공된 반복 감지 메커니즘을 구현하세요. 모델은 여러 언어와 다양한 HTML 구조를 지원하지만, 콘텐츠 추출과 Markdown 변환을 위해 특별히 설계되었으므로, 텍스트 생성, 요약, 직접 질의응답에는 사용하지 마세요. AWS SageMaker를 통해 프로덕션 배포로, Google Colab 노트를 통해 실험으로 사용할 수 있습니다. 모델은 최대 256K 토큰 문서를 처리하지만, 매우 큰 입력의 처리에는 추가 메모리 관리가 필요할 수 있습니다. 프로덕션 워크로드에는 CUDA 지원 GPU를 권장합니다. 더 높은 정확도를 위해 reader-lm-1.5b 또는 ReaderLM-v2를 사용하세요. JSON 추출에는 Markdown과 JSON 양쪽 출력에 대한 다중 목적 최적화를 지원하는 ReaderLM-v2를 사용하세요.