웹 본문만 20배 싸게 추리는 AI

Hugging Face 블로그에 웹 페이지에서 본문만 골라내는 인코더 모델 Pulpie가 공개됐습니다. 웹 문서의 약 70%는 내비게이션·광고·사이드바·푸터 같은 군더더기(boilerplate)인데, 이 잡음은 언어 모델의 사전학습과 추론 품질을 모두 갉아먹습니다. Pulpie는 이 껍데기를 걷어내 깨끗한 본문만 남기는 일을, 기존 최상급 도구에 맞먹는 품질로 훨씬 싸고 빠르게 해냅니다.

"Pulpie는 20분의 1 비용으로 최상급 추출 품질에 근접한다."Hugging Face

왜 중요한가

수치가 인상적입니다. 2억 1천만 파라미터의 Pulpie Orange Small은 ROUGE-5 F1 0.862로, 6억 파라미터 경쟁 모델(0.864)과 사실상 동률입니다. 그러면서 L4 GPU에서 초당 13.7페이지를 처리해 경쟁 모델(0.68페이지)보다 약 20배 빠릅니다. 10억 페이지를 정제하는 비용이 약 15만 9천 달러에서 7,900달러 안팎으로 떨어집니다. 토큰을 하나씩 뱉는 디코더 대신, 블록을 한 번에 분류하는 인코더 구조를 택한 결과입니다.

실무 적용

‘더 큰 모델’이 늘 답은 아닙니다. 문서에서 본문 추출·분류·정제처럼 구조가 분명한 작업은 값비싼 생성형 모델보다 목적에 맞게 작게 설계한 인코더가 품질은 지키면서 비용을 한 자릿수로 줄일 수 있습니다. RAG나 데이터 파이프라인을 만들 때, 크롤링한 HTML을 통째로 LLM에 넣기 전에 이런 경량 정제 단계를 앞에 두면 토큰 비용과 잡음을 동시에 줄일 수 있습니다.

교차 참고

• Hugging Face: State of Open Source on Hugging Face, Spring 2026 — 오픈소스 모델·데이터 생태계가 어디로 가는지 큰 그림을 보완합니다.
• Google: DiffusionGemma, 4x faster text generation — 속도·비용을 앞세운 효율 우선 아키텍처의 또 다른 사례를 함께 보여줍니다.

Wemeet의 관점

AI 비용의 절반은 모델을 부르기 ‘전’에 결정됩니다. Wemeet은 AI 파이프라인을 설계할 때 값비싼 생성 모델에 모든 것을 맡기지 않고, 정제·분류 같은 정형 작업은 작고 빠른 전용 모델에 맡겨 품질과 비용을 동시에 잡는 구조를 우선합니다.