8MB 검색 모델, 위키피디아 7분에 임베딩

Hugging Face 블로그에서 Erik Kaunismäki가 '정적 임베딩(static embedding)' 검색 모델 'Lattice'를 공개했습니다. 트랜스포머의 문맥 이해를 포기하는 대신 토큰화 → 어휘 조회 → 평균 풀링이라는 단순한 세 단계로만 동작하는데, 놀랍게도 8MB도 안 되는 크기로 실용적인 검색 성능을 낸다는 것이 핵심입니다.

"이 시스템은 강력한 트랜스포머 검색기를 대체하지 않는다 — 거의 어디에나 실을 수 있는, 작고 매우 빠른 1차 검색 모델이다."Erik Kaunismäki, Hugging Face

왜 중요한가

수치가 흐름을 말해 줍니다. int4 양자화로 약 7.94MB까지 줄인 모델이 애플 M2 맥북에어에서 초당 950만 토큰을 처리하며, 영어 위키피디아 640만 문서 전체를 7분 26초 만에 임베딩합니다. 성능도 장난이 아닙니다 — 오염을 걸러낸 BEIR 벤치마크에서 하드 네거티브 미세조정 후 NDCG@10 0.4749를 기록했는데, 이는 참조 모델의 8배인 6.6억 쌍으로 학습해 얻은 결과입니다. '정적 모델은 현대 학습 기법의 이득을 못 본다'는 통념을 데이터 규모로 뒤집은 셈입니다.

실무 적용

검색·RAG를 붙일 때 무조건 무거운 트랜스포머 임베더부터 떠올리지 마세요. Lattice 같은 정적 모델을 1차 후보 선별(first-stage retrieval)에 두어 값싸고 빠르게 후보를 좁힌 뒤, 정말 정밀도가 필요한 구간에서만 강력한 리랭커를 호출하는 2단 구조가 비용·지연 측면에서 합리적입니다. 어텐션이 없어 CPU·엣지·브라우저 어디서든 돌릴 수 있다는 점도 온디바이스 검색에 매력적입니다.

교차 참고

• Hugging Face: jina-reranker-v3.5 — Faster Listwise Reranking — 1차 검색 뒤에 붙는 리랭킹 단계의 최신 흐름을 함께 봅니다.
• Hugging Face: mDenseOn with the mLateOn — Open Multilingual Retrieval Models — 다국어·긴 문맥 검색 모델이라는 다른 축의 접근을 보완합니다.

Wemeet의 관점

Wemeet은 AI 인프라의 승부가 '가장 똑똑한 모델'이 아니라 '적재적소의 모델 조합'에서 갈린다고 봅니다. 8MB 모델이 위키피디아를 몇 분에 삼키는 시대라면, 모든 걸 대형 모델에 맡기는 설계는 낭비입니다 — 값싼 1차 검색과 정밀 리랭킹을 나눠 쓰는 절제된 파이프라인이 진짜 실력입니다.