NVIDIA Nemotron 3.5, 에이전트용 검색 모델 5종 공개

NVIDIA가 Hugging Face에서 Nemotron 3.5 검색 모델군을 공개했다. 임베딩 8B와 1B(BF16, NVFP4 양자화 포함), 리랭커 8B, 6.3억 파라미터의 문서 파싱 모델 Parse로 구성된다. 텍스트와 표·차트 이미지를 함께 다루는 멀티모달 검색이며 34개 언어로 검증됐다.

"Better retrieval can help agents reach grounded answers with fewer wasted tokens."NVIDIA (Hugging Face 블로그)

왜 중요한가

NVIDIA에 따르면 ViDoRe v3.1에서 임베딩 8B는 nDCG@10 61.17, 리랭커 8B는 60.49로 각 부문 1위이고, Parse는 1B 미만 모델 중 ParseBench 75.20점으로 H100에서 초당 10.5페이지를 처리한다. 눈에 띄는 대목은 리랭킹을 더하면 정확도가 오르는 동시에 에이전트의 토큰 비용이 약 13~14% 줄었다는 점이다. 검색 품질이 곧 에이전트의 운영비라는 뜻이다.

실무 적용

사내 문서 검색이나 챗봇을 만든다면 LLM을 키우기 전에 파싱, 임베딩, 리랭크 단계부터 점검하는 편이 싸다. 1B 임베딩과 NVFP4 버전은 작은 GPU에서도 시험해 볼 만하다. 다만 벤치마크는 제공사 발표 수치이므로 우리 문서와 한국어 질의로 직접 평가한 뒤 도입을 결정해야 한다.

교차 참고

• Hugging Face: SlideOn & mSlideOn — 희소화된 late-interaction 검색기와 밀집 검색기
• Hugging Face: UltraBERT — 분류와 검색을 한 인코더로 처리하는 접근

Wemeet의 관점

Wemeet은 AI 기능 의뢰를 받으면 모델 선택보다 데이터가 어떻게 들어오고 찾아지는지를 먼저 묻는다. 이번 발표는 그 순서가 비용 면에서도 맞다는 근거를 하나 더해 준다. 화려한 에이전트 데모 뒤에는 대개 단단한 검색 파이프라인이 있다.