LightOn, 코딩 에이전트 토큰 3분의 1 줄이는 검색 에이전트

프랑스 AI 기업 LightOn이 20억 파라미터 규모의 코드 검색 에이전트 ColGrep-Agent를 오픈 가중치로 공개했다. 코딩 어시스턴트가 저장소를 직접 뒤지는 대신 이 로컬 에이전트에 검색을 맡기면, 에이전트가 시맨틱 코드 검색 도구 ColGrep으로 후보를 찾고 파일을 열어 참조를 따라간 뒤 관련 위치와 코드 조각만 돌려준다. 저장소 내용을 외부 API로 보내지 않고 로컬에서 처리한다는 점도 특징이다.

"로컬 에이전트에 검색을 위임하자 grep 대비 API 토큰은 34%, 캐시를 고려한 API 비용은 40% 줄었고 정확도에는 통계적으로 유의한 변화가 없었다."LightOn, ColGrep-Agent 블로그

왜 중요한가

코딩 에이전트 비용의 상당 부분은 코드를 고치는 단계가 아니라 무엇을 고칠지 찾기 위해 파일을 읽는 단계에서 나온다. ColGrep-Agent는 코드 검색 질문에서 80.8% 정확도, SWE-bench Lite 파일 F1 76.18%를 기록해 10배 큰 모델과 견줄 만한 수준이라고 LightOn은 밝혔다. 비싼 상위 모델의 컨텍스트를 아끼는 보조 소형 모델이라는 역할 분담이 수치로 확인된 사례다.

실무 적용

Homebrew나 Cargo로 설치해 Claude Code, Codex, OpenCode 같은 도구에 붙일 수 있어 도입 장벽이 낮다. 규모가 큰 저장소에서 에이전트 비용이 부담된다면 탐색 단계를 로컬 모델로 분리하는 구성을 시험해 볼 만하다. 사내 코드를 외부로 덜 보내게 된다는 점은 보안 검토에서도 유리하게 작용한다.

교차 참고

• Hugging Face: Run fast, private agents on-device with LFM2.5-24B-A2B — 활성 파라미터 2B의 MoE 모델로 기기 안에서 에이전트를 돌리는 흐름을 보여 준다.
• Hugging Face: New in llama.cpp: Decision Models — 작은 로컬 모델에 빠른 판단을 맡기는 또 다른 방식이다.

Wemeet의 관점

Wemeet은 AI 개발 도구의 다음 경쟁이 모델 성능보다 "어떤 일을 어느 모델에 맡기는가"의 설계에 있다고 본다. 검색처럼 반복적이고 비용이 큰 단계를 작은 로컬 모델로 떼어 내는 접근은 비용·속도·보안을 한꺼번에 개선한다. 도입 전에는 자체 저장소에서 토큰 사용량을 직접 비교해 보는 것을 권한다.