에이전트 메모리는 켜는 게 아니라 '조절'하는 것

IBM Research 팀이 Hugging Face 블로그에서, AI 에이전트에게 '스스로 축적한 메모리(자가 증류된 가이드라인)'를 얼마나 넣어야 성능이 좋아지는지를 실험으로 파헤쳤습니다. 결론은 통념을 뒤집습니다 — 메모리는 '많이 넣을수록 좋다'가 아니라, 모델의 역량 수준에 맞춰 정밀하게 조절해야 하는 대상이라는 것입니다. 같은 메모리라도 약한 모델에겐 약이 되고 강한 모델에겐 다른 처방이 필요합니다.

"에이전트 메모리는 켜고 끄는 기능이 아니라, 모델에 맞춰 조절하는 투여량이다."IBM Research, Hugging Face

왜 중요한가

실험은 모델을 세 부류로 나눠 결과를 드러냈습니다. 약한 모델(gpt-oss-120b)은 필요한 지식만 골라 넣는 '선별 검색'이 최적으로, 토큰을 5%만 더 쓰고도 과제 완수율이 16.1%포인트 뛰었습니다. 강한 모델(DeepSeek-V3.2)은 전체 가이드라인을 통째로 넣을 때 9.5%포인트 향상돼, 모든 교훈을 흡수할 여력이 있음을 보였습니다. 반면 이미 포화된 모델(GLM-5)은 메모리를 어떻게 구성하든 유의미한 개선이 없었습니다. '더 많은 맥락'이 늘 정답은 아니라는 뜻입니다.

실무 적용

에이전트를 만들 때 컨텍스트 창을 무작정 지식으로 채우는 것은 비용만 늘리고 성능은 정체시킬 수 있습니다. 대신 사용하는 모델의 역량 등급을 먼저 가늠하고, 약한 모델에는 상황에 맞는 소수의 가이드라인만 검색해 주입하고(더 싸고 더 정확), 강한 모델에는 전체 세트를 넣되 프롬프트 캐싱으로 운영 비용을 눌러야 합니다. 메모리 설계는 '얼마나 넣을까'가 아니라 '이 모델에 맞는 투여량은 얼마인가'라는 질문에서 출발해야 합니다.

교차 참고

• Hugging Face: Multi-Vector (Late Interaction) Embedding Models — 필요한 지식을 정확히 골라 검색하는 임베딩 기법을 배경으로 보완합니다.
• Hugging Face: State of Open Models Summer 2026 — 실무에서 실제로 쓰이는 모델은 작고 안정적이라는 관측과 맞닿아 있습니다.

Wemeet의 관점

Wemeet은 이 연구가 'AI 엔지니어링의 성숙 신호'라고 봅니다. 컨텍스트를 무한정 늘려 밀어 넣던 시대에서, 모델의 소화 능력에 맞춰 지식을 처방하는 시대로 넘어가는 것입니다 — 좋은 에이전트는 많이 아는 게 아니라, 지금 필요한 만큼만 정확히 아는 에이전트입니다.