'플레이북' 다 넣지 마라, 토큰 7분의 1로

Hugging Face 블로그에서 IBM Research가 에이전트 학습법 'ALTK-Evolve'를 공개하며, 스탠퍼드·SambaNova의 화제작 ACE(Agentic Context Engineering)와 정면 비교했습니다. 두 방법 모두 에이전트가 자신의 실패에서 얻은 교훈을 '플레이북(playbook)'으로 쌓되, 그것을 뭉뚱그린 요약으로 압축하지 않는다는 철학은 같습니다. 갈리는 지점은 '언제 얼마나 꺼내 쓰느냐'입니다.

"ACE는 매 단계 플레이북 전체를 보내지만, 우리는 주어진 모델이 실제로 쓸 수 있는 만큼만 보낸다."IBM Research, Hugging Face

왜 중요한가

수치가 방법의 차이를 증명합니다. ACE는 매 스텝마다 플레이북 전체를 주입하는 반면, ALTK-Evolve는 과제와 모델 용량에 맞춰 가이드라인을 '선택적으로' 검색해 넣습니다. DeepSeek-V3.2에서 ALTK-Evolve는 과제당 26.3만 토큰으로 목표 달성률 89.3%를 냈는데, 이는 ACE(63.4만 토큰, 80.4%)의 40% 비용으로 더 높은 정확도입니다. gpt-oss-120b에서는 정확도를 비등하게(56.0% 대 54.8%) 유지하면서 토큰은 약 7분의 1(11.6만 대 77.7만)로 줄였습니다.

실무 적용

에이전트 메모리를 '전부 문맥에 붓는' 설계는 비용과 지연을 폭증시킵니다. 학습된 경험은 요약해 뭉개지 말되, 매 스텝 통째로 밀어넣는 대신 '지금 이 과제·이 모델에 필요한 조각만' 검색해 주입하는 것이 현실적입니다. 문맥창이 길어질수록 관련 없는 가이드라인은 노이즈가 되므로, 선택적 검색은 비용 절감을 넘어 정확도에도 유리할 수 있습니다.

교차 참고

• arXiv: Agentic Context Engineering — Evolving Contexts for Self-Improving Language Models — 비교 기준이 된 ACE 원 논문을 함께 봅니다.
• VentureBeat: ACE prevents context collapse with evolving playbooks — 플레이북 방식이 왜 주목받았는지 맥락을 보완합니다.

Wemeet의 관점

Wemeet은 에이전트 경쟁의 승부가 '무엇을 아느냐'에서 '필요한 것만 언제 꺼내느냐'로 옮겨간다고 봅니다. 모든 지식을 매번 문맥에 쏟아붓는 것은 값비싼 낭비입니다 — 요약으로 뭉개지도, 통째로 밀어넣지도 않는 '선택적 주입'이야말로 실전 에이전트의 절제된 실력입니다.