파인튜닝 없이 에이전트를 키운다: ALTK-Evolve

IBM Research가 고객 서비스 에이전트 벤치마크 τ²-bench에서 '학습된 메모리' 방식인 ALTK-Evolve로 좋은 성적을 냈다고 밝혔다. 학습 과제를 풀어본 기록에서 행동 지침을 자동으로 추출해 시스템 프롬프트에 덧붙이는 구조라, 모델을 파인튜닝하지도 사람이 주석을 달지도 않는다.

"Learning guidelines around the model works across different base models."IBM Research

왜 중요한가

발표에 따르면 리테일에서 Pass^4 67.5%로 리더보드 1위였고, 파인튜닝된 RAFT-30B-A3B보다 6.1포인트 높았다. 항공 도메인에서는 GPT-5.5 기준 82.0%로 1위였다. 대가도 있다. 지침 때문에 입력 토큰이 리테일 65%, 항공 32% 늘지만 대화 턴은 약 0.3~0.4회 줄어 지연은 오히려 낮아진다고 한다.

실무 적용

에이전트 품질이 흔들릴 때 곧바로 파인튜닝을 떠올리기 전에, 실패·성공 로그에서 지침을 정리해 프롬프트로 환류하는 루프를 먼저 만들어볼 만하다. 모델을 바꿔도 지침 자산은 그대로 가져갈 수 있어 교체 비용이 낮다. 다만 토큰 증가분은 비용과 캐싱 전략에 반영해야 한다.

교차 참고

• Hugging Face: Training Agents — 에이전트를 후처리 학습으로 개선하는 커리큘럼을 정리해, 이번 '모델 밖 학습'과 대비해 볼 수 있다.
• IBM Research: ALTK-Evolve (HMM) — 같은 팀의 앞선 에이전트 메모리 연구다.

Wemeet의 관점

Wemeet은 클라이언트 서비스에 AI 에이전트를 붙일 때 '모델 선택'보다 '운영 지식의 축적'이 차이를 만든다고 본다. 지침을 문서처럼 읽고 고칠 수 있는 형태로 쌓으면 품질 개선 과정이 투명해지고, 고객사에도 무엇이 왜 바뀌었는지 설명하기 쉬워진다.