에이전트 RL, 뱉은 토큰 그대로 학습하라

Quentin Gallouédec와 Hugging Face 팀이 도구를 사용하는 에이전트를 강화학습(RL)으로 훈련할 때 흔히 놓치는 함정을 짚었습니다. 롤아웃 도중 대화를 다시 렌더링하면, 원래 모델이 샘플링했던 토큰과 다른 시퀀스가 만들어질 수 있습니다. 그러면 그래디언트가 정책이 실제로 생성한 적 없는 토큰을 겨냥하게 되고, 학습의 수학 자체가 깨집니다. 해법은 단순한 원칙 하나입니다 — 모델이 실제로 생성한 토큰만 학습에 쓰는 ‘Token-In, Token-Out(TITO)’.

"이미 디코딩한 토큰을 다시 인코딩하지 말라."Quentin Gallouédec, Hugging Face

왜 중요한가

숫자가 실현 가능성을 보여줍니다 — 테스트한 주요 오픈 가중치 모델 계열 19종 중 18종이 TITO 구현에 필요한 ‘접두어 보존(prefix-preservation)’ 성질을 만족했습니다. 즉 도구 응답을 이어 붙여도 앞선 토큰을 흐트러뜨리지 않고 시퀀스가 그대로 연장된다는 뜻입니다. 이 조건이 성립하면, 모델별로 대화 템플릿을 손으로 다시 구현하지 않고도 학습의 수학적 정합성을 지킬 수 있습니다. 재렌더링이 만들어내던 미묘한 버그가 원천에서 사라지는 셈입니다.

실무 적용

핵심 구현은 두 번의 템플릿 렌더 결과를 차분해 얻는 ‘도구 응답 델타(tool-response delta)’뿐입니다. 모델마다 전용 렌더러를 하드코딩할 필요 없이, 델타만 이어 붙여 정확성을 유지합니다. 에이전트형 RL 파이프라인을 직접 굴리는 팀이라면, 롤아웃과 학습 사이에서 토큰이 재인코딩되며 어긋나는지부터 점검하는 것이 안정적 수렴의 출발점입니다. 원인 모를 학습 붕괴의 상당수가 여기에서 비롯됩니다.

교차 참고

• Hugging Face: Deploy Local Agents Everywhere with LFM2.5-2.6B — 온디바이스로 에이전트를 배포하려는 흐름 속에서 학습 정합성이 왜 중요한지 맥락을 더합니다.
• Hugging Face: State of Open Models — Summer 2026 — 오픈 모델이 쏟아지는 만큼 ‘제대로 학습시키는 법’의 표준화가 왜 필요한지 큰 그림을 짚습니다.

Wemeet의 관점

Wemeet은 에이전트 시대의 실력이 화려한 데모가 아니라 ‘학습이 수학적으로 맞는가’라는 기본기에서 갈린다고 봅니다. 디코딩한 토큰을 그대로 학습에 쓰는 원칙 하나가, 모델별 땜질을 없애고 파이프라인을 단순하게 만듭니다 — 기본을 지키는 팀이 흔들리지 않는 에이전트를 훈련합니다.