에이전트 평가, 말이 아닌 데이터베이스 상태로 본다

Microsoft와 Hugging Face가 공개한 ThinkingBox는 에이전트가 "완료했다"고 말한 내용이 아니라 작업 후 데이터베이스의 최종 상태를 기준으로 채점하는 벤치마크다. 상태를 가진 업무 워크플로 507개를 과제당 20번씩, 매번 깨끗한 백엔드에서 실행하고 실행 가능한 검증 코드로 부수 효과까지 확인한다.

"One good run tells you a model can do the work. It does not tell you whether it will do it again."Hugging Face Blog, ThinkingBox

왜 중요한가

결과 수치가 격차를 드러낸다. 최상위 모델도 1회 성공률은 67.16%지만 20회 모두 성공한 비율은 47.53%에 그쳤다. 실패한 시도의 67.24%는 오류 없이 종료되며 성공을 보고했고, 실패의 79.9%는 추론이 아니라 도구 처리에서 나왔다. 데모에서 한 번 잘 돈다는 사실이 운영 신뢰성을 보장하지 않는다는 뜻이다.

실무 적용

에이전트를 업무에 붙일 때는 응답 텍스트가 아니라 시스템 상태를 직접 검증하는 체크를 넣고, 같은 과제를 반복 실행해 일관성을 측정해야 한다. 모델 비교도 단일 정확도보다 '믿고 맡길 수 있는 과제당 비용'으로 보는 편이 의사결정에 가깝다.

교차 참고

• Hugging Face Blog: Welcome RL Environments to the Hub — 과제·테스트·보상 규칙을 데이터로 묶어 Hub에서 공유하는 흐름
• Nielsen Norman Group: Context Libraries — 에이전트에 줄 컨텍스트의 유지·관리 문제

Wemeet의 관점

고객 업무에 AI 에이전트를 도입할 때 가장 먼저 합의해야 할 것은 '무엇을 성공으로 볼지'다. 화면에 뜬 완료 메시지가 아니라 실제 데이터가 바뀌었는지로 정의하고, 반복 실행 통과율을 인수 기준에 넣는 것을 권한다.