설정 두 개로 AI 추론 점수 3배

OpenAI가 에이전트의 추론 능력을 재는 벤치마크 'ARC-AGI-3'에서 흥미로운 실험을 공개했습니다. ARC-AGI-3는 에이전트가 설명 없이 처음 보는 2D 게임을 탐험하며 규칙을 스스로 추론하게 하는 과제인데, 모델을 바꾸지 않고 API 설정 두 개 — '유지된 추론(retained reasoning)'과 '압축(compaction)' — 만 켰더니 GPT-5.6 Sol의 공개 세트 점수가 13.3%에서 38.3%로 약 세 배가 되고, 출력 토큰은 6분의 1로 줄었습니다.

"두 개의 설정 — 유지된 추론과 압축 — 을 켜는 것만으로 점수는 세 배가 되고 출력 토큰은 6분의 1로 줄었다."OpenAI

왜 중요한가

인간 평균 48%에 비하면 여전히 낮은 수치지만, 핵심은 '같은 모델·같은 문제'에서 결과가 크게 달라졌다는 점입니다. 여러 스텝에 걸쳐 시행착오하는 에이전트 과제에서는 앞선 추론을 버리지 않고 이어가고(유지), 불어나는 문맥을 압축해 재사용하는 것만으로 더 오래·더 싸게 사고할 수 있습니다. 성능이 '더 큰 모델'이 아니라 '추론을 어떻게 운영하느냐'에서 나온다는 신호입니다.

실무 적용

에이전트를 붙일 때 모델 업그레이드에만 기대지 말고, 추론 상태 유지와 문맥 압축 같은 런타임 설정부터 튜닝하세요. 토큰을 6배 아끼면서 정확도가 오르는 구간이 실제로 존재하므로, 설정 조합을 자체 벤치마크로 실측해 비용과 성능을 동시에 최적화하는 편이 합리적입니다.

교차 참고

• OpenAI: Advancing the price-performance frontier with GPT-5.6 — 이번 실험에 쓰인 모델의 가격·성능 개선 흐름을 함께 봅니다.
• OpenAI: Ten advances in mathematics and theoretical computer science — 모델의 추론 능력이 어디까지 확장되는지 보완합니다.

Wemeet의 관점

Wemeet은 AI의 다음 경쟁이 '모델 크기'가 아니라 '추론을 운영하는 방식'에서 갈린다고 봅니다. 같은 엔진이라도 문맥을 어떻게 이어가고 압축하느냐에 따라 결과가 세 배로 벌어진다면, 진짜 실력은 프롬프트 한 줄이 아니라 추론 파이프라인 설계에서 나옵니다.