4비트 모델이 원본보다 더 정확해지다

Multiverse Computing이 Hugging Face에 'Quantization-Aware Healing(QAH)'이라는 모델 압축 기법을 공개했습니다. 보통 양자화는 학습을 마친 모델을 마지막에 저정밀도로 깎아내는 '손실 단계'로 여겨졌지만, QAH는 이를 원본 모델을 교사로 삼는 두 번째 증류 과정으로 재정의합니다 — 과제 손실로 다시 학습하지 않고, 압축 전 원본을 얼린 교사로 두고 KL 발산 증류만으로 4비트(MXFP4) 학생 모델을 '치유'합니다.

"이 4비트 모델은 자신이 양자화되기 전의 체크포인트보다 더 작고, 더 싸게 돌아가며, 더 정확하다."Multiverse Computing, Hugging Face

왜 중요한가

결과가 통념을 뒤집습니다 — GPT-OSS 120B를 60B로 압축하고 MXFP4 4비트로 양자화한 모델이, 자신의 bfloat16(16비트) 버전을 9개 벤치마크 중 7개에서 앞섰습니다. 긴 맥락 추론(AA-LCR)에서 +7.4, 수학(AIME 2025)에서 +5.6의 향상을 보였고, 표준 QAT가 약 700스텝 걸리는 최고 성능에 QAH는 약 100스텝 만에 도달했습니다. '작게 만들면 정확도를 잃는다'는 전제 자체가 흔들린 셈입니다.

실무 적용

가중치 메모리를 약 4배 줄이면서 정확도까지 지킨다는 것은, 대형 모델을 더 싼 GPU나 더 촘촘한 배치로 서빙할 여지를 넓힙니다. 추론 비용과 지연이 제품 원가를 좌우하는 팀이라면, 거대 모델을 그대로 얹기보다 이렇게 압축·치유된 체크포인트로 처리량을 확보하는 편이 현실적입니다. 다만 벤치마크 우위가 자사 과제에도 그대로 옮겨지는지는 직접 평가로 확인해야 합니다.

교차 참고

• Hugging Face: LFM2.5 Q4_0 Checkpoints from Quantization-Aware Distillation — 양자화를 학습 단계에 녹여 4비트 체크포인트의 품질을 지키는 또 다른 접근을 보여줍니다.
• Hugging Face: State of Open Models — Summer 2026 — 오픈 모델 생태계가 소형·효율 중심으로 확장되는 큰 그림을 짚습니다.

Wemeet의 관점

Wemeet은 모델 경쟁의 축이 '얼마나 큰가'에서 '얼마나 싸게, 정확히 돌아가는가'로 넘어가고 있다고 봅니다. 압축이 정확도를 깎는 대가가 아니라 오히려 성능을 끌어올릴 수 있다면, 온디바이스·저비용 서빙은 타협이 아니라 기본 선택지가 됩니다 — 효율을 설계로 다루는 팀이 제품의 체감 성능을 바꿉니다.