4비트로 줄여도 성능 97%, 양자화 증류

Liquid AI가 '양자화 인지 증류(QAD, Quantization-Aware Distillation)'로 학습한 LFM2.5 소형 모델 4종의 4비트 체크포인트를 Hugging Face에 공개했습니다. 보통 모델을 4비트로 압축하면 성능이 눈에 띄게 떨어지지만, 이번 방식은 고정밀 교사 모델이 압축된 학생 모델에 지식을 그대로 전수하도록 학습 단계에서 양자화를 미리 반영합니다. 그 결과 4비트에서도 원본 성능의 97% 안팎을 지켜냈습니다.

"양자화 인지 증류 체크포인트는 BF16 기준 평균 정확도의 97%를 유지한다."Liquid AI, Hugging Face

왜 중요한가

공개된 모델은 LFM2.5-230M·350M·1.2B-Instruct·2.6B 네 가지로, 모두 4비트(Q4_0)로 압축됐습니다. 추론·지시 수행·도구 사용 벤치마크에서 BF16 원본 대비 96.5~97.4%의 성능을 유지했고, 디코딩 처리량은 Q5_K_M·Q4_K_M 같은 상위 양자화보다 3~33% 빨랐습니다. 핵심은 '작게 만들면서 덜 잃는' 방법이 성숙했다는 점입니다 — 압축은 더 이상 성능을 포기하는 타협이 아니라, 설계 단계에서 관리하는 변수로 바뀌고 있습니다.

실무 적용

이 모델들은 라즈베리파이 5, 갤럭시 S26 울트라, 미니 PC 같은 소비자·엣지 하드웨어에서 곧바로 돌아가도록 겨냥됐습니다. 온디바이스 AI를 검토하는 팀에게 시사점은 분명합니다 — 클라우드 API 대신 기기 안에서 추론을 돌리면 지연·비용·프라이버시를 동시에 잡을 수 있고, QAD 덕분에 그 대가로 치르던 정확도 손실도 크게 줄었습니다. 모델을 고를 때 파라미터 규모뿐 아니라 '어떤 양자화로 어디까지 성능을 지켰는가'를 함께 봐야 합니다.

교차 참고

• Hugging Face: State of Open Models Summer 2026 — 실무 다운로드의 대부분이 작은 모델에서 나온다는 관측과 맞닿아 있습니다.
• Hugging Face: Best Open-Source LLM Models in 2026 — 로컬·에이전트 용도의 오픈 모델 선택 기준을 보완합니다.

Wemeet의 관점

Wemeet은 이 발표가 'AI의 무게중심이 데이터센터에서 손안으로 옮겨가는 신호'라고 봅니다. 더 큰 모델을 향한 경쟁 옆에서, 더 작고 더 싸게 같은 일을 해내는 압축 기술이 조용히 판을 바꾸고 있습니다 — 진짜 보급은 가장 똑똑한 모델이 아니라, 내 기기에서 무료로 돌아가는 모델에서 시작됩니다.