26억 파라미터로 '기기 위' 에이전트를

Liquid AI가 Hugging Face 블로그에서 온디바이스 에이전트를 겨냥한 소형 모델 'LFM2.5-2.6B'를 공개했습니다. 26억 파라미터에 불과하지만 약 4배 큰 모델과 견줄 성능을 내며, 명령 수행(instruction-following) 벤치마크에서 선두를 차지하고 도구 사용 과제에서도 대형 모델과 대등하다는 것이 핵심입니다. 무엇보다 클라우드가 아니라 노트북·휴대폰 위에서 직접 돌아가는 것을 목표로 설계됐습니다.

"이 모델들은 유능한 에이전트를 온전히 기기 위에서 구동하도록 설계됐다."Liquid AI, Hugging Face

왜 중요한가

수치가 흐름을 말해 줍니다. Apple M5 Max CPU에서 초당 약 220토큰, AMD Ryzen에서 약 113토큰을 생성하면서 메모리는 2.5GB 미만만 씁니다. 지도학습·교사 특화·다중 도메인 증류·에이전트 강화학습으로 이어지는 4단계 후처리를 거쳐, 작은 몸집으로도 실제 에이전트 하네스 안에서 도구를 다루도록 훈련됐습니다. 성능이 '모델 크기'가 아니라 '얼마나 잘 압축하고 정렬했는가'에서 나온다는 신호이자, 프라이버시와 비용 측면에서 클라우드 추론을 걷어낼 수 있다는 뜻입니다.

실무 적용

에이전트를 붙일 때 무조건 대형 클라우드 모델부터 떠올리지 말고, 기기에서 도는 소형 모델로 처리 가능한 구간을 먼저 가려내세요. 민감한 데이터를 다루거나 지연·비용이 중요한 기능이라면, 온디바이스 모델을 1차로 두고 정말 필요한 순간에만 대형 모델을 호출하는 하이브리드 설계가 합리적입니다.

교차 참고

• Hugging Face: LFM2.5-Encoders for Fast Long-Context Inference on CPU — 같은 계열의 CPU 효율 추론 흐름을 함께 봅니다.
• Hugging Face: GPU Management — 값비싼 가속기 의존을 줄이는 인프라 관점을 보완합니다.

Wemeet의 관점

Wemeet은 AI의 다음 승부처가 '가장 큰 모델'이 아니라 '내 기기에서 조용히 도는 충분히 좋은 모델'이라고 봅니다. 성능을 클라우드에만 의존하면 비용·프라이버시·지연이 발목을 잡습니다 — 진짜 실용적인 에이전트는 사용자 손안에서 완결될 때 비로소 일상이 됩니다.