Meta, 816B 멀티모달 오픈 모델 공개

Meta가 오픈 웨이트 멀티모달 MoE 모델 'Muse Spark Open'을 공개했고, Hugging Face가 transformers·llama.cpp·vLLM·SGLang·MLX 등 생태계 지원과 함께 이를 소개했다. 전체 약 8,160억 파라미터 중 토큰당 약 420억 개만 활성화되는 구조로, 텍스트·이미지·오디오·비디오를 입력받아 텍스트를 생성하며 최대 100만 토큰 컨텍스트를 지원한다. BF16 체크포인트는 약 1.5TB이고, 엔비디아 Blackwell용 NVFP4 4비트 버전도 함께 나왔다.

"Meta는 Muse Spark Open을 에이전트형 코딩, 즉 코드베이스를 읽고 코드를 작성·디버깅하며 도구를 호출하는 용도로 훈련했다."Hugging Face Blog

왜 중요한가

프런티어급 규모의 멀티모달 모델이 오픈 웨이트로 풀리면서, 기업이 자체 인프라에서 코딩 에이전트와 멀티모달 분석을 운영할 선택지가 한층 넓어졌다. 레이어당 256개 전문가 중 8개만 고르는 설계라 활성 연산량은 크기에 비해 작고, 양자화 버전은 M3 Ultra 맥에서 초당 18~21토큰 수준으로 돌아간다고 소개됐다. 같은 주에 다른 대형 오픈 MoE 모델도 잇따라 나와, '에이전트용 오픈 모델' 경쟁이 본격화되는 흐름이다.

실무 적용

당장 이 규모를 직접 호스팅하기는 어렵지만, Inference Endpoints용 SGLang 레시피와 TRL 기반 LoRA 미세조정 예제가 함께 제공돼 사내 데이터에 맞춘 실험의 진입 장벽은 낮아졌다. 1M 컨텍스트에 이미지·영상까지 넣을 수 있으니, 웹사이트 QA 화면 녹화나 디자인 시안 묶음을 한 번에 분석하는 파이프라인을 검토해 볼 만하다. 도입 전에는 라이선스 조건과 GPU 비용을 상용 API 단가와 반드시 비교해야 한다.

교차 참고

• Hugging Face Blog: Welcome Beam: a 501B open model you can own, customize, and scale — Reflection AI의 501B(활성 23B) Apache 2.0 MoE 모델로, 역시 코딩·에이전트 작업과 1M 컨텍스트를 겨냥했다.

Wemeet의 관점

Wemeet은 오픈 모델의 크기 경쟁보다 '어디서 돌릴 수 있느냐'에 주목한다. 고객 데이터를 외부 API로 보내기 어려운 프로젝트에서는 이런 모델이 현실적인 대안이 되지만, 대부분의 웹 서비스에는 작은 모델을 미세조정하는 편이 비용 대비 효과가 크다. 결국 중요한 것은 모델 선택보다 작업을 잘게 나누고 평가 기준을 먼저 세우는 설계 역량이다.