디퓨전으로 4배 빨라진 DiffusionGemma

Google이 텍스트 디퓨전(text diffusion) 방식으로 생성 속도를 끌어올린 실험적 오픈 모델 DiffusionGemma를 공개했습니다. 단어를 하나씩 이어 붙이는 기존 자기회귀 방식과 달리 256토큰 블록을 한 번의 순전파로 병렬 생성해, GPU 기준 최대 4배 빠른 속도를 냅니다. 총 26B 파라미터의 Mixture-of-Experts 구조로 추론 시에는 3.8B만 활성화되며, 라이선스는 상업 활용이 자유로운 Apache 2.0입니다.

"단어를 순차적으로 예측하는 대신, 256토큰 분량의 문단 전체를 동시에 초안으로 그려낸다."Google

왜 중요한가

수치가 구체적입니다. NVIDIA H100에서 초당 1,000토큰 이상, 소비자용 RTX 5090에서도 초당 700토큰 이상을 기록했고, 양자화하면 18GB VRAM에 올라갑니다. 고급 소비자 GPU에서 돌아가는 디퓨전 LM이 정식 오픈 모델로 나왔다는 뜻입니다. 또 양방향 어텐션 덕분에 코드 인필링(infilling)이나 문장 중간 편집처럼 앞뒤 맥락을 동시에 보는 비선형 텍스트 작업이 가능해, 자기회귀 모델과는 다른 사용처가 열립니다.

실무 적용

주의할 트레이드오프도 분명합니다. 출력 품질은 표준 Gemma 4보다 낮아, 최종 문서 생성보다는 속도가 체감 품질을 좌우하는 자동완성·초안 작성·실시간 인라인 편집 같은 인터랙티브 워크플로에 맞습니다. 반복적 자기수정(refinement) 특성을 활용해 빠른 초안은 DiffusionGemma로, 최종 다듬기는 고품질 자기회귀 모델로 나누는 이원 구성이 현실적인 도입 경로입니다.

교차 참고

• Google: Interactions API — our primary interface for Gemini models and agents — Gemini 모델과 에이전트를 아우르는 기본 인터페이스의 정식 출시(GA) 소식입니다.
• Hugging Face: Does Your LLM Know When It's About to Be Wrong? — LLM이 스스로 오류 가능성을 감지할 수 있는지 다룬 메타인지 실험 글입니다.

Wemeet의 관점

생성 속도는 성능 지표가 아니라 UX 재료입니다. 초당 1,000토큰이면 ‘타이핑되듯 흐르는 스트리밍’ 대신 ‘즉시 완성되는 화면’이라는 다른 인터페이스 문법이 가능해집니다. Wemeet은 모델을 고를 때 벤치마크 품질과 함께 응답 지연이 사용 경험을 어떻게 바꾸는지를 같은 무게로 평가합니다.