transformers가 vLLM 네이티브 속도를 따라잡다

Hugging Face가 vLLM의 ‘transformers 모델링 백엔드’가 이제 커스텀 vLLM 구현과 대등하거나 더 빠른 추론 속도를 낸다고 발표했습니다. 그동안 새 모델을 vLLM에서 최고 속도로 돌리려면 아키텍처마다 별도의 최적화 코드를 손으로 작성해야 했는데, 이 백엔드는 transformers에 정의된 모델을 그대로 쓰면서도 그 성능 격차를 지웠다는 것이 핵심입니다.

"transformers 모델링 백엔드는 이제 테스트한 모든 모델에서 네이티브 처리량과 같거나 그 이상을 낸다."Hugging Face

왜 중요한가

방법이 구체적입니다. torch.fx로 모델 그래프를 정적으로 분석해 최적화 지점을 찾고, 추상 구문 트리(AST)를 그 자리에서 다시 써서 연산을 vLLM의 최적화 커널로 바꿔 끼웁니다. 이 과정에서 연산 융합(fused ops), Mixture-of-Experts용 전문가 병렬화, 텐서 병렬화가 자동으로 적용되고 torch.compile·CUDA Graphs와도 완전히 호환됩니다. 벤치마크도 단일 GPU의 Qwen3-4B, GPU 2장 텐서 병렬의 Qwen3-32B, H100 8장에 데이터·전문가 병렬을 건 Qwen3-235B-A22B-FP8까지 아우르며, 모든 경우에서 네이티브 처리량을 ‘맞추거나 앞섰다’고 밝혔습니다.

실무 적용

실무 시사점은 ‘새 모델을 빠르게 서빙하기까지의 시간’이 크게 줄어든다는 점입니다. 지금까지는 새 오픈 모델이 나와도 vLLM에 맞는 최적화 코드가 포팅될 때까지 기다리거나 직접 짜야 했지만, 이제 transformers에 모델 정의만 있으면 곧바로 네이티브급 속도로 배포할 수 있습니다. 자체 인프라에 오픈 모델을 얹는 팀이라면, 커스텀 커널 유지보수 부담을 덜고 최신 아키텍처를 더 빠르게 도입하는 경로가 열린 셈입니다.

교차 참고

• Hugging Face: State of Open Source on Hugging Face, Spring 2026 — 오픈 모델을 실제로 굴리는 서빙·추론 생태계의 큰 그림을 보완합니다.
• Google: DiffusionGemma, 4x faster text generation — 추론 속도를 끌어올리는 또 다른 접근(생성 방식 자체의 변경)을 함께 보여줍니다.

Wemeet의 관점

모델 경쟁의 무게추가 성능에서 ‘얼마나 빨리·싸게 서빙하느냐’로 옮겨가고 있습니다. Wemeet은 오픈 모델을 도입할 때 벤치마크 점수뿐 아니라 서빙 스택의 성숙도와 배포까지의 시간을 함께 따져, 최신 모델을 실제 서비스 속도로 옮기는 실효를 우선합니다.