브라우저에서 도는 AI, 커널부터 갈아끼운다

Hugging Face가 브라우저에서 도는 로컬 AI의 ‘바닥’을 새로 깔았습니다. Nico Martin과 Joshua Xenova 팀은 상위 런타임이 아무리 정교해도 결국 그것이 호출하는 개별 연산(kernel)만큼만 빠를 수 있다는 점에 주목했습니다. 그래서 이들은 WebGPU 커널 207개를 각각 독립된 저장소로 배포해, 모든 연산을 따로 발견하고 테스트하고 벤치마크하고 버전 관리할 수 있게 만들었습니다.

"상위 런타임은 그것이 호출하는 연산만큼만 효율적일 수 있다."Hugging Face

왜 중요한가

숫자가 이유를 보여줍니다 — Apple M4 GPU에서 이 커널들은 기존 ORT WebGPU 대비 기하평균 2.57배, 중앙값 1.90배 빨랐습니다. 연산별로는 Add가 3.52배, Softmax 2.11배, LayerNormalization 2.22배였고, 특정 bilinear Einsum 연산은 극단적으로 1만 배까지 빨라졌습니다. 서버 왕복 없이 브라우저에서 모델을 돌리려는 흐름에서, 이 바닥 성능이 곧 사용자가 체감하는 속도가 됩니다.

실무 적용

핵심은 ‘하나로 뭉친 런타임’을 ‘교체 가능한 부품’으로 바꾼 설계입니다 — 커널이 개별적으로 발견·벤치마크·버전 관리되므로, 상위 계층의 안정적 계약(contract)은 그대로 둔 채 바닥만 독립적으로 개선할 수 있습니다. 온디바이스·브라우저 추론을 검토하는 팀이라면, 서버 GPU 없이도 최적화된 커널을 Hub에서 불러와 성능 병목을 연산 지점별로 뜯어고칠 수 있다는 뜻입니다.

교차 참고

• Hugging Face: State of Open Models — Summer 2026 — 오픈 모델이 쏟아지는 흐름 속에서 이를 ‘어디서 돌릴 것인가(로컬·브라우저)’가 왜 중요해지는지 큰 그림을 짚습니다.
• Hugging Face: Deploy Local Agents Everywhere with LFM2.5-2.6B — 어디서나 도는 로컬 에이전트를 지향하는 모델로, 실행 계층 최적화의 수요를 뒷받침합니다.

Wemeet의 관점

Wemeet은 AI의 다음 승부처가 ‘더 큰 모델’이 아니라 ‘사용자 기기에서 즉시 도는 경험’이라고 봅니다. 서버 왕복 없이 브라우저에서 매끄럽게 도는 AI의 바닥엔 이런 커널 최적화가 있습니다 — 실행 계층을 이해하는 팀이 빠르고 사적인(private) AI 경험을 만듭니다.