BERT 토크나이징 50배 빨라졌다

Hugging Face가 tokenizers 라이브러리에서 BERT 계열 토크나이저의 텍스트 정규화 단계를 다시 짜, 0.23 버전 대비 약 50배 빠른 토크나이징을 달성했다고 발표했다. v1.0에서 이미 8.6배 개선이 있었고, 이번 최적화로 영어 기준 5.7배가 추가됐다. 프로파일링 결과 인코딩 시간의 대부분이 토큰 선택이 아니라 정규화(소문자화·악센트 제거)에 쓰이고 있었다는 것이 출발점이다.

"인코딩 시간의 88%가 텍스트 정규화에 쓰이고, 실제로 토큰을 고르는 WordPiece는 8%에 불과하다."Hugging Face

왜 중요한가

핵심 아이디어는 단순하다. 대부분의 텍스트는 ASCII이고 ASCII 문자는 어떤 정규화 형식에서도 바뀌지 않으므로, SIMD로 16바이트씩 건너뛰는 빠른 경로를 만들었다. 여기에 문자 블록 단위 캐싱과 변경이 생길 때만 메모리를 할당하는 지연 처리를 더해, 1MB 영어 텍스트 처리 명령어 수를 4억8천만 개에서 7천2백만 개로 줄였다. 모델이 아니라 전처리 파이프라인에서 큰 비용이 새고 있었다는 점이 시사적이다.

실무 적용

임베딩 검색·분류처럼 대량 문서를 BERT 계열 인코더로 처리하는 서비스라면 tokenizers 업그레이드만으로 전처리 시간을 크게 줄일 수 있다. 다만 효과는 언어마다 달라 러시아어·그리스어·아랍어는 2~3배, 중국어는 거의 개선이 없다고 밝혔으므로, 한국어 비중이 높은 데이터라면 직접 벤치마크해 보고 판단하는 것이 맞다. ModernBERT처럼 NFC 정규화를 쓰는 모델은 영어 개선 폭이 작다는 점도 참고할 만하다.

교차 참고

• Hugging Face Blog (DMIS Lab): UltraBERT: One Encoder for Classification and Retrieval — 분류와 검색을 하나의 인코더로 해결한 모델로, 380M 버전이 GLUE 91.0·BEIR 47.7을 기록했다. 인코더 계열이 여전히 활발히 진화 중임을 보여 준다.

Wemeet의 관점

Wemeet은 이번 사례를 "병목은 측정하기 전엔 모른다"는 교훈으로 읽는다. AI 기능이 느릴 때 더 작은 모델이나 더 비싼 GPU부터 찾기 쉽지만, 실제 비용은 토크나이징·정규화 같은 눈에 띄지 않는 단계에 숨어 있는 경우가 많다. 사이트 검색이나 문서 분류를 구축할 때도 파이프라인 단계별 프로파일링을 먼저 하는 습관이 비용과 응답 속도를 함께 잡는 지름길이다.