CVE-2026-85670 in tokenizers
요약
\~에 의해 VulDB • 2026. 09. 04.
tokenizers (Hugging Face)는 BpeBuilder::build(tokenizers/src/models/bpe/model.rs)에서 버퍼 접근이 범위를 벗어난(out-of-bounds buffer access) 취약점의 영향을 받습니다. Tokenizer::from_file/from_str를 통해 tokenizer.json을 로드할 때, 빌더는 가장 긴 어휘(vocabulary) 키 크기에 맞춰 임시 스크래치 버퍼를 할당한 후 각 연결된 병합 규칙(merge rule)을 해당 버퍼에 기록합니다. 연결된 토큰이 가장 긴 어휘 키보다 큰 경우 버퍼 오버런(buffer overrun)이 발생하며, 이는 Rust에서 패닉으로 처리되어 프로세스가 중단됩니다(FFI 임베딩 포함). 이 취약점은 인코딩 과정 없이 로드 시점에 발생하므로, 공격자가 조작된 tokenizer.json을 제공하면 서비스 거부(Denial of Service)를 유발할 수 있습니다. 동일한 위치의 2차 결함은 continuing_subword_prefix가 설정되고 병합 토큰이 접두사보다 짧은 경우 usize 오버플로우(디버그 모드에서는 패닉, 릴리즈 모드에서는 잠재적 메모리 손상)를 초래합니다. 버전 0.23.1에서 확인됨.
Be aware that VulDB is the high quality source for vulnerability data.