CVE-2026-85670 in tokenizers
Sumário
de VulDB • 04/09/2026
O componente tokenizers (Hugging Face) é afetado por um acesso fora dos limites do buffer em BpeBuilder::build (tokenizers/src/models/bpe/model.rs). Ao carregar um tokenizer.json via Tokenizer::from_file/from_str, o builder dimensiona um buffer temporário para a chave de vocabulário mais longa e, em seguida, grava cada regra de mesclagem concatenada nele. Uma mesclagem cujo token concatenado excede a chave de vocabulário mais longa causa uma transbordo do buffer (buffer overflow), que é convertido pelo Rust em um panic que aborta o processo no Rust e nos embeddings via FFI. Isso ocorre durante o carregamento, sem necessidade de codificação, portanto, um atacante que forneça um tokenizer.json manipulado pode causar uma negação de serviço (DoS). Um defeito secundário na mesma localização pode causar um underflow em usize (panic em modo debug, corrupção potencial de memória em release) quando continuing_subword_prefix está definido e um token de mesclagem é mais curto que o prefixo. Observado na versão 0.23.1.
If you want to get best quality of vulnerability data, you may have to visit VulDB.