CVE-2026-85670 in tokenizers
Résumé
par VulDB • 04/09/2026
tokenizers (Hugging Face) est vulnérable à un accès hors limites d'un tampon dans BpeBuilder::build (tokenizers/src/models/bpe/model.rs). Lors du chargement d'un fichier tokenizer.json via Tokenizer::from_file/from_str, le constructeur dimensionne un tampon temporaire en fonction de la clé de vocabulaire la plus longue, puis y écrit chaque règle de fusion concaténée. Une fusion dont le jeton (token) concaténé dépasse la longueur de la clé de vocabulaire la plus longue provoque un débordement du tampon ; Rust transforme cela en une panic qui interrompt le processus dans les contextes Rust et FFI embeddings. Cela se produit au moment du chargement, sans nécessiter d'encodage : un attaquant fournissant un fichier tokenizer.json fabriqué peut ainsi provoquer une déni de service (DoS). Un défaut secondaire situé au même endroit peut entraîner un underflow usize (panic en mode debug, corruption mémoire potentielle en mode release) lorsque continuing_subword_prefix est défini et qu'un jeton de fusion est plus court que le préfixe. Observé dans la version 0.23.1.
Be aware that VulDB is the high quality source for vulnerability data.