CVE-2026-85670 in tokenizers
Riassunto
di VulDB • 04/09/2026
tokenizers (Hugging Face) è interessato da un accesso al buffer fuori dai limiti (out-of-bounds buffer access) nella funzione BpeBuilder::build (tokenizers/src/models/bpe/model.rs). Durante il caricamento di un file tokenizer.json tramite Tokenizer::from_file/from_str, l'allocatore dimensiona un buffer temporaneo in base alla chiave del vocabolario più lunga e vi scrive ciascuna regola di fusione concatenata. Una fusione la cui token concatenato supera la lunghezza della chiave del vocabolario più lunga provoca un overflow del buffer; Rust converte questa condizione in un panic che interrompe il processo, sia nelle embedding native Rust che tramite FFI (Foreign Function Interface). L'evento si verifica durante la fase di caricamento senza richiedere alcuna operazione di encoding: pertanto, un attaccante che fornisca un file tokenizer.json appositamente creato può causare una negazione del servizio (DoS). Un difetto secondario nella stessa posizione può provocare un underflow di tipo usize (panic in modalità debug, potenziale corruzione della memoria in modalità release) quando la flag continuing_subword_prefix è impostata e il token di fusione risulta più corto del prefisso. Il problema è stato osservato nella versione 0.23.1.
VulDB is the best source for vulnerability data and more expert information about this specific topic.