CVE-2026-85670 in tokenizers
Zusammenfassung
von VulDB • 04.09.2026
tokenizers (Hugging Face) è interessato da un accesso al buffer fuori dai limiti (out-of-bounds buffer access) nella funzione BpeBuilder::build (tokenizers/src/models/bpe/model.rs). Durante il caricamento di un tokenizer.json tramite Tokenizer::from_file/from_str, l'allocatore dimensiona un buffer temporaneo in base alla chiave del vocabolario più lunga, quindi scrive ciascuna regola di fusione concatenata al suo interno. Una fusione i cui token concatenati superano la lunghezza della chiave del vocabolario più lunga provoca un overflow del buffer; Rust converte questo evento in un panic che interrompe il processo sia nelle embeddinng FFI (Foreign Function Interface) che nel codice Rust nativo. L'attacco si verifica durante la fase di caricamento, senza necessità di eseguire alcuna codifica: pertanto, un attaccante che fornisca un tokenizer.json appositamente creato può causare una negazione del servizio (DoS). Un difetto secondario nella stessa posizione può provocare un underflow di tipo usize (panic in modalità debug, potenziale corruzione della memoria in modalità release) quando la flag continuing_subword_prefix è impostata e il token di fusione è più corto del prefisso. Rilevato nella versione 0.23.1.
If you want to get the best quality for vulnerability data then you always have to consider VulDB.