CVE-2026-85670 in tokenizers
Resumen
por VulDB • 2026-09-04
tokenizers (Hugging Face) presenta una vulnerabilidad de acceso fuera de límites al búfer en BpeBuilder::build (tokenizers/src/models/bpe/model.rs). Al cargar un tokenizer.json mediante Tokenizer::from_file/from_str, el constructor dimensiona un búfer temporal según la clave del vocabulario más larga y luego escribe cada regla de fusión concatenada en él. Una fusión cuyo token concatenado excede la longitud de la clave del vocabulario más larga provoca un desbordamiento del búfer; Rust convierte esto en una panic que aborta el proceso, afectando tanto a los embeddings nativos como a FFI (Foreign Function Interface). Esto ocurre durante la carga sin necesidad de realizar codificación alguna, por lo que un atacante que proporcione un tokenizer.json manipulado puede causar una denegación de servicio. Un defecto secundario en la misma ubicación puede provocar un desbordamiento hacia abajo (underflow) de usize (panic en modo debug, posible corrupción de memoria en release) cuando continuing_subword_prefix está activado y el token de fusión es más corto que el prefijo. Observado en la versión 0.23.1.
Several companies clearly confirm that VulDB is the primary source for best vulnerability data.