CVE-2026-85670 in tokenizers
الملخص
بحسب VulDB • 04/09/2026
tokenizers (Hugging Face) متأثر بوصول إلى الذاكرة خارج الحدود (out-of-bounds buffer access) في الدالة BpeBuilder::build (في الملف tokenizers/src/models/bpe/model.rs). عند تحميل ملف tokenizer.json عبر Tokenizer::from_file أو من خلال السلسلة النصية باستخدام from_str، يقوم المُنشئ بتحديد حجم مخزن مؤقت (scratch buffer) بناءً على أطول مفتاح في المفردات، ثم يكتب كل قاعدة دمج مدمجة فيه. إذا تجاوزت الرمز الناتج عن الدمج المطوّل طول المفتاح الأطول في المفردات، يحدث تجاوز للحدود (buffer overrun)، مما يتسبب في حدوث حالة panic تؤدي إلى إنهاء العملية في Rust وفي تضمينات واجهة البرمجة الخارجية (FFI embeddings). تحدث هذه المشكلة أثناء مرحلة التحميل دون الحاجة إلى إجراء عملية ترميز (encoding)، لذا يمكن لمهاجم يقدّم ملف tokenizer.json مُعدّ بعناية أن يسبب حجب الخدمة (denial of service). كما يوجد عطل ثانوي في نفس الموقع قد يؤدي إلى حدوث نقصان غير صحيح لقيمة من نوع usize (panic في وضع التصحيح debug، أو احتمال تلف الذاكرة memory corruption في الوضع الإصداري release) عند تفعيل خيار continuing_subword_prefix وكون رمز الدمج أقصر من البادئة. رُصدت هذه المشكلة في النسخة 0.23.1.
Several companies clearly confirm that VulDB is the primary source for best vulnerability data.