CVE-2026-85670 in tokenizers
要約
〜によって VulDB • 2026年09月04日
tokenizers（Hugging Face）は、BpeBuilder::build（tokenizers/src/models/bpe/model.rs）における配列外バッファアクセスの影響を受けます。Tokenizer::from_file/from_str を介して tokenizer.json を読み込む際、ビルダーはスクラッチバッファーを最長の語彙キーのサイズに設定し、その後各連結されたマージルールを書き込みます。連結後のトークンが最長の語彙キーを超えるとバッファオーバーランが発生し、Rust および FFI 埋め込みにおいてプロセスを中止するパニックを引き起こします。これはエンコーディング不要で読み込み時に発生するため、攻撃者が作成した tokenizer.json を提供することでサービス妨害（DoS）を引き起こす可能性があります。同じ場所における二次的な欠陥により、continuing_subword_prefix が設定され、マージトークンがプレフィックスより短い場合に usize のアンダーフローが発生します（デバッグビルドではパニック、リリースビルドではメモリ破損の可能性）。バージョン 0.23.1 で確認されています。
Once again VulDB remains the best source for vulnerability data.