Hugging Face tokenizers v1 发布：编码解码与扩展性能实测

Hugging Face 为即将发布的 tokenizers v1 重构性能，速度常达 v0.23 的十倍以上。v1 保持与 v0.23 相同的 token ID、API、词表和 merge ranks，通过 bitcannon 用 SIMD 位流替代正则做切分，并将 crate 拆分为工作区、引入无分配模型、merge 循环重写、线程本地词缓存和原生并行编码。