Hugging Face·· 12 天前精选AI 评分67
Hugging Face 发布 tokenizers v1 候选版：编码速度最高提升 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布分词库 tokenizers v1 候选版，在保持输出 Token ID 和 API 完全一致的前提下大幅提升性能。该版本通过 SIMD 位流操作替代正则分词、复用内存缓冲区消除动态分配并引入线程局部词缓存，在 Apple M4 Max 单线程测试中编码速度相比 v0.23 提升 3 至 30 倍。
推荐理由
原文通过底层重构展示了分词吞吐量的瓶颈拆解，读者可以参考其内存无分配和位流切分的系统级优化策略。
来源：Hugging Face · huggingface.co