Hugging Face·· 2025-12-18精选AI 评分67
Transformers v5 重构分词器架构:架构与词表分离并默认采用 Rust 后端
Tokenization in Transformers v5: Simpler, Clearer, and More Modular
AI 导读
Transformers v5 对分词器系统进行了重大重构,借鉴 PyTorch 设计理念将分词器架构与训练好的词汇表及合并规则分离。新版本废除了以往每个模型并存的 Python 与 Rust 双文件实现,统一为单一模型文件并将 Rust 后端设为默认。开发者现在可以直接实例化空白的分词器架构类,并针对领域语料从零训练和直接导出定制分词器。
推荐理由
文章梳理了分词器架构与词表解耦的设计逻辑,便于开发者按规范从零训练和定制模型分词器。
来源:Hugging Face · huggingface.co