基于Rust的快速文本分词工具，支持RWKV v5和v6模型使用的World Tokenizer，提供Python模块安装与使用，通过性能和有效性测试，与原始分词器结果一致，速度显著提升

RWKV Tokenizer | #工具