Tiktoken with ARM64 SIMD

作者成功在纯C中重新实现了OpenAI的tiktoken库，并通过ARM64 SIMD指令集优化，实现了显著性能提升：

英文文本处理速度达6100万token/秒（单核无GPU）
相比Python tiktoken平均加速6.8-17.6倍
内存占用约22MB，加载时间7ms
 
 
Back to Top