~1000倍速度比HuggingFace的分词器更快，可以直接替代。以GB/s的速度对您的文本数据进行分词！请注意，HF分词器和tiktoken已经在运行多线程Rust！什么是GigaToken？GigaToken是最快的语言建模分词器。它支持广泛的CPU硬件以及几乎所有常用的分词器。安装方法：pip install gigatoken 使用方法：GigaToken可以与其自己的API一起使用，或在兼容模式下与HuggingFace Tokenizers或Tiktoken结合使用。兼容模式（最简单）：import gigatoken as gt # 对现有HuggingFace分词器使用的最小修改（兼容模式） hf_tokenizer = ... tokenizer = gt.Tokenizer(hf_tokenizer).as_hf() # tokenizer可以在与hf_tokenizer相同的上下文中使用 tokens = tokenizer.encode_batch([