搜索关键词：sentencepiece，共找到 3 个结果
排序方式：
当前按 更新时间
降序 排列
token27/nexus-ai-tokenizer
Provider-agnostic LLM token counter for PHP 8.3+. Supports Tiktoken BPE (OpenAI, Claude approx.), HuggingFace JSON vocabularies (DeepSeek, LLaMA, Mistral), SentencePiece (Gemini), and extensible custom strategies.
版本：未知版本
下载：25
Stars：0
点击：6
时间：2026-05-20 06:29
codewithkyrian/tokenizers
Fast, pure-PHP tokenizer library compatible with Hugging Face tokenizers for encoding and decoding text
版本：2.1.0
下载：20
Stars：18
点击：22
时间：2025-12-10 19:28
textualization/sentencepiece
Google SentencePiece bindings using FFI and a C adapter.
版本：未知版本
下载：504
Stars：1
点击：2
时间：2024-02-12 14:11