与「tokenizer-x」相关的 PHP Composer 包
本页汇总了 Packagist 中所有与 tokenizer-x 方向相关的 PHP Composer 包，按下载量倒序排列，便于你快速找到最主流、活跃度最高的包。
如果你正在做 tokenizer-x 相关项目的开发、二次开发、性能优化或 BUG 排查，欢迎联系我们的技术团队 —— 我们承接「tokenizer-x」相关的定制开发、私有化部署、 对接及长期维护外包，全程专人跟进。
hippophp/hippo
Hippo is an open-source tool that helps PHP programmers adhere to certain a given convention.
时间：2014-11-11 21:14
edin/lexicon
Attribute-driven PHP lexer and parser toolkit with enum tokens, grammar recipes, diagnostics, and AST/BNF debugging.
时间：2026-06-07 13:17
teepluss/wordbreaker
Word breaker is Thai wording separator for using with fulltext software.
时间：2014-11-21 11:16
token27/nexus-ai-tokenizer
Provider-agnostic LLM token counter for PHP 8.3+. Supports Tiktoken BPE (OpenAI, Claude approx.), HuggingFace JSON vocabularies (DeepSeek, LLaMA, Mistral), SentencePiece (Gemini), and extensible custom strategies.
时间：2026-05-20 06:29
yaroslavpopovic/laravel-text-chunker
Flexible, strategy-based text chunking for Laravel — fork of droath/laravel-text-chunker with Laravel 13 support.
时间：2026-05-10 07:12
attla/data-token
Turn everything into a token: randomized or predictable.
时间：2022-07-13 02:08
zen0x7/tokenizer
PHP SDK for Service Framework authentication and token generation.
时间：2026-04-27 07:44
juanchosl/tokenizer
A small collection of encoder/decoder Token for authentication
时间：2023-09-27 19:11
codewithkyrian/tokenizers
Fast, pure-PHP tokenizer library compatible with Hugging Face tokenizers for encoding and decoding text
时间：2025-12-10 19:28
phpwatch/phptoken-polyfill
A polyfill for PHP 8.0's PhpToken class
时间：2020-04-11 00:27
lalbert/tokenizer-engine
Tokenize string like Elasticsearch
时间：2016-12-16 17:00
golding/dns-zone-tokenizer
tokenize dns zone files and that's all, folks.
时间：2022-05-19 11:11
需要「tokenizer-x」方向的技术支持？
- 基于以上任意 Composer 包做二次开发 / 深度定制，对接你的业务系统；
- 「tokenizer-x」相关模块的BUG 修复、性能优化、私有化部署；
- 整套「tokenizer-x」相关项目从零开发 & 长期维护外包；
- 已有系统的代码审计、安全加固、架构升级。
联系方式：邮箱 yvsm@zunyunkeji.com | QQ 316430983 | 微信 yvsm316