与「tokenizer-x」相关的 PHP Composer 包
本页汇总了 Packagist 中所有与 tokenizer-x 方向相关的 PHP Composer 包，按下载量倒序排列，便于你快速找到最主流、活跃度最高的包。
如果你正在做 tokenizer-x 相关项目的开发、二次开发、性能优化或 BUG 排查，欢迎联系我们的技术团队 —— 我们承接「tokenizer-x」相关的定制开发、私有化部署、 对接及长期维护外包，全程专人跟进。
akankov/html-ast
nikic/php-parser for HTML — an immutable HTML5 AST with positions, trivia, visitors, and a fidelity printer
时间：2026-05-06 17:34
webrek/tokenizers
Native byte-level BPE (tiktoken-compatible: cl100k_base/o200k_base) plus WordPiece and Unigram tokenizers for PHP 8.3+, with a process-shared vocab cache. Loads HuggingFace tokenizer.json models and counts Claude/Gemini tokens via their APIs.
时间：2026-06-29 23:03
shikiphp/shikiphp
Pure PHP port of Shiki. Syntax-highlight code with VS Code themes and TextMate grammars — no extensions, no Node, no Oniguruma binding.
时间：2026-06-23 15:46
componenta/tokenizer
Token-based PHP source inspection helpers for Componenta
时间：2026-06-17 15:41
componenta/class-finder
Lazy class discovery with composable filters and listener notification
时间：2026-06-17 15:38
bermudaphp/tokenizer
PHP tokenizer for finding class, interface, trait, and enum declarations
时间：2025-06-11 13:35
legacyphpdoctor/yethee_tiktoken-php-7-4
PHP version of tiktoken
时间：2026-02-15 23:52
需要「tokenizer-x」方向的技术支持？
- 基于以上任意 Composer 包做二次开发 / 深度定制，对接你的业务系统；
- 「tokenizer-x」相关模块的BUG 修复、性能优化、私有化部署；
- 整套「tokenizer-x」相关项目从零开发 & 长期维护外包；
- 已有系统的代码审计、安全加固、架构升级。
联系方式：邮箱 yvsm@zunyunkeji.com | QQ 316430983 | 微信 yvsm316