与「tokenizer-x」相关的 PHP Composer 包
本页汇总了 Packagist 中所有与 tokenizer-x 方向相关的 PHP Composer 包，按下载量倒序排列，便于你快速找到最主流、活跃度最高的包。
如果你正在做 tokenizer-x 相关项目的开发、二次开发、性能优化或 BUG 排查，欢迎联系我们的技术团队 —— 我们承接「tokenizer-x」相关的定制开发、私有化部署、 对接及长期维护外包，全程专人跟进。
affinity4/tokenizer
A zero-dedpendency tokenizer written in PHP. Returns an easily navigatable Stream object of Token objects with public type, value, offset and length properties
时间：2022-05-25 16:52
codechap/yii3-context-trimmer
Tokenizer-agnostic text preprocessor for trimming and optimising content for LLM context windows.
时间：2026-03-13 01:10
f2/code-parser
A forgiving code tokenizer for tokenizing most programming languages such as Javascript, TypeScript, Python, C, C++, PHP, Forth and so on. A nice basis for making a compiler or DSL.
时间：2019-11-24 13:40
hike/hike
A consistent interface to tokenize, analyse and modify any text format. Programming languages, natural languages, markup languages
时间：2025-04-06 15:53
undercoder/magenizer
Implements Iterator interface over a String for extract data with an array of tokens. The name comes from Mage and tokenizer :)
时间：2020-01-03 20:03
giftuals/tokenizer
PHP JWT library that allows you to create trustworthy links from and to your website or webapp
时间：2020-02-01 20:07
wpscholar/php-tokenizer
An experiment with using the PHP tokenizer functions.
时间：2020-03-17 14:35
purewater2011/tiktoken-php7
PHP 7.4+ compatible version of tiktoken - OpenAI's tiktoken tokenizer ported to PHP
时间：2025-09-10 08:06
codechap/context-trimmer
A tokenizer-agnostic text preprocessor to trim context for LLMs.
时间：2025-02-03 08:05
sterzik/tokenizer
Library for creating an universal tokenizer
时间：2025-10-14 22:59
juniora/tokenizer-x
TokenizerX calculates required tokens for given prompt
时间：2026-04-11 09:54
需要「tokenizer-x」方向的技术支持？
- 基于以上任意 Composer 包做二次开发 / 深度定制，对接你的业务系统；
- 「tokenizer-x」相关模块的BUG 修复、性能优化、私有化部署；
- 整套「tokenizer-x」相关项目从零开发 & 长期维护外包；
- 已有系统的代码审计、安全加固、架构升级。
联系方式：邮箱 yvsm@zunyunkeji.com | QQ 316430983 | 微信 yvsm316