搜索'tokenizer' - 包列表 - Packagist Composer包仓库

super-kernel/tokenizer

The tokenizer component for super-kernel.

版本：未知版本下载：45 Stars：0 点击：15

时间：2026-03-25 05:18

codechap/yii3-context-trimmer

Tokenizer-agnostic text preprocessor for trimming and optimising content for LLM context windows.

版本：未知版本下载：7 Stars：0 点击：18

时间：2026-03-13 01:10

legacyphpdoctor/yethee_tiktoken-php-7-4

PHP version of tiktoken

版本：未知版本下载：0 Stars：0 点击：15

时间：2026-02-15 23:52

semji/gpt-3-tokenizer-php

PHP Text Tokenizer for GPT models

版本：v2.0.0 下载：125.04k Stars：4 点击：13

时间：2026-01-04 19:10

andrewsville/php-token-reflection

Library emulating the PHP internal reflection using just the tokenized source code.

版本：1.4.0 下载：1.77M Stars：190 点击：15

时间：2026-01-04 18:20

rajentrivedi/tokenizer-x

TokenizerX calculates required tokens for given prompt

版本：v1.0.6 下载：176.57k Stars：90 点击：18

时间：2026-01-04 16:13

fig-r/psr2r-sniffer

Code-Sniffer, Auto-Fixer and Tokenizer for PSR2-R

版本：2.7.0 下载：1.15M Stars：32 点击：14

时间：2026-01-04 15:51

jeremeamia/superclosure

Serialize Closure objects, including their context and binding

版本：2.4.0 下载：60.09M Stars：1.71k 点击：23

时间：2026-01-04 10:43

yethee/tiktoken

PHP version of tiktoken

版本：1.1.0 下载：2.47M Stars：151 点击：22

时间：2026-01-04 10:41

phpunit/php-token-stream

Wrapper around PHP's tokenizer extension.

版本：4.0.4 下载：388.79M Stars：6.45k 点击：13

时间：2026-01-04 10:00

theseer/tokenizer

A small library for converting tokenized PHP source code into XML and potentially other formats

版本：2.0.1 下载：718.26M Stars：5.2k 点击：15

时间：2026-01-04 09:47

phootwork/tokenizer

Tokenizer for PHP code

版本：v3.2.3 下载：211.44k Stars：2 点击：6

时间：2026-01-04 08:13

nicoswd/php-rule-parser

Rule Engine - Rule Parser & Evaluator

版本：v0.8 下载：75.57k Stars：129 点击：25

时间：2026-01-04 08:13

artemeon/tokenizer

Tokenizer for php

版本：2.0.1 下载：80.06k Stars：0 点击：10

时间：2026-01-04 04:48

h4kuna/latte-php-tokenizer

Transform macro args to array.

版本：v1.0.0 下载：20.67k Stars：0 点击：13

时间：2026-01-04 03:39

承接程序开发