正则与文本处理指南

文本长度与 Token：明确选择分词编码

按选定编码测量 Token，单独计算工具未覆盖的聊天包装和非文本输入。

Nav Tools · 2026-11-03

字符不是 Token

分词器可以拆分单词，也可以合并常见字节序列，字符数和单词数都是不同度量。

语言、代码和标点之间不存在统一精确的字符换 Token 比例，应测量实际文本。

Text: hello world
cl100k_base: 2 tokens
JavaScript UTF-16 length: 11

本站提供 o200k_base、cl100k_base 与 p50k_base，不同词表对同一文本可能计数不同。

应确认目标系统使用的分词器，不能选择数字最小的结果，模型名称也不能替代明确编码约定。

工具只数输入文本，不自动包含聊天角色包装、工具定义、图片或服务特有结构。

账单应以实际服务 usage 字段为依据，排查差异时对照相同完整请求。

空白、换行和标点会改变分词边界，字符更短不保证 Token 更少。

用 Prompt Diff 检查改动，再以相同编码比较两个版本；界面只列出前 1,000 个 Token ID。