Token 分词演示
大模型按 token 收费，不按字也不按词。把一段话丢进来，看 GPT-4 和 GPT-4o 各切几刀、每个 token 切了啥。你会看到中文为什么比英文贵、一个 emoji 为什么烧掉好几个 token、还有换模型后 token 数怎么变。
纯前端跑真实的 BPE 分词（cl100k_base / o200k_base），零 API、零延迟。
GPT-4 切
25
cl100k_base
GPT-4o 切
14
o200k_base
4o 省了
11
44%
GPT-4 的切法
25 个 token·敏·捷的·棕色··狐··狸·跳过了··懒··狗。
GPT-4o 的切法
14 个 token敏捷的·棕色狐狸跳过了·懒狗。
完整 token（看得见的字/词/片段）· 残缺字节（半个字符，BPE 没合并）
注意那些 · 块——emoji、生僻字被切成一串残缺字节，正是「一个字烧掉好几个 token」的现场。GPT-4o 的词典给中文做了优化，每字常能压成一个 token，所以中文 token 数明显比 GPT-4 少。