第一步 · 先猜一猜
单词 internationalization（20 个字母）会被切成几个 token？
选一个你现在的预测。
智能 / 语言 / 01
分词 实验室
在模型眼里，你的话是什么形状？
引力是时空的曲率，而tokenization决定模型如何读它。
汉字 17子词 2数字 0符号 2
ENGINE TOKENIZER-ENGINE-1 / 21 TOKENS探索路线
先猜一猜，再动手。
知道大语言模型不直接读句子，而是先切成 token。
01
用默认混排文本看一遍：汉字、英文、数字各切成什么样。
02
换成纯中文预设，比较"每 token 字符数"。
03
输入一个超长英文单词，看词干如何被切件。
第二步 · 观察当前状态
当前读数
token 数21
字符数33
每 token 字符数1.57
汉字 / 英文件17 / 2
数字 / 标点0 / 2
发生了什么？
每 token 1.57 字符：整词与子词混合，是中英混排的典型形态。
第三步 · 接受一个挑战
0 / 301一比一的中文
让"每 token 字符数"恰好等于 1（纯中文内容）。
提示
预设"纯中文"：每个汉字一个 token，标点也不加分母。
02长词切件
输入单个英文长词，让它切成至少 4 个 token。
提示
20 个字母 = 4 件词干 + 1 个后缀。
03四类齐发
让一段文本同时包含汉字、英文、数字和标点四类 token。
提示
试试预设"数字与符号"：GPT-4 训练于 2026 年。
安全与范围网页模拟。这里的规则分词是教学近似，不是任何真实模型的词表。
你看到的是
每个色块是一个 token——模型真正计价和阅读的单位。这里是透明的教学规则；下一版会接入真实模型的分词器。
动手试试把一段中文换成英文重写。然后看 token 数怎么变。