它是怎么工作的,准确到什么程度
让语言模型给出几百个随机整数,它给你的不会是随机整数,而是它的习惯:常伸手去拿的数字、刻意避开的数字, 一种改了措辞也不变、跨会话也足够稳定、能把模型区分开的形状。这个页面说明这种方法、本站在它之上加的两样东西, 以及那些实测得到而非一厢情愿的数字。
协议
每道挑战要求给出 292 到 333 个介于 1 和 355 之间的整数,逐个选择, 不用工具,事后也不修补列表。识别工具发出 3 段这样的提示词, 再把回复与 24 个模型的指纹库比对,每个模型由 36 条已记录回复代表。
比对采用 ModelTrace 的方法:每条回复变成一个覆盖 355 个取值的分布,经变换后降低采样噪声与措辞的影响, 再与每个模型的中心打分。评分核心和 36 道挑战模板原样来自 ModelTrace;版本化指纹库还包含另行采集的指纹, 其来源和限制在更新记录中说明。
长度比措辞更要紧。292 到 333 个数字的回复,按判定所用的尺度,与其模型的吻合强度中位数为 0.398; 218 到 257 个数字的回复为 0.302,28 次里有 6 次跌破判定的地板。这就是本站每段提示词至少要求 292 个数字的原因。
输入门槛
评分核心是一个闭集分类器:不管给它什么,它都会给库里的模型排序然后挑一个赢家。喂给它一个从 1 数到 300 的列表, 它以 86% 的置信度报出了一个 GPT 模型。所以在任何评分之前,6 条规则先判断输入到底是不是模型的回答。
- 什么都没解析到,或者所有数字都一样。
- 排过序:十步里有九步朝同一方向。真实回复从不超过十分之七。
- 固定步长:一半以上的步长相同。真实回复从不超过四分之一。
- 不同数值太少:不到二十分之一。库里有一条真实回复低至十一分之一,所以这条线画在它之下。
- 太短无法评分:不到要求数量的 55%,这是核心自身的地板。
每条阈值都落在全部 576 条真实已记录回复的极值之外,一旦有阈值越过任何一条真实回复,测试就会失败。 门槛拒绝的是结构,不是随机性:一个均匀随机的列表能通过门槛,因为从结构上它和模型的回答无法区分。拒绝它是判定的工作。
开放集判定
核心给出的置信度是在库内各模型之间分配的份额,所以它对已知模型加起来永远是百分之百。均匀随机输入也能拿到 78% 到 90% 的"概率"中位数。 本站不用这个数字。
结果总会给出核心排名第一的模型,因为这个排名是核心自身的输出,而且在指纹库自有模型上,它正是最常正确的那部分。 判定补上的是一个状态,说明这个模型领先了多少,它由核心丢掉的信息算出:粘贴的回复与第一名中心的绝对吻合程度(拟合度), 以及这个拟合度与其他任一模型最高拟合度之差(区分度)。区分度达到 0.08 及以上是区分明显。 低于这个值时,如果家族层面的把握达到 0.9 或更高,就是两者接近:家族清楚,版本分不开,第二名会一并显示。 拟合度低于 0.25,或者拟合度过线但模型和家族都没有领先,则是匹配较弱:这个名字只是库内相对最接近的模型, 排名不足以可靠识别实际模型,它也可能根本不在库里。状态从不改变排名;区分度是拟合度之差,不是核心自身评分的差值。
阈值在 3120 条证据记录上选定:指纹库自有模型的留出回复、每个模型对着不含它的重建库的打分、均匀随机输入, 以及两个模型经不同于库内渠道采集的回复。
测了什么
指纹库建库所用的 12 种提示环境里,只有 3 种能通过在聊天窗口粘贴来复现; 其余的需要真正的系统字段,或者几千字的前缀。下表是分组数值交叉验证: 来自同一环境的三条留出回复、应用判定、覆盖库内每个模型;它不衡量每段原始聊天回复能否通过页面的输入边界检查。 Kimi 新留出回复的额外入口限制见其模型页和更新记录。
| 提示词风格 | 轮次 | 区分明显·正确 | 两者接近 | 匹配较弱 | 区分明显·指错 |
|---|---|---|---|---|---|
| 中文 | 24 | 19 | 4 | 1 | 0 |
| 英文,纯文本 | 24 | 21 | 3 | 0 | 0 |
| 英文,JSON 数组 | 24 | 18 | 2 | 4 | 0 |
| 合计 | 72 | 58 | 9 | 5 | 0 |
72 轮里 58 轮以明显区分度指出了正确模型,9 轮是同家族内的接近情形,0 轮以明显区分度指错。 在覆盖全部十二种环境的完整留出集上,288 轮里 211 轮正确模型是区分明显、0 轮指错。 均匀随机输入在 600 轮里 600 轮是匹配较弱,从未出现区分明显:最接近的模型仍会被写出, 把这些轮次和真实回复区分开的是状态。
它做不到什么
已收录模型的未收录版本会被报成最接近的兄弟版本。 把 Claude Opus 4.7 从库里移除后,12 轮三回复测试里有 6 轮自信地报出了 Claude Opus 4.8。 相近版本共享指纹,特征空间分不开的东西,任何阈值也分不开。把各模型逐一移除后,288 轮里仍有 30 轮报出了兄弟版本。 每个模型的页面都列出了自己的数字。
只给一条回复时,约每百个随机输入中有一个会越过拟合度地板,并可能被告知属于某个家族。 640 次尝试里它从未被点名为某个模型;给三条回复时,则没有任何一个越过地板。推荐三条回复是有原因的。
渠道无法判定。经编码工具采集的 Claude Sonnet 5 与 Claude Haiku 4.5 回复,对着经 API 采集的库内条目打分: 24 轮三回复测试里 19 轮指出了正确模型,0 轮指错。 指纹跟随模型,这正是从聊天窗口粘出来的回复也能被认出的原因,也是判定无法告诉你回复来自哪个界面的原因。
它不衡量回答质量。回复与某个模型吻合,并不说明该部署是否经过量化、限速或缩短了上下文;这些情况都没有测试过。
库里有 18 个条目是继承的。它们的回复经由 API 中转获得,标签背后的服务端身份从未被独立核实。 在每一项测试里它们的表现都和本项目自采的条目一样;这个提醒关乎来源,不关乎准确度。
致谢
指纹方法、评分核心、挑战模板以及库中 18 个指纹来自 xqy2006 的 ModelTrace,MIT 许可,原样使用。单数字基线的思路致谢 hlwy-ai-checker, 本站未以任何形式使用它。其余一切,包括输入门槛、开放集判定和 Claude Fable 5.1 的指纹,都是本项目自己的。