可观察胜过假设
评估 Tutor 在交互中实际说了什么、做了什么,而不是推断其意图或相信其自称能力。
为什么要做 Teachometry
AI 模型往往能够给出正确答案,但教学要求更多:发现学生卡在哪里、引导推理、调整帮助,并留下可执行的下一步。正确答案只能证明正确性,不能证明这次交互教得好。
要评估 AI 教学,我们需要模型如何与学生互动的证据,而不仅仅是它知道什么。
公开基准将这些问题保持分离,因此每个结果都仍然与具体案例、维度和可观察证据绑定。





我们的立场
相同案例。
清晰标准。
Teachometry 的 TutorBench 引擎评估一个 TutorUnderTest ,通过独立于服务提供方的适配器边界接入。服务提供方特定行为只在边缘进入;引擎的案例、契约、评估器和报告保持独立。
不在我们的范围内
TutorUnderTest服务提供方适配器边界不在我们的范围内
我们的信念
开放科学,
为了更好的学习。
评估 Tutor 在交互中实际说了什么、做了什么,而不是推断其意图或相信其自称能力。
优先选择透明方法、可复现产物和可检查证据,而不是营销叙事。
结果属于具体案例、版本、维度和评测语境,而不是一个放之四海而皆准的数字。
公开案例、方法论、契约和公开产物,让主张可以被检查和质疑。
致每一个正在学习的人
亲爱的学习者:
我们相信,每个人都应该有机会,享有最好的教育。不是最昂贵的,也不是最难进入的,而是从你所在的地方出发,一直陪你走到真正明白的那一种。
这封信,关于我们希望一起去往的未来。信里装着三个愿望。
也许你曾把一个问题咽了回去:怕它太简单,怕别人早就懂了,怕自己想得和大家不一样。我们希望有这样一个未来:那个问题会被认真接住。你可以问很多遍,按自己的节奏,用自己的话。
太多学习仍然靠压力推动:下一场考试,下一个截止日期,一双盯着你的眼睛。我们期待另一种力量,更安静,也更持久,那就是想要弄明白的好奇。它被看见,被呵护,被认真回应,并带你走向更远的地方。
教育不该止步于记住已知、找到标准答案、完成规定动作。我们希望每个人都有机会形成自己的看法,提出还没有人问过的问题,去尝试做出世界上还没有的东西。
这些是很长远的愿望。我们还没有抵达,也不会假装已经抵达。
所以,我们从更小、也更需要严谨的一步开始:先学会看清,什么是好的教学。TutorBench 就是这一步。它研究如何观察、评估并改进 AI 的教学,从一个个精心编写的案例做起。它还不能证明有人因此学得更好,但它能帮我们看得更仔细,也更诚实。
我们会一边学,一边继续写下去。在那之前,请继续提问。
—— Teachometry
附言:如果这封信让你想问点什么,欢迎来问我们。毕竟,这正是重点。
从设计上开放
Teachometry 以开放方式开发,并为软件、人工编写的基准内容以及 TutorBench 名称和品牌资产分别划定边界。