Teachometry
运行

关于 Teachometry面向 AI 教学的开放测量基础设施

模型可以知道答案却未必是好的 Tutor。

Teachometry 是面向 AI 教学的开放测量基础设施。我们在结构化案例中评估可观察的教学行为,而不只是检查答案是否正确。

了解我们的方法 探索基准

一行铅字 ANSWERS ≠ TEACHING 排在钢制排字手托里,字面上着五种颜色的墨。前面是从这行字拓下的样张,颜色沿着一行字渐次相融;后面,墨辊停在玻璃墨台上,墨台上滚开的是同样的五种墨。
封面 · 五种墨在同一根墨辊上,沿着一行字彼此相融,正如五个维度在同一条回复里交织。

为什么要做 Teachometry

答案 ≠ 教学。

AI 模型往往能够给出正确答案,但教学要求更多:发现学生卡在哪里、引导推理、调整帮助,并留下可执行的下一步。正确答案只能证明正确性,不能证明这次交互教得好。

要评估 AI 教学,我们需要模型如何与学生互动的证据,而不仅仅是它知道什么。

公开基准将这些问题保持分离,因此每个结果都仍然与具体案例、维度和可观察证据绑定。

  1. 01正确性Tutor 是否在事实与概念层面保持正确。
  2. 02诊断能力是否识别出学生真实的错误、知识缺口或推理问题。
  3. 03引导能力解释或提示是否帮助学生取得进展。
  4. 04适应能力是否根据学生当前状态与语境调整帮助方式。
  5. 05可执行性是否让学生得到清晰且可执行的下一步。

我们的立场

相同案例。
清晰标准。

我们测量 Tutor。
我们不构建 Tutor。

Teachometry 的 TutorBench 引擎评估一个 TutorUnderTest ,通过独立于服务提供方的适配器边界接入。服务提供方特定行为只在边缘进入;引擎的案例、契约、评估器和报告保持独立。

不在我们的范围内

  • 聊天应用
  • Prompt 试验场
TutorUnderTest服务提供方适配器边界
Teachometry 评测案例 · 评分标准 · 报告

不在我们的范围内

  • 模型微调
  • 管理后台
  • Review Workspace 模块
相同案例,清晰标准,可复现评测。

查看仓库

我们的信念

开放科学,
为了更好的学习。

01

可观察胜过假设

评估 Tutor 在交互中实际说了什么、做了什么,而不是推断其意图或相信其自称能力。

02

证据胜过炒作

优先选择透明方法、可复现产物和可检查证据,而不是营销叙事。

03

语境胜过单一分数

结果属于具体案例、版本、维度和评测语境,而不是一个放之四海而皆准的数字。

04

开放方法胜过黑箱

公开案例、方法论、契约和公开产物,让主张可以被检查和质疑。

致每一个正在学习的人

请继续提问。

短片 · 42 秒,无声。片中每一句都出自下面这封信。一部 42 秒的无声短片,共六个镜头:雾蓝紫色里逆光的一朵蒲公英;一颗种子松开;许多种子在空中飘;一颗种子落在静水上,涟漪散开;焦点落到一颗种子的冠毛上;再回到那朵蒲公英,它少了一角。片中的每一句话都出自下面这封信。

亲爱的学习者:

我们相信,每个人都应该有机会,享有最好的教育。不是最昂贵的,也不是最难进入的,而是从你所在的地方出发,一直陪你走到真正明白的那一种。

这封信,关于我们希望一起去往的未来。信里装着三个愿望。

  1. 一

    自由地提问

    也许你曾把一个问题咽了回去:怕它太简单,怕别人早就懂了,怕自己想得和大家不一样。我们希望有这样一个未来:那个问题会被认真接住。你可以问很多遍,按自己的节奏,用自己的话。

  2. 二

    主动地探索

    太多学习仍然靠压力推动:下一场考试,下一个截止日期,一双盯着你的眼睛。我们期待另一种力量,更安静,也更持久,那就是想要弄明白的好奇。它被看见,被呵护,被认真回应,并带你走向更远的地方。

  3. 三

    大胆地创造

    教育不该止步于记住已知、找到标准答案、完成规定动作。我们希望每个人都有机会形成自己的看法,提出还没有人问过的问题,去尝试做出世界上还没有的东西。

这些是很长远的愿望。我们还没有抵达,也不会假装已经抵达。

所以,我们从更小、也更需要严谨的一步开始:先学会看清,什么是好的教学。TutorBench 就是这一步。它研究如何观察、评估并改进 AI 的教学,从一个个精心编写的案例做起。它还不能证明有人因此学得更好,但它能帮我们看得更仔细,也更诚实。

我们会一边学,一边继续写下去。在那之前,请继续提问。

—— Teachometry

附言:如果这封信让你想问点什么,欢迎来问我们。毕竟,这正是重点。

我们现在处于什么阶段

开发者预览

Teachometry 正处于积极开发阶段。公开网站打包展示经批准的开发元数据和公开案例;不会发布私有运行,也不会声称校准已经完成。

查看当前版本说明

网站
开发者预览
软件包
已发布 tutor-benchmark@0.1.0
数据集
tutor-eval-v0.2a@0.2a.6
公开案例
48 个合成案例
公开模型运行记录
目前尚无校准后的公开模型运行记录。
校准
尚未完成;适用情况下,结果仍属于初步且未校准状态。

从设计上开放

面向 AI 教学社区的共享资源。

Teachometry 以开放方式开发,并为软件、人工编写的基准内容以及 TutorBench 名称和品牌资产分别划定边界。

写信给我们

问题、合作,或项目反馈。

联系 社区