Teachometry
运行

// 一段回复里,藏着五种光 // one tutoring reply holds five kinds of light

会答题,
不等于会教。

第 0 卷 · 第 1 期 教学测量工作论文 2026 年 10 月

Teachometry

teach·om·e·try /tiːˈtʃɒmɪtri/ 名词,教学测量。teach(教)+ -ometry(测量)

为教学质量造公开的仪器 开发者预览 开源 · Apache-2.0

封面文章

一段 AI 回复可以听起来正确、流畅、友善,却仍然让学生离理解更远。Teachometry 打造公开的测量仪器,把这束光拆开来看。第一台仪器,叫 TutorBench。

摘要

一段教学回复可以流畅、温暖,同时以语气检查看不见的方式出错。我们把每段回复当作一束白光,让它穿过一台仪器,分离出五种品质:正确性、诊断能力、引导能力、适应能力、可执行性。这台仪器是开源的,48 个编写案例全部公开,而公开成绩表目前刻意留空。

关键词 AI 教学 · 评测 · 原子化评分细则 · 学生状态

§1

白光

一段回复,听起来没问题。

一个学生做了一道分数加法,并写出了自己的做法。AI 老师不到一秒就给出回复:自信、温暖、流畅。只看语气,它是一束干净的白光。匆匆一读到这里就结束了,许多只问「听起来像不像帮助」的检查也到此为止。1

学生

我觉得 1/3 + 1/4 = 2/7。我把分子相加,分母也相加。这样对吗?

AI 教师

对,完全正确!分数相加就是把分子相加、分母相加。你理解得很好。

展品 A 对话原文,按构造呈现。一条学生消息,一段 AI 回复。

这段回复不粗鲁、不含糊,也不冗长。所有表面信号都说它帮上了忙。问题藏在下面,只有把光拆开时才看得见。

Five translucent coloured strips, red to violet, laid across a printed page beside a brass loupe and a pencil.

图版 I

同一束光,
五个问题。

图版 I五片彩色滤片压在同一页文字上,每一片只放过一种问题。生成示意图。

§2

分光

现在,让它穿过棱镜。

TutorBench 从五个维度读一段教学回复。同一束光,五个不同的问题。下面把展品 A 的回复,一条谱线一条谱线地读开。2

学生

我觉得 1/3 + 1/4 = 2/77/12。我把分子相加,分母也相加。这样对吗?

AI 教师

‸没有看上面的做法对,完全正确!分数相加就是把分子相加、分母相加。你理解得很好。放在哪个答案下都行‸没有反问学生‸没有下一步

图 2 把展品 A 像校样一样逐个维度批注:删除线表示错误,下划线是依据,插入号标出回复漏掉的东西。本页手工批注,不是 TutorBench 的评分。

λ1 · I / V

正确性

提供的帮助本身正确吗?

不正确。1/3 + 1/4 = 4/12 + 3/12 = 7/12。这段回复确认了一个错误。

λ2 · II / V

诊断能力

它看懂这个学生了吗?

学生已经说清 2/7 是怎么来的,回复却没有看这段推理一眼。

λ3 · III / V

引导能力

它帮学生往前走了吗?

它把问题关上了,而不是打开。

λ4 · IV / V

适应能力

它回应的是这个学生,还是任何一个学生?

这句表扬可以贴在任何答案下面,没有一个字是写给这个学生的。

λ5 · V / V

可执行性

学生知道下一步做什么吗?

没有下一步。这个误解离开时,比来时更牢固。

方法论全文

A glass prism on graph paper at an optical bench, splitting a beam of light into a spectrum.

图版 II

然后,把它
放上工作台。

图版 II光学台上,方格纸和一块棱镜。方法的意思是:每一次都用同样的方式读。生成示意图。

§3

方法

TutorBench,第一台仪器。

TutorBench 是 Teachometry 旗下的 AI 教学质量评测产品。它把一位 AI 老师放上光学台,让人工编写的学习情境逐一穿过,留下看清、修正、复测所需的全部证据。每个情境都以一个学生的身份写成:他说了什么、相信什么、想做到什么。

  1. 01

    编写的案例

    一个学生、一个目标、一句话、一段情境。

  2. 02

    被测 Tutor

    任何提供方,经过同一个中立适配层。

  3. 03

    评估器

    确定性检查,加语义评审(Judge)。

  4. 04

    原子化评分细则

    细粒度标准,等级清楚写明。

  5. 05

    证据报告

    每条发现都连着案例、维度和版本。

图 3 光学台。一个案例先穿过被测 Tutor,再穿过评估器,一束光在那里变成五条。

每个案例,同一条规则

图 4 光谱签名。每一行是一个学习情境,画成一条线光谱:横轴是 TutorBench 的 27 项能力,按五个维度分组;这个案例要测哪项能力,那里就亮一条线。最下面一行是全部 48 个案例的叠加。由公开案例数据生成,不是分数。
表 1公开案例,按学科与语言统计。
学科EN简中合计占 48 的比例
数学9918
编程5510
科学448
历史与社会336
语言336
全部学科242448
表 2公开案例,按学生水平统计(n = 48)。
水平案例数比例
初中20
高中12
小学高年级8
小学低年级6
入门2
48
个公开编写案例
5
个评测维度
5
个学科
27
个能力标签
128
条评分细则
2
种语言

Dataset · tutor-eval-v0.2a@0.2a.6 · 开发者预览

§4

图版

每一张图版,都是一个学生。

每一张图版都是一个人工编写的学习情境:学生说了什么、相信什么、想做到什么。底部那条光谱是这张图版的签名:这个案例要测哪项能力,就亮一条线(见图 4)。它说明这道题考什么,不代表任何 Tutor 的成绩。

探索全部案例

    §5

    结果

    一张刻意留空的表。

    仪器造好了,案例也公开了。目前还没有经过校准的公开运行,所以下面这张成绩表里没有数字。等到有模型运行公开时,它会带着版本、批次和证据一起出现。

    表 3tutor-eval-v0.2a 公开成绩。所有单元格都刻意留空。
    被测 Tutor 正确 诊断 引导 适应 执行 n
    ——
    尚无经过校准的公开运行。

    我们宁可给你看一个空读数,也不给你一个编出来的数字。

    一份公开成绩必须带着

    1. 版本测量时所用的数据集、评分细则与评估器版本。
    2. 批次具体跑了哪些案例,针对哪一个 Tutor。
    3. 证据每条发现都能追溯到一个案例和一个维度。

    成果状态与未来结构

    §7

    复现

    在本地运行,不需要 API 密钥。

    Quickstart 用确定性检查跑 4 个固定案例:不调用 Judge,不联网,不给正式分数。之后再把你自己的 Tutor 接入 Tutor Health。5

    tutorbench · node 24

    # 1 · clone
    git clone https://github.com/shuangyan123/tutorbench.git
    cd tutorbench
    # 2 · install
    npm ci
    # 3 · quickstart, provider-free
    npm run quickstart

    全部五种运行方式

    附录

    注释与参考

    1. 展品 A 为本页构造,不是任何真实模型的输出。
    2. 图 1、图 2 均为示意图。§2 中的五条解读为手写,不是 TutorBench 的评分。
    3. 数据集 tutor-eval-v0.2a@0.2a.6,开发者预览:48 个公开案例(24 个情境,各有英文与简体中文版),128 条评分细则,27 个能力标签,5 个学科。
    4. 维度。正确性:帮助本身正确吗?诊断能力:看懂这个学生了吗?引导能力:帮学生往前走了吗?适应能力:回应的是这个学生吗?可执行性:学生知道下一步做什么吗?
    5. Quickstart 只用确定性检查运行 tutor-eval-v0.1@0.1 中的 4 个固定案例:不调用 Judge,不联网,不给正式分数。
    6. 源码与案例: github.com/shuangyan123/tutorbench