Teachometry
运行

运行 · 开始使用Node 24 · tutor-eval-v0.2a@0.2a.6

从研究问题走向可复现运行。

先在本地运行 TutorBench,再把外部 Tutor 接入 Tutor Health 工作流,诊断人工编写真实场景中的具体教学失败。标准基准与冻结证据路径继续作为底层可复现层保留。

立即在本地运行 查看文档

  • 开源
  • 透明评测
  • 证据优先
四支盛着清水的玻璃试管立在铝制试管架上,下面是白纸;一盏低处的灯把长长的影子投向镜头。每支试管贴着纸标签:编号 01 到 04、一个公开案例 ID,以及数据集 tutor-eval-v0.2a@0.2a.6。
封面 · 相同案例。不同 Tutor。可比较的证据。

五种运行方式

同样的问题。
更清晰的证据。

运行工作流

01 / 05

开始使用(无需服务提供方)

克隆仓库并运行确定性 Quickstart。

tutorbench · quickstart

# 1. Clone the repository
git clone https://github.com/shuangyan123/tutorbench.git
cd tutorbench

# 2. Install dependencies
npm ci

# 3. Run the Quickstart (no API key)
npm run quickstart
  • 仓库 main · Node 24
  • 无需 API key 即可本地运行
  • 使用 tutor-eval-v0.1@0.1 中的 4 个固定案例
  • 无需 Judge,无需网络连接
  • 确定性检查(不产生正式分数)
  • 不具备排行榜资格

这是不产生总分的开发/冒烟演示;Quickstart 不会削弱标准基准的边界。

已发布 0.1.0 · Node 22历史 CLI 包含 Quickstart;Tutor Health 需要 Node 24 仓库源码。

npm install tutor-benchmark@0.1.0npx --no-install tutorbench quickstart

当前工作流使用 Node 24 的仓库源码。已发布 npm 0.1.0 要求 Node 22,包含 Quickstart,但没有 Tutor Health CLI 或 API。查看发行渠道与 API 边界

如何运行

可追踪的运行。
服务于更好的研究。

  1. 1

    安装

    选择 Node 24 仓库源码,或历史 Node 22 软件包。

  2. 2

    运行

    先运行 Quickstart;Tutor Health 需要仓库构建。

  3. 3

    检查

    在下一次修改 Tutor 之前,检查发现、证据、覆盖情况与版本化产物。

执行边界

现在可以运行什么?

不同工作流服务于不同目的。这里说明当前可用的内容、需要额外组件的内容,以及仍不属于当前公开范围的内容。

无需服务提供方

  • Quickstart 演示
  • 公开案例/数据检查
  • 冻结语料验证与重放
  • 网站与产物工作流
  • Dry-run 与请求校验
立即在本地运行

外部 Tutor / 模型

  • HTTP Tutor 适配器(POST /respond)
  • 产品 Tutor 采集
  • 标准模型采集
  • 显式 Judge 服务提供方(OpenAI Responses、DeepSeek、通用 Chat Completions)
  • 高级离线分析工作流
查看配置指南

尚未公开

  • 校准后的公开模型结果
  • 人工校准与验证
  • 统计验证
  • 正式排行榜
了解路线图

让每次运行都清晰可读

可复现性检查表

请将以下信息与结果一起记录,方便验证、重放和比较。

  1. 数据集版本例如,tutor-eval-v0.2a@0.2a.6
  2. 案例或语料身份案例 ID 或冻结语料
  3. Prompt / 生成规格Prompt 模板与参数
  4. 服务提供方与模型快照模型名称、版本和设置(如适用)
  5. 运行元数据日期、环境、配置
  6. 证据输出日志、追踪信息与评测结果

tutor-eval-v0.2a@0.2a.6

结构化案例
用于透明评测。

  • 01correct-answer-wrong-reasoning-001
  • 02correct-answer-wrong-reasoning-001-zh-CN
  • 03fraction-misconception-001
  • 04fraction-misconception-001-zh-CN
相同案例。
不同 Tutor。
可比较的证据。