一份让人犹豫的作业

先看一段输出。

题目要求根据工龄、完成率、满意度算绩效等级。标准答案是:

C

但有一份提交,程序跑出来是这样:

工龄: 完成率: 满意度: 绩效等级: C

如果用一个最朴素的 diff 去比,它错了。0 分。

可只要是人看,都会说:这不对吗?它算对了,只是话多。

这份代码是我自己写的演示样本,不是真实学生提交。但这个毛病,我在太多作业里见过:学生把“和用户交互”当成了程序的一部分。他们认真写了提示语,甚至贴心地加了中文说明,然后在自动评分里被判成“输出格式错误”。

这件事让我第一次意识到:评分器看到的“错”,不一定是学生不会。

从论文到代码,问题变了

上学期我写过一套给论文做初评的 AI 流水线,解决的是“读得慢”。老师定标准,多个 Agent 并行初评,把三天压成三十分钟。

这次我想解决的是另一个问题:跑得危险。

文字作业最坏的情况,是言之无物。代码作业最坏的情况,是把你批改作业的电脑搞挂:

  • 死循环,while(1) 一直跑;
  • 数组越界,进程直接段错误;
  • 递归太深,栈溢出;
  • fork() 停不下来,进程表被塞满;
  • 疯狂 printf,输出把管道撑爆;
  • 更极端的,试着读写宿主机文件、连外网、提权。

你不能要求一个助教在运行每一份作业前,先人肉审一遍代码。也不能因为一份作业写坏了,就让整台机器陪着重启。

所以我给自己定了一个很具体的目标:

无论学生写成什么样,系统都要能安全地跑一次,并给出一个说得清的分。

不是“跑对的题”,是“接住一个班”。

把“运行”和“判分”拆开

最后的架构不复杂,核心就一句话:不可信的代码,放进一次性的盒子里;判分逻辑,留在盒子外面。

学生 .c
   │  源码经 stdin 传入,不挂载目录
   ▼
一次性 Docker 容器
   │  gcc 编译
   │  逐用例运行:stdin 喂输入,收集 stdout / stderr / 退出码 / 耗时
   │  --network none --read-only --memory 256m --pids-limit 64
   ▼
容器外判分器
   │  比较输出 → 9 种判定 → 100 分 rubric
   ▼
Markdown 报告 + JSON 数据

我把它想成一次性纸杯:每份提交用一个新杯子,用完就扔。不挂载学生目录,不联网,不给 root,不保留上一次的指纹。

具体限制:

  • --network none:断网;
  • --read-only + --tmpfs /tmp:根文件系统只读,只有 /tmp 可写;
  • --memory 256m --memory-swap 256m:内存封顶;
  • --pids-limit 64:fork 炸弹会把 PID 用完,然后被内核拦住;
  • --cpus 0.5:不让一份作业吃满机器;
  • --cap-drop ALL --security-opt no-new-privileges:不给能力,也不让提权;
  • --user nobody:容器里也不是 root。

这些参数不是装饰。我专门写了五个探针去撞它:写根目录、读 /etc/shadow、连外网、输出洪水、fork 炸弹。前三个被挡住,后两个分别变成 OLE 和 TLE。

安全不是“我觉得应该没事”,是“我试过它会被拦住”。

九种状态,而不是两种

大部分评分器只有“对/错”。但教学现场不是二值的。

这套系统最后落成九种判定:

判定 含义 在演示集里的分数
AC 全部用例通过 100
WA 答案错误 87.5 / 55
CE 编译失败 5
TLE 超时 17.5
RE 运行时崩溃 15
OLE 输出超限 15
MLE 进程被 SIGKILL,疑似超内存 17.5
MISSING 没交 0
SE 沙箱自己故障 不计学生分

我最喜欢的是最后一条 SE。

如果 Docker 自己超时了、容器起不来、runner 崩了,系统会把它标成“系统错误”,而不是悄悄算成学生 0 分。一个评分系统,首先要能承认自己坏了。 否则老师看到的就是“这个学生怎么突然不会了”,而真相是机器没跑起来。

同一份“提示语”,四道题四个分

更有意思的是,同一份爱打印提示语的作业,放到四道题里,分数完全不一样:

作业 分数 判定 比较方式
分段函数求值 97.5 AC 只抽数字,忽略中文提示
三角形判断 27.5 WA 整行文本比对
简易计算器 71.7 WA 按 token 比对
绩效等级 25.0 WA 严格整行比对

97.5 不是因为放水,25 也不是因为双标。

原因是:每道题对“输出”的契约不一样。 数值题只关心算得对不对,提示语是噪音;等级题要求输出一个干净的结果,多一个“工龄:”就破坏了契约;计算器题介于两者之间,允许 token 级差异,但不允许把 3.00 算成 3.75。

所以这套系统给每道题配了三种比较方式:

  • exact:整行严格比较;
  • numbers:抽取输出里的所有数字,按容差比较;
  • tokens:忽略空白和标点,按 token 比较。

宽容不是放水,是把“表达噪音”和“逻辑错误”分开计价。 一个学生多打印了一句提示语,和一个学生把除法写成了乘法,不该拿同样的 0 分。

一个班,一条光谱

演示班里有一道分段函数题,12 份提交,最后是这样一条光谱:

学生 分数 状态 故事
alice 100 AC 写对了
bob 97.5 AC 写对了,但话多
carol 87.5 WA 边界 x=2 算错
judy 55 WA 只写死了样例
nina 17.5 MLE 无限申请内存
erin 17.5 TLE 死循环
frank 15 RE 数组越界崩溃
grace 15 OLE 输出洪水
heidi 15 TLE fork 炸弹
dave 5 CE 少了一个分号
ivan 0 MISSING 没交

你会发现,“0 分”和“不会”之间,其实隔着很多层:没交、编译不过、跑崩、超时、只对样例、边界错、格式错、真的会。

传统评分把这些压缩成一个数字,老师看到的只是“这人不行”。而这套系统至少能告诉老师:他是不行,还是没交,还是机器没跑起来。

我怎么证明它不是 PPT

我不太相信“架构图画得漂亮”这件事,所以最后做了一轮可复现的验证:

  • 28 份提交、4 个作业、4 并发,一次全量约 13 秒;
  • 13 个纯逻辑单测,不依赖 Docker,CI 里也能跑;
  • 5 个沙箱探针,覆盖写文件、读敏感文件、联网、输出洪水、fork 炸弹;
  • 把仓库 git clone 到一个干净目录,重新跑单测和批改,能复现;
  • 报告里的提交路径全部改成相对路径,不泄露本机目录。

过程中也抓到了自己的问题:

  • 报告里曾经带出本机绝对路径,虽然不影响分数,但不该出现在一个要给别人看的仓库里;
  • 我一度把 MLE 写成“已证明内存超限”,后来改成更诚实的“进程被 SIGKILL,疑似超内存”;
  • 早期报告把“输出被截断”打印成一长串 flood flood flood,看起来很蠢,后来改成了人话。

这些细节不上架构图,但它们决定了这个东西能不能交给别人用。

边界

我不想把它说成银弹。

  • Docker 不是强安全边界。 面对真正恶意的多租户,应该叠加 gVisor、Kata 或 Firecracker。这个项目的风险级别,明确限定在“学生作业”。
  • MLE 是推断。 被 SIGKILL 可能是内存,也可能是别的;报告里只说我观察到的。
  • 没有让 LLM 判代码。 分数来自可复现的用例和规则,不来自模型的心情。LLM 也许适合写评语,但不适合决定 87.5 还是 88。
  • 老师仍然是最终裁判。 系统做的是初评和分流,不是替代教学判断。

回到那份作业

开头那份打印了“工龄: 完成率: 满意度:”的作业,最后在“只抽数字”的题目里拿了 97.5,在“严格整行”的题目里拿了 25。

这不是系统抽风,是两道题本来就在问不同的问题。

我越来越觉得,评分系统的第一件事不是排序,是区分:

区分不会、没交、写错、跑崩、格式错,以及系统自己坏了。

那个多打印了一句提示语的学生,不该因为话多被判成 0 分;那个写死循环的学生,也不该让全班电脑陪他重启。

这套东西现在放在 CNB 上,公开仓库,28 份演示提交都在里面:

https://cnb.cool/acidbunny/hw-grader

git clone https://cnb.cool/acidbunny/hw-grader.git
cd hw-grader
docker build -t hw-grader-sandbox:latest sandbox
python -m grader.cli grade-all --jobs 4

如果你也是老师、助教,或者只是想让自己的作业评分不再靠人肉 diff,欢迎拿去改成你的版本。

不是卖产品,是一个被“请输入”坑过的人,顺手把评分器修得讲理了一点。