不是所有 0 分都叫不会:我给 C 作业批改加了一层 Docker
一份让人犹豫的作业
先看一段输出。
题目要求根据工龄、完成率、满意度算绩效等级。标准答案是:
C
但有一份提交,程序跑出来是这样:
工龄: 完成率: 满意度: 绩效等级: C
如果用一个最朴素的 diff 去比,它错了。0 分。
可只要是人看,都会说:这不对吗?它算对了,只是话多。
这份代码是我自己写的演示样本,不是真实学生提交。但这个毛病,我在太多作业里见过:学生把“和用户交互”当成了程序的一部分。他们认真写了提示语,甚至贴心地加了中文说明,然后在自动评分里被判成“输出格式错误”。
这件事让我第一次意识到:评分器看到的“错”,不一定是学生不会。
从论文到代码,问题变了
上学期我写过一套给论文做初评的 AI 流水线,解决的是“读得慢”。老师定标准,多个 Agent 并行初评,把三天压成三十分钟。
这次我想解决的是另一个问题:跑得危险。
文字作业最坏的情况,是言之无物。代码作业最坏的情况,是把你批改作业的电脑搞挂:
- 死循环,
while(1)一直跑; - 数组越界,进程直接段错误;
- 递归太深,栈溢出;
fork()停不下来,进程表被塞满;- 疯狂
printf,输出把管道撑爆; - 更极端的,试着读写宿主机文件、连外网、提权。
你不能要求一个助教在运行每一份作业前,先人肉审一遍代码。也不能因为一份作业写坏了,就让整台机器陪着重启。
所以我给自己定了一个很具体的目标:
无论学生写成什么样,系统都要能安全地跑一次,并给出一个说得清的分。
不是“跑对的题”,是“接住一个班”。
把“运行”和“判分”拆开
最后的架构不复杂,核心就一句话:不可信的代码,放进一次性的盒子里;判分逻辑,留在盒子外面。
学生 .c
│ 源码经 stdin 传入,不挂载目录
▼
一次性 Docker 容器
│ gcc 编译
│ 逐用例运行:stdin 喂输入,收集 stdout / stderr / 退出码 / 耗时
│ --network none --read-only --memory 256m --pids-limit 64
▼
容器外判分器
│ 比较输出 → 9 种判定 → 100 分 rubric
▼
Markdown 报告 + JSON 数据
我把它想成一次性纸杯:每份提交用一个新杯子,用完就扔。不挂载学生目录,不联网,不给 root,不保留上一次的指纹。
具体限制:
--network none:断网;--read-only+--tmpfs /tmp:根文件系统只读,只有/tmp可写;--memory 256m --memory-swap 256m:内存封顶;--pids-limit 64:fork 炸弹会把 PID 用完,然后被内核拦住;--cpus 0.5:不让一份作业吃满机器;--cap-drop ALL --security-opt no-new-privileges:不给能力,也不让提权;--user nobody:容器里也不是 root。
这些参数不是装饰。我专门写了五个探针去撞它:写根目录、读 /etc/shadow、连外网、输出洪水、fork 炸弹。前三个被挡住,后两个分别变成 OLE 和 TLE。
安全不是“我觉得应该没事”,是“我试过它会被拦住”。
九种状态,而不是两种
大部分评分器只有“对/错”。但教学现场不是二值的。
这套系统最后落成九种判定:
| 判定 | 含义 | 在演示集里的分数 |
|---|---|---|
AC |
全部用例通过 | 100 |
WA |
答案错误 | 87.5 / 55 |
CE |
编译失败 | 5 |
TLE |
超时 | 17.5 |
RE |
运行时崩溃 | 15 |
OLE |
输出超限 | 15 |
MLE |
进程被 SIGKILL,疑似超内存 | 17.5 |
MISSING |
没交 | 0 |
SE |
沙箱自己故障 | 不计学生分 |
我最喜欢的是最后一条 SE。
如果 Docker 自己超时了、容器起不来、runner 崩了,系统会把它标成“系统错误”,而不是悄悄算成学生 0 分。一个评分系统,首先要能承认自己坏了。 否则老师看到的就是“这个学生怎么突然不会了”,而真相是机器没跑起来。
同一份“提示语”,四道题四个分
更有意思的是,同一份爱打印提示语的作业,放到四道题里,分数完全不一样:
| 作业 | 分数 | 判定 | 比较方式 |
|---|---|---|---|
| 分段函数求值 | 97.5 | AC |
只抽数字,忽略中文提示 |
| 三角形判断 | 27.5 | WA |
整行文本比对 |
| 简易计算器 | 71.7 | WA |
按 token 比对 |
| 绩效等级 | 25.0 | WA |
严格整行比对 |
97.5 不是因为放水,25 也不是因为双标。
原因是:每道题对“输出”的契约不一样。 数值题只关心算得对不对,提示语是噪音;等级题要求输出一个干净的结果,多一个“工龄:”就破坏了契约;计算器题介于两者之间,允许 token 级差异,但不允许把 3.00 算成 3.75。
所以这套系统给每道题配了三种比较方式:
exact:整行严格比较;numbers:抽取输出里的所有数字,按容差比较;tokens:忽略空白和标点,按 token 比较。
宽容不是放水,是把“表达噪音”和“逻辑错误”分开计价。 一个学生多打印了一句提示语,和一个学生把除法写成了乘法,不该拿同样的 0 分。
一个班,一条光谱
演示班里有一道分段函数题,12 份提交,最后是这样一条光谱:
| 学生 | 分数 | 状态 | 故事 |
|---|---|---|---|
| alice | 100 | AC |
写对了 |
| bob | 97.5 | AC |
写对了,但话多 |
| carol | 87.5 | WA |
边界 x=2 算错 |
| judy | 55 | WA |
只写死了样例 |
| nina | 17.5 | MLE |
无限申请内存 |
| erin | 17.5 | TLE |
死循环 |
| frank | 15 | RE |
数组越界崩溃 |
| grace | 15 | OLE |
输出洪水 |
| heidi | 15 | TLE |
fork 炸弹 |
| dave | 5 | CE |
少了一个分号 |
| ivan | 0 | MISSING |
没交 |
你会发现,“0 分”和“不会”之间,其实隔着很多层:没交、编译不过、跑崩、超时、只对样例、边界错、格式错、真的会。
传统评分把这些压缩成一个数字,老师看到的只是“这人不行”。而这套系统至少能告诉老师:他是不行,还是没交,还是机器没跑起来。
我怎么证明它不是 PPT
我不太相信“架构图画得漂亮”这件事,所以最后做了一轮可复现的验证:
- 28 份提交、4 个作业、4 并发,一次全量约 13 秒;
- 13 个纯逻辑单测,不依赖 Docker,CI 里也能跑;
- 5 个沙箱探针,覆盖写文件、读敏感文件、联网、输出洪水、fork 炸弹;
- 把仓库
git clone到一个干净目录,重新跑单测和批改,能复现; - 报告里的提交路径全部改成相对路径,不泄露本机目录。
过程中也抓到了自己的问题:
- 报告里曾经带出本机绝对路径,虽然不影响分数,但不该出现在一个要给别人看的仓库里;
- 我一度把
MLE写成“已证明内存超限”,后来改成更诚实的“进程被 SIGKILL,疑似超内存”; - 早期报告把“输出被截断”打印成一长串
flood flood flood,看起来很蠢,后来改成了人话。
这些细节不上架构图,但它们决定了这个东西能不能交给别人用。
边界
我不想把它说成银弹。
- Docker 不是强安全边界。 面对真正恶意的多租户,应该叠加 gVisor、Kata 或 Firecracker。这个项目的风险级别,明确限定在“学生作业”。
- MLE 是推断。 被 SIGKILL 可能是内存,也可能是别的;报告里只说我观察到的。
- 没有让 LLM 判代码。 分数来自可复现的用例和规则,不来自模型的心情。LLM 也许适合写评语,但不适合决定 87.5 还是 88。
- 老师仍然是最终裁判。 系统做的是初评和分流,不是替代教学判断。
回到那份作业
开头那份打印了“工龄: 完成率: 满意度:”的作业,最后在“只抽数字”的题目里拿了 97.5,在“严格整行”的题目里拿了 25。
这不是系统抽风,是两道题本来就在问不同的问题。
我越来越觉得,评分系统的第一件事不是排序,是区分:
区分不会、没交、写错、跑崩、格式错,以及系统自己坏了。
那个多打印了一句提示语的学生,不该因为话多被判成 0 分;那个写死循环的学生,也不该让全班电脑陪他重启。
这套东西现在放在 CNB 上,公开仓库,28 份演示提交都在里面:
https://cnb.cool/acidbunny/hw-grader
git clone https://cnb.cool/acidbunny/hw-grader.git
cd hw-grader
docker build -t hw-grader-sandbox:latest sandbox
python -m grader.cli grade-all --jobs 4
如果你也是老师、助教,或者只是想让自己的作业评分不再靠人肉 diff,欢迎拿去改成你的版本。
不是卖产品,是一个被“请输入”坑过的人,顺手把评分器修得讲理了一点。