按任务包规范组织文件,并记录与精确版本对应的证据。
先选择一种可在终端复现的行为。本配方借鉴 Terminal-Bench 的任务形式,使用自行编写的端口审计样例。Terminal-Bench 仓库
编写与验证
在任务说明中写清输入格式、输出路径、排序和换行要求。解题镜像提供输入与所需工具,独立验证器保存预期输出和测试用例。这里采用第 1 层程序化检查,按照准确的输出约定直接判定。
校准与修正
分别运行参考实现、另一种正确实现和空操作。至少保留一组能识别硬编码答案的输入。模型试验需要记录任务包和验证器的版本、结果及奖励有效性。镜像启动失败归入基础设施错误。如果硬编码答案通过,保留暴露问题的用例,并对照重跑修正前后的验证器。
可运行示例
在空目录中用 Python 3.12 运行这段本地检查。两组输入都是虚构数据。输出应显示参考实现通过两组检查,而硬编码答案未通过第二组。
python3.12 - <<'PY'
def reference(lines):
ports = {int(port) for protocol, port in map(str.split, lines) if protocol == "tcp"}
return "".join(f"{port}\n" for port in sorted(ports))
cases = [
(["tcp 443", "udp 53", "tcp 22", "tcp 443"], "22\n443\n"),
(["tcp 80", "tcp 8080", "udp 22"], "80\n8080\n"),
]
assert [reference(lines) == expected for lines, expected in cases] == [True, True]
assert ["22\n443\n" == expected for _, expected in cases] == [True, False]
assert ["" == expected for _, expected in cases] == [False, False]
print("reference 2/2, hardcoded 1/2, no-op 0/2")
PY打包时,把用例移入验证器专用的测试夹具,并使用任务包规范中的参考实现与空操作运行命令。此检查验证这些用例能区分不同输出。