# 验证软件任务


按[任务包规范](/zh/data/task-packages)组织文件，并记录与精确版本对应的证据。

先选择一种可在终端复现的行为。本配方借鉴 Terminal-Bench 的任务形式，使用自行编写的端口审计样例。[Terminal-Bench 仓库](https://github.com/harbor-framework/terminal-bench)

## 编写与验证

在任务说明中写清输入格式、输出路径、排序和换行要求。解题镜像提供输入与所需工具，独立验证器保存预期输出和测试用例。这里采用第 1 层程序化检查，按照准确的输出约定直接判定。

## 校准与修正

分别运行参考实现、另一种正确实现和空操作。至少保留一组能识别硬编码答案的输入。模型试验需要记录任务包和验证器的版本、结果及奖励有效性。镜像启动失败归入基础设施错误。如果硬编码答案通过，保留暴露问题的用例，并对照重跑修正前后的验证器。

## 可运行示例

在空目录中用 Python 3.12 运行这段本地检查。两组输入都是虚构数据。输出应显示参考实现通过两组检查，而硬编码答案未通过第二组。

```bash
python3.12 - <<'PY'
def reference(lines):
    ports = {int(port) for protocol, port in map(str.split, lines) if protocol == "tcp"}
    return "".join(f"{port}\n" for port in sorted(ports))

cases = [
    (["tcp 443", "udp 53", "tcp 22", "tcp 443"], "22\n443\n"),
    (["tcp 80", "tcp 8080", "udp 22"], "80\n8080\n"),
]
assert [reference(lines) == expected for lines, expected in cases] == [True, True]
assert ["22\n443\n" == expected for _, expected in cases] == [True, False]
assert ["" == expected for _, expected in cases] == [False, False]
print("reference 2/2, hardcoded 1/2, no-op 0/2")
PY
```

打包时，把用例移入验证器专用的测试夹具，并使用任务包规范中的参考实现与空操作运行命令。此检查验证这些用例能区分不同输出。
