# 构建和检查任务包


任务包给智能体一项可在终端完成的工作，也给验证器一套可重复执行的检查。用 Harbor 格式组织文件，再用 Humanbased 的库存字段说明实际检查的是哪个版本。[Harbor 任务格式](https://docs.harborframework.com/tasks/overview)

### 按读取方拆分文件

| 文件 | 写什么 | 谁需要读取 |
| --- | --- | --- |
| `instruction.md` | 工作要求、已有输入、输出路径和验收条件 | 解题者 |
| `task.toml` 与 `environment/` | 运行时限、资源、输入文件和可复现环境。用摘要固定镜像。 | 解题者与运行器 |
| `tests/` | 验证器、测试样例和评分依赖 | 验证器 |
| `solution/` | 用来验证任务可解的参考实现 | 有权读取的验证器或审核者 |

采用独立验证器时，在 `task.toml` 的 `artifacts` 里列出验证所需的输出文件，并把这些输出视为不可信输入。隐藏测试、预期答案和参考实现放在解题镜像与 Marketplace 预览之外。库存记录要标明是否有参考实现。Harbor 本身允许省略参考实现。[独立验证器](https://docs.harborframework.com/tasks/separate-verifier) · [输出文件传递](https://docs.harborframework.com/tasks/artifacts) · [参考实现](https://docs.harborframework.com/tasks/solution)

### 为同一个版本记录证据

| 库存字段 | 需要记录什么 |
| --- | --- |
| 任务家族和包版本 | 记录任务家族、任务包的精确版本、清单摘要和环境镜像摘要。按所列快照中的不同任务计数。 |
| 验证器层级和版本 | 分别记录每种方法及其版本。第 1 层是程序检查，第 2 层是与参考结果比对，第 3 层是按评分规则判断。层级表示验证方法。 |
| 是否有参考实现 | 记录是否存在参考实现，并给有权限的读者提供版本或摘要。 |
| 校准 | 如果声称做过前沿智能体校准，对同一任务包和验证器版本固定三种智能体配置，每种运行八次。记录模型、设置、预算、次数和批次引用，只比较配置可比的运行。 |
| 运行证据 | 分别记录执行状态、检查结果和奖励有效性判定。执行状态为 `completed`（已完成）、`budget_exhausted`（预算耗尽）或 `infra_error`（基础设施故障）。检查结果以验证器报告为准。把基础设施故障计入执行状态，每项比率均注明分子和分母。 |

查看 Marketplace 条目时，把所示指标与任务包、验证器版本逐一对应。缺少字段时按不可用处理，区分卖方报告的证据和平台实测结果。只向买方提供允许披露的摘要和引用，原始验证日志保留在内部。

### 跑一个小例子

这个防火墙审计示例使用四行虚构输入，演示任务包的结构和检查方法，不公开真实任务的答案。请使用 Harbor 0.25.0，并确认本机的 Docker 已启动。在一个新建工作目录中执行以下命令。

```bash
mkdir -p firewall-port-audit/{environment,solution,tests}

cat > firewall-port-audit/instruction.md <<'EOF'
Read /app/rules.txt. Each row contains a protocol and port separated by a
space. Write /app/ports.txt with the distinct TCP port numbers, in numeric
ascending order, one per line, ending with a newline.
EOF

cat > firewall-port-audit/task.toml <<'EOF'
artifacts = ["/app/ports.txt"]

[agent]
timeout_sec = 30

[environment]
build_timeout_sec = 120

[verifier]
environment_mode = "separate"
timeout_sec = 30
EOF

cat > firewall-port-audit/environment/Dockerfile <<'EOF'
FROM python:3.12-slim@sha256:4840d514c583a4d3d8cad3940e68dee6f0f6f3635c12fcd0a3d74c21a5b93a54
WORKDIR /app
RUN printf '%s\n' 'tcp 443' 'udp 53' 'tcp 22' 'tcp 443' > /app/rules.txt
EOF

cat > firewall-port-audit/solution/solve.sh <<'EOF'
#!/bin/sh
set -eu
awk '$1 == "tcp" { print $2 }' /app/rules.txt | sort -nu > /app/ports.txt
EOF

cat > firewall-port-audit/tests/test.sh <<'EOF'
#!/bin/sh
set -eu
mkdir -p /logs/verifier
if printf '22\n443\n' | cmp -s - /app/ports.txt; then
  printf '1\n' > /logs/verifier/reward.txt
else
  printf '0\n' > /logs/verifier/reward.txt
fi
EOF

chmod +x firewall-port-audit/{solution/solve.sh,tests/test.sh}
harbor run -p firewall-port-audit -a oracle -e docker -o jobs --job-name oracle
harbor run -p firewall-port-audit -a nop -e docker -o jobs --job-name nop
```

参考实现应得到奖励值 `1`，空操作应得到 `0`，两次都应没有异常。可在各自的 `result.json` 中核对。记录校准结果时，保留每次运行对应的任务包和验证器版本，单列基础设施错误。这两次运行验证的是示例可解以及空操作无法通过。前沿智能体校准需要单独执行模型试验批次。[Harbor 编写教程](https://docs.harborframework.com/tutorials/create-a-task)

### 按任务领域选择配方

按任务所需的验证证据选择配方。

- [验证软件任务](/zh/data/task-package-software)
- [验证机器学习复现任务](/zh/data/task-package-ml)
- [验证科学计算任务](/zh/data/task-package-science)
- [验证合成数据对账任务](/zh/data/task-package-finance)
- [验证工具故障恢复轨迹](/zh/data/task-package-fundamentals)
- [验证形式化证明任务](/zh/data/task-package-math)

填写库存卡片时，记录条目类型、精确版本、编写与验证人员或工具的角色、来源与许可范围，以及可以查阅的证据。任务包按其中不同的任务计数，轨迹集按有独立标识且可访问的轨迹计数。修正记录注明修正者、原因、审阅状态和修正前后的检查结果。如果由人员或模型评价说明，应将评分标准、校准和审阅与程序检查结果分开记录。
