跳转到正文
Docs
下载 Markdown

构建和检查任务包

用 Harbor 构建可复现的任务,并为精确版本记录验证证据。

下载 Markdown

任务包给智能体一项可在终端完成的工作,也给验证器一套可重复执行的检查。用 Harbor 格式组织文件,再用 Humanbased 的库存字段说明实际检查的是哪个版本。Harbor 任务格式

按读取方拆分文件

文件写什么谁需要读取
instruction.md工作要求、已有输入、输出路径和验收条件解题者
task.toml 与 environment/运行时限、资源、输入文件和可复现环境。用摘要固定镜像。解题者与运行器
tests/验证器、测试样例和评分依赖验证器
solution/用来验证任务可解的参考实现有权读取的验证器或审核者

采用独立验证器时,在 task.toml 的 artifacts 里列出验证所需的输出文件,并把这些输出视为不可信输入。隐藏测试、预期答案和参考实现放在解题镜像与 Marketplace 预览之外。库存记录要标明是否有参考实现。Harbor 本身允许省略参考实现。独立验证器 · 输出文件传递 · 参考实现

为同一个版本记录证据

库存字段需要记录什么
任务家族和包版本记录任务家族、任务包的精确版本、清单摘要和环境镜像摘要。按所列快照中的不同任务计数。
验证器层级和版本分别记录每种方法及其版本。第 1 层是程序检查,第 2 层是与参考结果比对,第 3 层是按评分规则判断。层级表示验证方法。
是否有参考实现记录是否存在参考实现,并给有权限的读者提供版本或摘要。
校准如果声称做过前沿智能体校准,对同一任务包和验证器版本固定三种智能体配置,每种运行八次。记录模型、设置、预算、次数和批次引用,只比较配置可比的运行。
运行证据分别记录执行状态、检查结果和奖励有效性判定。执行状态为 completed(已完成)、budget_exhausted(预算耗尽)或 infra_error(基础设施故障)。检查结果以验证器报告为准。把基础设施故障计入执行状态,每项比率均注明分子和分母。

查看 Marketplace 条目时,把所示指标与任务包、验证器版本逐一对应。缺少字段时按不可用处理,区分卖方报告的证据和平台实测结果。只向买方提供允许披露的摘要和引用,原始验证日志保留在内部。

跑一个小例子

这个防火墙审计示例使用四行虚构输入,演示任务包的结构和检查方法,不公开真实任务的答案。请使用 Harbor 0.25.0,并确认本机的 Docker 已启动。在一个新建工作目录中执行以下命令。

mkdir -p firewall-port-audit/{environment,solution,tests}

cat > firewall-port-audit/instruction.md <<'EOF'
Read /app/rules.txt. Each row contains a protocol and port separated by a
space. Write /app/ports.txt with the distinct TCP port numbers, in numeric
ascending order, one per line, ending with a newline.
EOF

cat > firewall-port-audit/task.toml <<'EOF'
artifacts = ["/app/ports.txt"]

[agent]
timeout_sec = 30

[environment]
build_timeout_sec = 120

[verifier]
environment_mode = "separate"
timeout_sec = 30
EOF

cat > firewall-port-audit/environment/Dockerfile <<'EOF'
FROM python:3.12-slim@sha256:4840d514c583a4d3d8cad3940e68dee6f0f6f3635c12fcd0a3d74c21a5b93a54
WORKDIR /app
RUN printf '%s\n' 'tcp 443' 'udp 53' 'tcp 22' 'tcp 443' > /app/rules.txt
EOF

cat > firewall-port-audit/solution/solve.sh <<'EOF'
#!/bin/sh
set -eu
awk '$1 == "tcp" { print $2 }' /app/rules.txt | sort -nu > /app/ports.txt
EOF

cat > firewall-port-audit/tests/test.sh <<'EOF'
#!/bin/sh
set -eu
mkdir -p /logs/verifier
if printf '22\n443\n' | cmp -s - /app/ports.txt; then
  printf '1\n' > /logs/verifier/reward.txt
else
  printf '0\n' > /logs/verifier/reward.txt
fi
EOF

chmod +x firewall-port-audit/{solution/solve.sh,tests/test.sh}
harbor run -p firewall-port-audit -a oracle -e docker -o jobs --job-name oracle
harbor run -p firewall-port-audit -a nop -e docker -o jobs --job-name nop

参考实现应得到奖励值 1,空操作应得到 0,两次都应没有异常。可在各自的 result.json 中核对。记录校准结果时,保留每次运行对应的任务包和验证器版本,单列基础设施错误。这两次运行验证的是示例可解以及空操作无法通过。前沿智能体校准需要单独执行模型试验批次。Harbor 编写教程

按任务领域选择配方

按任务所需的验证证据选择配方。

填写库存卡片时,记录条目类型、精确版本、编写与验证人员或工具的角色、来源与许可范围,以及可以查阅的证据。任务包按其中不同的任务计数,轨迹集按有独立标识且可访问的轨迹计数。修正记录注明修正者、原因、审阅状态和修正前后的检查结果。如果由人员或模型评价说明,应将评分标准、校准和审阅与程序检查结果分开记录。