按任务包规范组织文件,并记录与精确版本对应的证据。
选择一项能用获准使用的输入或自有数据复现的分析。本例采用分析复现的方法和自行编写的合成观测值。
编写与验证
给解题者训练样本,以及需要预测的特征值和 ID。留出集的目标值由验证器保存。运行前明确预测文件结构、平均绝对误差和阈值。第 1 层程序化检查会拒绝缺少 ID、非有限值或超过阈值的预测结果,直接用指标判定。
校准与修正
用已知正确的复现结果和常数预测器作对照。固定训练集与留出集的摘要、指标代码和任务版本。缺失或格式错误的预测记为检查失败,运行器故障单列。如果常数预测也能通过,调整数据切分或阈值,记录新的验证器版本,并重跑对照。
可运行示例
用 Python 3.12 运行。脚本从训练观测值拟合斜率,并对照两个留出目标检查预测。参考实现应通过,常数预测和缺少 ID 的对照应失败。
python3.12 - <<'PY'
from math import isfinite
train = [(1, 2), (2, 4), (3, 6)]
features = {"a": 4, "b": 5}
targets = {"a": 8, "b": 10}
slope = sum(x * y for x, y in train) / sum(x * x for x, _ in train)
def passes(predictions):
if predictions.keys() != targets.keys():
return False
if not all(type(value) in (int, float) and isfinite(value) for value in predictions.values()):
return False
error = sum(abs(predictions[key] - value) for key, value in targets.items())
return error / len(targets) <= 0.10
assert passes({key: slope * x for key, x in features.items()})
assert not passes({"a": 4, "b": 4})
assert not passes({"a": 8})
assert not passes({"a": 8, "b": "10"})
print("reference pass, constant fail, missing ID fail")
PY打包时,从声明的输出文件读取预测值,对照验证器保存的目标值评分。私有证据记录实际误差和阈值。