跳转至

Verified 预注册-20:执行准备与镜像覆盖

本文是执行前的可用性记录及报告模板,不是实验结果。预注册 20 实例清单保持不变。

可用性快照:2026-11-08 20:35:55(北京时间)

  • 预注册:20 实例、12 仓库;有效独立样本计划为 18,另有 2 个复用实例。
  • 精确 image inspect:14 个就绪、6 个缺失、0 个环境错误。
  • 当前可用镜像覆盖 10 个仓库;scikit-learn 和 xarray 的覆盖暂时缺失。
  • 如果最终只能执行当前这 14 个:独立实例为 12,复用实例为 2;独立实例覆盖 8 个仓库,总覆盖 10 个仓库。
  • 实际执行尚未开始。以上 14/12/10 是条件情景,不能写成已执行结果;换源补齐后应重新计算。
仓库 预注册配额 就绪 缺失 对当前覆盖的影响
astropy/astropy 1 1 0 齐备
django/django 4 4 0 齐备
matplotlib/matplotlib 2 1 1 覆盖保留、样本不齐
mwaskom/seaborn 1 1 0 齐备
pallets/flask 1 1 0 齐备
psf/requests 1 1 0 齐备
pydata/xarray 1 0 1 覆盖暂缺
pylint-dev/pylint 1 1 0 齐备
pytest-dev/pytest 1 1 0 齐备
scikit-learn/scikit-learn 2 0 2 覆盖暂缺
sphinx-doc/sphinx 2 1 1 覆盖保留、样本不齐
sympy/sympy 3 2 1 覆盖保留、样本不齐

6 个缺失实例均为独立实例:

  • matplotlib__matplotlib-24970(matplotlib/matplotlib)
  • pydata__xarray-3993(pydata/xarray)
  • scikit-learn__scikit-learn-15100(scikit-learn/scikit-learn)
  • scikit-learn__scikit-learn-25102(scikit-learn/scikit-learn)
  • sphinx-doc__sphinx-8593(sphinx-doc/sphinx)
  • sympy__sympy-17630(sympy/sympy)

一小时复查与换源决定

  • 第二次检查:2026-11-08 21:35:57(北京时间),仍为 14/20 就绪、6 缺失、0 个环境错误。
  • 与 20:35:55 基线相比,经过 60 分钟后净增量为 0,按既定规则切换 LogicStar。
  • LogicStar 官方镜像索引覆盖全部 20 个目标;压缩包下载链路已验证。下载校验、加载和本地 tag 确认属于后续步骤,不能用远端覆盖代替本地就绪。
  • 预注册实例、配额和独立统计口径保持不变;换源仅改变运行时镜像来源。

5 实例链路确认候选

清单:benchmarks/swebench/manifests/link_check_5.json。仅用于容器、门禁、评分链路验证,不能作为正式样本替换或结果筛选依据。

实例 仓库 选择时镜像状态
django__django-16901 django/django ready
sympy__sympy-18211 sympy/sympy ready
sphinx-doc__sphinx-9281 sphinx-doc/sphinx ready
matplotlib__matplotlib-23476 matplotlib/matplotlib ready
astropy__astropy-14369 astropy/astropy ready

scikit-learn 的两个目标均未就绪,因此第五个仓库使用 astropy。候选中的 5 个均为独立实例。先等待二次测量与换源决策;镜像加载与容器跑批不得并行争抢 Docker。

第二批:Verified 预注册-20(跑完后填写)

  • 预注册清单:20 实例,12 仓库。
  • 实际执行:N 实例(因镜像不可用缺失 M 个;仅当没有其他跳过原因时 M = 20 − N)。
  • 有效独立样本:N − R;R 为实际执行的复用实例数。两项均执行时 R = 2,即 N − 2。
  • 仓库覆盖:实际 K 个(预注册 12 个)。
  • 复用实例:seaborn-3069、flask-5014,结果单列,不计入独立统计。
  • N 按去重 instance_id 统计,不按 baseline/gated 两组行数统计;两组都完整执行并评分的独立配对数另列,不能把缺失评分当作 unresolved。
  • 另外记录每实例轮数、耗时、拦截次数、补丁大小、gate_completed 及官方评分 note。

复用实例(不计入独立统计)

实例 上次结果 本批结果 是否一致
seaborn-3069 gated unresolved(60 轮截断) 待运行 待比较
flask-5014 gated resolved(54 轮) 待运行 待比较

上次结果按已确定的复用比较口径列示;本批结束后以原始运行记录复核。一致性单独讨论;不一致时记录非确定性及环境差异,不直接归因于门禁。正式报告继续三批并列,不做 pooled 成功率统计。