ASTROBENCH / SPECIFICATION
技术说明
2026-10-16 · 任务、协议与开发证据
1. 研究范围与当前版本
AstroBench 研究固定基座机械臂如何在零重力舱内捕获并持续抓持自由漂浮物体。目标没有支撑,碰触会改变它的运动;接近时机不合适可能将其推远,夹爪闭合后也可能失抓。因此,评测分别记录“曾经抓稳”和“保持到回合结束”。
当前提供可独立安装的 Python 评测协议包,以及 20 类物体的 40 个精选抓取样例。协议包负责生成回合清单、读取轨迹评分和汇总结果。另外已完成 40 回合的魔方匹配对照。三者分别用于协议实现、过程展示和开发实验,统计口径各自独立。
整体设计覆盖 11 个任务族。程序化物体生成器、正式泛化划分和完整环境迁移仍在完善。当前机械臂基座固定,不包含自由漂浮基座与机械臂之间的反作用耦合。
2. 任务定义
任务族规定目标与判据;实例确定物体或机构、场景及目标;回合进一步绑定初态、种子和协议版本。同一资产改变位姿后仍属于同一个物体,不能据此算作新物体。
| 类别 | 任务族 | 完成证据 |
|---|---|---|
| 抓取 | 自由漂浮抓取 | 目标专属双侧接触、实际闭合与连续保持 |
| 机构交互 | 柜门开关 | 实际铰链角度与目标状态稳定 |
| 机构交互 | 抽屉推拉 | 沿导轨的实际行程 |
| 机构交互 | 按钮按压 | 按压与释放的有序事件 |
| 机构交互 | 旋钮/阀门转动 | 指定方向的旋转与目标角度 |
| 机构交互 | 拨杆切换 | 目标关节状态与任务阶段检查 |
| 精细接合 | 插销入孔 | 孔坐标系中的对齐与插入深度 |
| 精细接合 | 插头插拔 | 键控方向、深度及持续抓持 |
| 精细接合 | 模块插槽装配 | 导轨对齐、行程与就位 |
| 物体操作 | 物体定向 | 持续抓持下的目标物体位姿 |
| 物体操作 | 收纳并关闭 | 依次置入、释放、关闭及观察 |
当前录像覆盖抓取。其余任务族属于任务规范,还不是已完成的正式评测套件。固定机构沿关节或导轨运动。插接以几何接合与就位为边界;电连接、密封、柔性线缆、松爪后锁止需要另外定义与验证。
3. 环境与初态校验
工程环境采用 Isaac Sim/Isaac Lab、Franka Panda 机械臂与 Robotiq 2F-85 夹爪。目标是在理想零重力下响应接触的动态刚体,质量、惯量和摩擦仍然影响运动。目标不应由支撑面或隐藏连接保持位置。
重置时加载指定资产与机器人状态,只设置一次目标位姿及初速度,然后刷新传感器并回读实际状态。检查初始穿透、禁止的支撑接触、预先夹持和初态已成功。舱体视觉背景不等于碰撞边界,安装结构与工作空间限制需要分别核验。
重置后,目标运动来自动力学与机器人接触。适配器不能持续写入物体位姿来追踪预设轨迹。记录重力、物理步长、求解器配置、碰撞几何与传感器绑定;资产或引擎配置发生变化时,仅凭种子无法重建回合。
4. 物体身份与划分
录像集采用固定资产。拟议生成器将联合生成容器、工具、手持设备及维护零件的视觉几何、碰撞几何、质量属性和元数据。随机选取固定资产或改变位姿不等于程序化形状生成。初期范围限定为单个刚体的操作。
生成的质量、质心、惯量应与几何及材料假设一致。在策略评测前排除非法碰撞网格、初始穿透和超出工作空间的实例,并保存拒绝原因与重采样序号。策略失败不能成为删除有效测试实例的理由。
公开目录要求 object_id、asset_sha256、geometry_group、split。划分取值为 train、validation 或 test,资产哈希及同源几何组不可跨划分。哈希只识别文件内容,近重复形状仍需人工或几何检查。
拟议评测交叉考察已见/未见几何与已见/留出运动条件。开发位置和回归资产保留为开发数据,正式划分规模与运动分布尚未冻结。公开清单生成器为每个物体展开四种草案运动条件:
| 条件 | 线速度 | 角速度 |
|---|---|---|
| static | 0 m/s | 0 rad/s |
| drift | 0.02 m/s | 0 rad/s |
| tumble | 0.02 m/s | 0.5 rad/s |
| fast_tumble | 0.05 m/s | 1.0 rad/s |
种子决定 x 轴平移与 z 轴转动的正负方向,配对条件共享方向。这不代表全姿态或全运动方向覆盖。较快运动条件作为拟议留出条件时,需要实验执行者将其排除在训练之外,清单生成器不会管理训练数据访问。
5. 观测、动作与时序
策略输入与评分测量需要分开。RGB 图像和声明的本体状态可以作为策略输入;目标位姿与目标专属接触属于评分证据。状态反馈参照可以使用特权物体状态,但必须单列信息权限。录像相机不自动等于策略使用的相机。
逐策略记录相机位姿与标定、图像尺寸、裁剪和归一化、传感频率、历史长度、关节顺序和单位。动作需要声明绝对关节目标、增量或任务空间指令,并说明限幅、参考系、夹爪方向及非法动作处理。
工程控制最终驱动关节位置目标。魔方匹配对照使用七个机械臂关节绝对目标与二值夹爪指令,控制频率 15 Hz,物理频率 120 Hz,每个控制周期包含八个物理步。其他工程录像的时序不同。公开轨迹评分器要求名义 50 Hz 的测量记录,不规定策略的动作频率。
分别记录物理时间、传感时间、控制周期、策略决策频率与动作块长度。推理墙钟时间不并入回合时间预算。每次重置清空动作缓存和保持窗口。
6. 捕获与终态保持
公开评分器版本为 astrobench.capture-retain/0.1-draft。有效接触段要求双指接触指定目标、夹爪实际闭合、无禁止接触或越界,且相对速度及位姿漂移满足限制。位姿漂移以候选保持段起点为基准,在夹爪坐标系中计算。
| 参数 | 公开草案 |
|---|---|
| 回合时限 | 12 s |
| 连续保持 | 1.0 s,按时间戳累计 |
| 最大采样间隙 | 0.025 s |
| 每指目标接触力 | 不低于 0.5 N |
| 相对线速度/角速度 | 不超过 0.02 m/s/0.2 rad/s |
| 相对位置/姿态漂移 | 不超过 0.01 m/0.1 rad |
首个有效样本启动计时,不直接贡献一个采样周期的保持时间。接触无效或相对运动超限会打断接触段。首次完成保持窗口记为捕获;主要成功条件要求完整保持窗口持续到 12 秒终点。早期抓住而后失抓计失败。超出间隙上限、字段错误或截断的轨迹会被拒绝,不会静默计分。
这些是可迁移评分器的草案参数,仍需结合环境适配器校准,不能追溯套用于录像或 15 Hz 魔方实验。判据只检查采样证据,不认证两次采样之间的接触。按钮、插接和需要释放的收纳任务须使用各自的评分器。
7. 轨迹格式与适配器
轨迹外层包含 episode_id、spec_hash 和 samples,身份必须匹配预登记清单。每个样本严格包含下列十个字段,表中并列名称表示独立字段。数值必须有限,标志必须为 JSON 布尔值。
| 字段 | 测量含义 |
|---|---|
| t_s | 回合时间,秒 |
| left_target_force_n / right_target_force_n | 每指与指定目标的接触力,N |
| closed | 实际闭合,布尔值 |
| forbidden_contact / escaped | 禁止接触/越界,布尔值 |
| relative_linear_speed_m_s | 包含旋转参考系项的相对线速度 |
| relative_angular_speed_rad_s | 目标与夹爪相对角速度模长 |
| relative_position_m | 夹爪坐标系下的目标质心位置,三维向量 |
| relative_quat_wxyz | 相对姿态单位四元数,w、x、y、z 顺序 |
名义 50 Hz 时,从 t = 0 到 t = 12 s 共记录 601 个同步样本。评分前统一单位和参考系。目标在夹爪坐标系中的相对线速度必须包含夹爪角速度引起的旋转参考系项,不能只相减两个世界坐标系速度。
适配器负责验证资产文件、场景和机器人配置、重置回读与实际传感器映射。随轨迹保存引擎及依赖版本、求解器设置、动作合同、相机标定、检查点哈希、硬件与种子。CPU 评分器验证日志合同,不执行这些物理检查,也不认证资产来源。
8. 安装与运行公开协议包
需要 Python 3.11 或更新版本。协议包仅使用标准库,不需要 GPU。以下命令从新克隆的仓库开始;适配器输出轨迹后,将 EPISODE_ID 替换为打印出的回合标识。
git clone https://github.com/AstroUpLab/AstroBench.git
cd AstroBench
python3 -m venv .venv
. .venv/bin/activate
python -m pip install .
python -m unittest discover -s tests -v
astrobench plan examples/catalog.json --seed 42 --output plan.json
python -c 'import json; print(json.load(open("plan.json"))["episodes"][0]["episode_id"])'
# After producing trace.json for that episode:
astrobench score plan.json EPISODE_ID trace.json --output episode-result.json
python -c 'import json; json.dump([json.load(open("episode-result.json"))], open("results.json", "w"))'
astrobench report plan.json results.json --output report.json示例目录是接口测试用的合成输入,不包含实际物理资产。开展实验时应换成已核验的资产目录。仓库目前不提供完整环境运行器或预训练策略,以上命令不会启动机器人回合。
results.json 是逐回合结果组成的数组。示例只封装一个结果,因此多回合计划的汇总会显示未完成。完整报告需要纳入同一个策略/检查点的全部计划结果。CLI 输出不覆盖已有文件,新运行应使用新的输出路径。
9. 指标与完整性报告
成功率同时报告成功数、有效完成数和 95% Wilson 二项区间。计划数、运行错误与缺失回合另外列出。正常任务超时属于已完成的失败;执行链路故障记运行错误,成功值为空。缺失证据不等于零分。
诊断指标包括首次捕获时间、捕获后失抓和终态保持。固定终点下,不同策略捕获时间不同,后续接受观察的时间也不同;讨论保持质量前,需要报告该时长。
汇总器区分 suite 与 task ID,计划不完整时不输出完整宏平均。报告逐任务结果并固定任务 ID,避免拆分任务改变权重。Wilson 区间描述回合层面的二项不确定性,不代表独立训练模型之间的波动。
保留每个计划回合、任务失败及初始化错误。重试需要记录原因并关联原尝试,不能用成功重跑替换失败。场景、阈值或控制参数改变后,应建立新版本并单独汇总。
10. 魔方匹配开发实验
冻结的 ACT 检查点与经过接口适配的状态反馈参照在十个开发位置上评测,每个位置包含静止、运动两种初态:每种方法 20 回合,共 40 回合,没有重新训练。20 对物体与机器人初态均已核验一致。运动条件初始 x 轴线速度为 0.006 m/s,z 轴角速度为 0.08 rad/s。
实验采用 astrobench.cube-native15hz-fixed20s/v1:15 Hz 控制、20 秒时限,连续 15 个样本通过原生判据。原生检查包括目标专属对向接触、实际闭合及几何关系,每指接触力大于 0.2 N,相对速度低于 0.05 m/s 和 1 rad/s,漂移不超过 0.01 m 和 0.2 rad。样本计数不等于公开评分器的连续时间窗口。
| 方法/条件 | 曾经抓稳 | 终态保持 | 保持率 95% Wilson 区间 |
|---|---|---|---|
| ACT/静止 | 8 / 10 | 3 / 10 | 10.8–60.3% |
| ACT/运动 | 6 / 10 | 0 / 10 | 0–27.8% |
| 状态参照/静止 | 8 / 10 | 8 / 10 | 49.0–94.3% |
| 状态参照/运动 | 0 / 10 | 0 / 10 | 0–27.8% |
ACT 共 14 回合曾经抓稳,其中 11 回合没有保持到终点。状态参照的十个运动回合全部触发其自身 0.10 m 跟踪工作空间限制;这是特定控制器的失败,不能据此判断状态反馈方法普遍无法处理运动目标。
状态参照使用特权物体状态,与视觉 ACT 的信息条件不同。其静止组首次抓稳的中位时间为 19.0 秒,之后仅观察约 1.0 秒;ACT 静止组与运动组的首次抓稳中位时间分别为 8.47 秒和 8.20 秒。后续观察时长不一致,不能直接将保持率差异解释为抓握稳定性的排名。
魔方及这些位置属于开发数据,不是未见物体测试。这些结果与 20 物体录像集分开,不作为泛化排行榜。等长保持观察与更广的冻结测试划分仍需补充。
11. 如何阅读录像与记录
录像集包括 20 类物体、40 个精选样例和 80 段视频,每个回合提供外部与舱内两个视角。静态样例从无支撑静止开始;动态样例带有初始平移与转动。视频按原始 30 Hz 播放,末尾约有一秒定格。
展开视频卡片可查看记录中的运动量与历史保持标签。标签对应原工程判据;末尾定格不增加保持证据。精选成功样例没有提供成功率所需的完整分母,也不是魔方匹配实验。
观察接近方向、目标转动、首次碰触后的运动变化,以及闭合后物体相对夹爪的运动。双视角有助于检查遮挡,但仅凭录像无法测量目标专属接触力或认证连续保持。
12. 复现与发布范围
可复现报告需要协议与清单哈希、资产身份、实际重置状态、策略及检查点身份、观测权限、动作和传感时序、终止原因及完整回合统计。保留原始测量,供评分器独立重算。
适配器验收应覆盖空夹、错误目标接触、短暂触碰、保持不足、滑移、过期传感数据和重置残留等负例。合成数据上的评分器测试只验证逻辑,不验证传感器绑定或物理任务成功。资产内容、碰撞几何、控制器或评分阈值变化时,需要更新版本。
公开仓库包含评测协议、合成目录、测试和使用说明。完整环境与资产再分发需要各自的依赖和许可核验。示范采集及训练内部实现不在发布范围。论文目前为修订稿,尚无 arXiv 标识。
相关工作包括 Space Robotics Bench。AstroBench 当前评测重点是固定基座机械臂对无支撑物体的接触与保持。