RoboTwin 仿真 · 双臂 · 强域随机化
50 任务双臂操纵基准 · SAPIEN 物理引擎 · Easy / Hard 两档难度
RoboTwin（TianxingChen 团队 · 上海 AI Lab / 香港大学）是 2024-2025 年发展最快的双臂操纵基准之一。基于 SAPIEN 物理引擎 + Aloha / Cobot Magic 双臂平台，覆盖 50+ 个协作任务（block stacking / handover / assembly …），并且用域随机化强度把 Easy 与 Hard 两档分开 —— 考察策略对光照、纹理、干扰物、物理参数的鲁棒性。
官方数据集在 LeRobot v3.0 格式下 79.6 GB，10 万+ 条预采集轨迹，Apache 2.0 许可（部分版本 CC-BY-NC）。当前是所有想主打「双臂协作」的 VLA 论文（π₀.₅ / GR00T N1 / X-VLA-bi …）几乎必测的一个基准。
Qwen-VLA 分数
86.1 / 87.2%
Success Rate · Easy / Hard 两档分别报告
Hard 略高于 Easy 反映 Qwen-VLA 对强域随机化的鲁棒性——通常 VLA 在 Hard 上会下滑，此处反直觉。见 arXiv 2605.30280 §5.1.1
Hard 略高于 Easy 反映 Qwen-VLA 对强域随机化的鲁棒性——通常 VLA 在 Hard 上会下滑，此处反直觉。见 arXiv 2605.30280 §5.1.1
发展史 · 从 RLBench 到 RoboTwin 2.0
双臂操纵仿真基准的时间线：
- 2020 · RLBench：CoppeliaSim + 100 单臂任务，双臂支持很弱
- 2023 · ALOHA 真机：证明了 10 分钟遥操作就能学到精细双臂操纵，但真机门槛高
- 2024 · RoboTwin 1.0：TianxingChen 首个版本，20 任务，主打 ALOHA 硬件仿真
- 2025 · RoboTwin 2.0：50+ 任务、强域随机化、Cobot Magic 平台加入
核心创新是让研究者不用碰真机就能测双臂协作，同时通过强域随机化把 sim-to-real 的差距压到相对可接受的范围。
规模
| 指标 | 值 |
|---|---|
| 任务总数 | 50+ |
| 预采集轨迹 | 10 万+ |
| 数据集大小 | 79.6 GB（LeRobot v3.0 格式） |
| 控制频率 | 10 Hz |
| 自由度 | 14 DoF（双臂 7×2） |
| 相机 | 3 路 · 俯视 + 左右腕部 |
| 图像分辨率 | 480 × 640 RGB |
| 物理引擎 | SAPIEN（同 ManiSkill / DOMINO） |
| 许可证 | Apache 2.0 / CC-BY-NC 4.0（视版本） |
数据采集流程
RoboTwin 的数据不是遥操作而是仿真里跑专家规划器生成：
- 每个任务人工定义一组 keypoint（起始位、抓取位、目标位）
- 用 motion planning + IK 生成关节空间轨迹
- 在 SAPIEN 里回放并采集多相机 RGB + proprioception + action
- 成功的轨迹入库，失败的丢弃
好处：轨迹密度高、每个任务能采成千上万条。坏处：动作分布光滑（没有人手的颤抖），学到的策略在真机上对小扰动可能不鲁棒。
硬件平台 · 双臂选项
Aloha 双臂
Zhao et al. 2023 · ViperX 300 S × 2 · 50 Hz 原生 · leader-follower 遥操作
Cobot Magic (AgileX)
移动底盘 + 双臂 · 更接近产品形态 · RoboTwin 2.0 主要平台
相机布置：一路俯视 head + 两路 left_wrist / right_wrist。
Easy vs Hard 两档
| 档位 | 随机化维度 | 典型强度 |
|---|---|---|
| Easy | 物体初始位置 · 目标位置 | xy ± 3cm · 单变量 |
| Hard | Easy 全部 + 光照 + 桌面颜色 + 物体纹理 + 摩擦参数 + 干扰物 | 多变量同时扰动 · 更接近真机方差 |
Qwen-VLA 论文里 Hard 反而略高于 Easy（87.2 vs 86.1），可能因为强域随机化训练的数据分布更接近它 CPT 阶段见到的真机数据分布。这是一个反直觉但有价值的信号。
典型任务
- block_hammer_beat —— 一只手扶方块、另一只手用锤子敲，考察力控 + 时序对齐
- dual_bottles_pick_easy / hard —— 双手同时抓两个瓶子到指定位置，考察空间避碰
- blocks_stack —— 单臂负责稳定底座、另一臂负责堆叠，考察角色分工
- handover_block —— 左右手之间交接方块，考察时空对齐 + 力协调
- dual_shoes_placing —— 双手配合摆放鞋子到指定位置，考察对称任务
- assembly 系列 —— 对齐 + 插入 + 拧紧的多阶段协作，考察长程规划
典型双臂协作分类
| 协作模式 | 说明 | 代表任务 |
|---|---|---|
| Independent（独立） | 两只手各干各的 | dual_bottles_pick |
| Sequential（顺序） | 一手完事再交给另一手 | handover_block |
| Simultaneous（并行） | 两手同时对同一物体施力 | dual_shoes_placing |
| Master-Slave（主从） | 一手固定 / 一手操作 | block_hammer_beat |
常见误区 / 局限
- 专家规划器数据分布 fixed：轨迹光滑、初始位置分布小，模型可能过拟合到 SAPIEN 的物理参数，真机迁移仍需 fine-tune。
- Hard 未必更 hard：强域随机化对训练有正则化作用，但对zero-shot 评测就是负向噪声。看到 Hard > Easy 别惊讶。
- Easy / Hard 混合评测：一些论文把 Easy 和 Hard 加权平均报一个数，看到单个数字要先问「口径是什么」。
- 任务不完全独立：50 任务里有些是同一任务的难度变种（如
dual_bottles_pick_easyvshard），拆开算和合并算会得到不同分数。
相关工作
ALOHA
RoboTwin 硬件的真机对应 · 双臂遥操作
DOMINO
同 SAPIEN 底层 · 加时间动态维度
ManiSkill
同 SAPIEN · UCSD · 单臂 / 移动 / 灵巧手
RLBench
CoppeliaSim · 100 单臂任务 · 2020