叉车强化学习 · 文献综述 树根杯赛题相关 · 2026-07-10

立方衰减 cargo 摇晃惩罚 P0 决赛防翻

怎么做:C3 place phase reward 里加一项:

为什么这样做:决赛"cargo 翻倒 = 直接失败"是硬约束,不能靠事后判断。立方项在低速时几乎不惩罚(不干扰正常动作),高速时惩罚陡增(强力约束摇晃)。

如果不做:v11a 已经证明过 —— 强调 w_head 导致 rollout 0 cargo tilt 179°,直接翻。

落地:src/rl/forklift_env.py C3 reward 加两行,当天生效。参考 LUT + ETH 联合方案。

分阶段独立 reward,phase 间不共享 shaping P0 v11a 教训

怎么做:C1/C2/C3 各自独立 reward 函数,一个 phase 的参数改动不影响另一个。

为什么这样做:v11a 的直接教训 —— 单参数 w_head 2→5 全局崩(cargo tilt 179°),就是因为多个 phase 共用一个 cost_fn。

如果不做:任何调参都是全局副作用,永远调不完。手调路线的死路。

落地:src/rl/forklift_env.py InsertLift 内部按 fork tip x 坐标分段,分段独立 shaping。参考 LUT 的两阶段方案。

Place 阶段倒数奖励 P1 精度关键

怎么做:C3 place reward 用:

其中 ε=0.05m 防除零,λ=1.0 起步。

为什么这样做:决赛要求放置误差 < 10cm,常规 exp(-d) 曲线在 d 已经很小时几乎平掉,算法感觉"再努力也没多少分"就停在 4-5cm;倒数型 1/d 在 d 越小奖励涨得越猛,拉住算法继续精修到 1-2cm。

如果不做:放置精度停在 4-5cm,达不到 10cm 边缘就危险,直接决赛掉分。

落地:5 行 code,C2 收敛后启用。参考 HMER。

Beta 分布 action 参数化 P1 训练稳定性

怎么做:改 brax 的 make_networks,policy head 输出 Beta 参数 (α, β),action 天然取值 [-1, 1]。

为什么这样做:MJX vmap 里 tanh + clip 在训练晚期梯度截断问题明显 —— action 越靠近边界,梯度越小,policy 越难精调。Beta 分布本身就在边界内,不需要 clip,梯度全程完整。

如果不做:训练后期 policy 无法精细调整 action,收敛到次优解。

落地:约 20 行 code(brax 支持 tfp.distributions.Beta),1 天内完成。参考 TU Wien。

One-shot 终止奖励 P2 防抖动

怎么做:C3 phase reward 加:

翻译:当距离目标 < 10cm 且速度 < 5cm/s 时,任何动作都被惩罚。

为什么这样做:v10 FSM 用 velocity brake 实现"到位就停",neural policy 也需要类似机制,否则会在目标点附近反复摇摆。

如果不做:policy 到达后仍持续小幅动作,决赛"放置误差"和"稳定性"两项都掉分。

落地:3 行 code。参考 ETH。

Reward 项 curriculum 缓入 P2 训练稳定

怎么做:不是 epoch 0 全部 reward 都上,而是逐步加入。C1 只用 r_progress;C2 加入 r_align + r_lift_dense;C3 再加 r_place + r_stability + r_one_shot。

为什么这样做:多个 reward 项在早期会互相干扰(比如 lift 奖励要求叉齿抬,carrying 奖励要求叉齿下,算法一头雾水)。缓入让 policy 每次只专注一个新目标。

如果不做:训练前期 policy 卡在 local optima,长时间不进步。

落地:配合分阶段 reward 一起改。参考 ETH 的 7 项 curriculum。

BC → PPO 混合预训练 P2 加速收敛

怎么做:用 v10 FSM 生成 10k 演示轨迹(每条 300 步),BC 50 轮预训练 policy,再 PPO fine-tune。

为什么这样做:纯 PPO 从零开始需要 5M+ 步,BC 预训练能把 policy 直接推到 60-70% success 的水平,PPO 再精调到 90%+。也能规避 c2_v5 的 r_lift_dense 梯度稀疏问题。

如果不做:训练时间翻倍,3090 上从 2h 变 4h,迭代速度掉一半。

落地:2-3 天(生成轨迹 + BC 脚本 + brax restore_params)。参考 HMER。

显式能量优化 reward P3 决赛加分

怎么做:C3 完成后加:

其中 E = Σ|torque · ω|·dt 覆盖底盘 + 升降。

为什么这样做:决赛综合评分包含"作业效率",能量项让 policy 自动学"轻柔的力量" —— 一石二鸟同时优化能耗和成功率。

如果不做:效率分基本靠随机 —— policy 可能选择"猛冲式"动作,能耗高但也没被惩罚。

落地:1 天,C3 收敛后启用。参考 Umeå。

ROS2-Forklift 的 4 种 reward 工厂搬到 MJX P4 baseline 对比

怎么做:把 L2/Nav/Collision/Binary 四种 reward 移植到 src/rl/reward_factory.py,签名从 ROS topic 改成 MJX mjx.Data。

为什么这样做:有对照组 baseline 才能证明我们的自研 reward 更好,论文和答辩都需要这类对比表。

如果不做:训练结果无法量化"我们的 reward 好在哪",答辩缺乏说服力。

落地:1 天。

IsaacSim forklift_b.urdf 转 MJCF P4 备胎

怎么做:手工转 URDF → MJCF,对照 CLAUDE.md 记录的坑点(cylinder→capsule、solver iterations=10、solimp)。

为什么这样做:如果我们自研的 pickup_place.xml 有物理问题(box-box 穿模、接触抖动),NVIDIA 官方 URDF 是最高保真的 fallback。

如果不做:自研 MJCF 若长期有物理稳定性问题,只能反复调试,浪费大量时间。

落地:2-3 天。