3.5 KiB
最终训练方法
训练链
采用 mjlab + MuJoCo Warp 批量仿真、RSL-RL PPO 和教师学生蒸馏。动作顺序为腿 1 到 6,每腿 coxa、femur、tibia;在默认站姿上叠加动作,缩放 0.25。
- 平地 PPO 学习速度跟踪,保留 flat_5999.pt。
- 盲走单级台阶 PPO 从平地继续训练,65 维本体观测,选用 blind_10000.pt。
- 高度图教师从盲走网络扩容:第一层插入 253 个扫描输入,新列权重为零,归一化新通道 mean=0、var/std=1;清空 Adam 参数状态,迭代计数归零。actor 65→318,critic 140→393。选用 teacher_3800.pt。
- 固定教师,学生在自己访问的状态上拟合教师动作。student 观测组为 [actor],teacher 为 [actor, height],顺序不可变。最后保存 student_5999.pt。
教师初始化第一层前 65 列已与 blind_10000.pt 核对一致。权重来源与哈希见 checkpoints/manifest.json。原运行参数保存在 training/snapshots/,作为历史记录,不直接当作可执行 YAML 加载。
参数
| 参数 | 值 |
|---|---|
| 物理步长 / 降采样 | 0.005 s / 4,策略 50 Hz |
| 单回合 | 20 s |
| 平地 / 台阶及蒸馏并行环境 | 1024 / 512 |
| 种子 / 每环境 rollout | 42 / 24 步 |
| 网络 | MLP 512–256–128,ELU,观测归一化 |
| PPO | lr=0.001,自适应 KL,5 epochs,4 mini-batches |
| PPO gamma / GAE lambda / clip | 0.99 / 0.95 / 0.2 |
| PPO entropy / desired KL | 0.01 / 0.01 |
| 蒸馏 | MSE,Adam lr=0.001,1 epoch,gradient_length=15 |
| 梯度裁剪 | 1.0 |
| 蒸馏迭代 / 保存间隔 | 6000 / 200 |
地形为 8×8 m 地块上的单级台阶、1.5 m 助跑、课程高度 1–6 cm。升级依据为减去 100 mm 站高后的净爬升,而非前进距离。奖励包含速度跟踪、姿态和动作正则、相对上次触地点的抬脚高度、净爬升进度、自碰撞和超过额定角速度 80% 的惩罚。台阶任务取消三角步态奖励。完整参数以代码及历史快照为准。
训练命令
python -m scripts.train_stage flat
python -m scripts.train_stage blind
python -m scripts.train_stage teacher
python -m scripts.train_stage student
各阶段默认读取附带的上一阶段权重,便于独立训练。连续从头重训时,用 --checkpoint logs/rsl_rl/.../model_....pt 指定本轮上一阶段输出。资源与长度可用 --num-envs、--iterations 修改。
包装入口默认 flat=6000 次更新;blind 从 iter=5999 继续 4002 次,覆盖历史选用的 iter=10000;teacher 扩容后 3801 次;student 6000 次。PPO iter 为零起始标签,恢复迭代数不等于新增更新次数。历史 blind/teacher 配置预算分别是 14000/8000,选用权重不是预算最后一步。新训练不保证逐位复现历史随机结果。
更多参数:
python -m scripts.train Custom-Superspider-Stairs-Distill --help
评测
MUJOCO_GL=egl python -m scripts.superspider_stair_test checkpoints/student_1600.pt --task Custom-Superspider-Stairs-Distill --heights 0,0.02,0.05,0.08,0.09,0.10
该脚本使用 CUDA,24 环境 ×20 s,以后半程超过 80% 时间净机身高度高于台阶高的 85% 为登顶。历史 student 1600 的记录为 2–9 cm 100%、10 cm 0%;这是历史单级台阶仿真记录,本次整理未重新进行完整能力评测,不代表连续楼梯或真机性能。
蒸馏权重必须加载 student/teacher 字段,不能沿用 PPO 的 actor 字段。src/policy.py 严格检查任务与权重类型,防止漏载后运行随机网络。