Files
superspider-rl/TRAINING.md
T

3.5 KiB
Raw Blame History

最终训练方法

训练链

采用 mjlab + MuJoCo Warp 批量仿真、RSL-RL PPO 和教师学生蒸馏。动作顺序为腿 1 到 6,每腿 coxa、femur、tibia;在默认站姿上叠加动作,缩放 0.25。

  1. 平地 PPO 学习速度跟踪,保留 flat_5999.pt。
  2. 盲走单级台阶 PPO 从平地继续训练,65 维本体观测,选用 blind_10000.pt。
  3. 高度图教师从盲走网络扩容:第一层插入 253 个扫描输入,新列权重为零,归一化新通道 mean=0、var/std=1;清空 Adam 参数状态,迭代计数归零。actor 65→318,critic 140→393。选用 teacher_3800.pt。
  4. 固定教师,学生在自己访问的状态上拟合教师动作。student 观测组为 [actor],teacher 为 [actor, height],顺序不可变。最后保存 student_5999.pt。

教师初始化第一层前 65 列已与 blind_10000.pt 核对一致。权重来源与哈希见 checkpoints/manifest.json。原运行参数保存在 training/snapshots/,作为历史记录,不直接当作可执行 YAML 加载。

参数

参数 值
物理步长 / 降采样 0.005 s / 4,策略 50 Hz
单回合 20 s
平地 / 台阶及蒸馏并行环境 1024 / 512
种子 / 每环境 rollout 42 / 24 步
网络 MLP 512–256–128,ELU,观测归一化
PPO lr=0.001,自适应 KL,5 epochs,4 mini-batches
PPO gamma / GAE lambda / clip 0.99 / 0.95 / 0.2
PPO entropy / desired KL 0.01 / 0.01
蒸馏 MSE,Adam lr=0.001,1 epoch,gradient_length=15
梯度裁剪 1.0
蒸馏迭代 / 保存间隔 6000 / 200

地形为 8×8 m 地块上的单级台阶、1.5 m 助跑、课程高度 1–6 cm。升级依据为减去 100 mm 站高后的净爬升,而非前进距离。奖励包含速度跟踪、姿态和动作正则、相对上次触地点的抬脚高度、净爬升进度、自碰撞和超过额定角速度 80% 的惩罚。台阶任务取消三角步态奖励。完整参数以代码及历史快照为准。

训练命令

python -m scripts.train_stage flat
python -m scripts.train_stage blind
python -m scripts.train_stage teacher
python -m scripts.train_stage student

各阶段默认读取附带的上一阶段权重,便于独立训练。连续从头重训时,用 --checkpoint logs/rsl_rl/.../model_....pt 指定本轮上一阶段输出。资源与长度可用 --num-envs、--iterations 修改。

包装入口默认 flat=6000 次更新;blind 从 iter=5999 继续 4002 次,覆盖历史选用的 iter=10000;teacher 扩容后 3801 次;student 6000 次。PPO iter 为零起始标签,恢复迭代数不等于新增更新次数。历史 blind/teacher 配置预算分别是 14000/8000,选用权重不是预算最后一步。新训练不保证逐位复现历史随机结果。

更多参数:

python -m scripts.train Custom-Superspider-Stairs-Distill --help

评测

MUJOCO_GL=egl python -m scripts.superspider_stair_test checkpoints/student_1600.pt --task Custom-Superspider-Stairs-Distill --heights 0,0.02,0.05,0.08,0.09,0.10

该脚本使用 CUDA,24 环境 ×20 s,以后半程超过 80% 时间净机身高度高于台阶高的 85% 为登顶。历史 student 1600 的记录为 2–9 cm 100%、10 cm 0%;这是历史单级台阶仿真记录,本次整理未重新进行完整能力评测,不代表连续楼梯或真机性能。

蒸馏权重必须加载 student/teacher 字段,不能沿用 PPO 的 actor 字段。src/policy.py 严格检查任务与权重类型,防止漏载后运行随机网络。