Files
superspider-rl/TRAINING.md
T

5.1 KiB
Raw Blame History

最终训练方法

训练链

采用 mjlab + MuJoCo Warp 批量仿真、RSL-RL PPO 和教师学生蒸馏。动作顺序为腿 1 到 6,每腿 coxa、femur、tibia;在默认站姿上叠加动作,缩放 0.25。

  1. 平地 PPO 学习速度跟踪,保留 flat_5999.pt。
  2. 盲走单级台阶 PPO 从平地继续训练,65 维本体观测,选用 blind_10000.pt。
  3. 高度图教师从盲走网络扩容:第一层插入 253 个扫描输入,新列权重为零,归一化新通道 mean=0、var/std=1;清空 Adam 参数状态,迭代计数归零。actor 65→318,critic 140→393。选用 teacher_3800.pt。
  4. 固定教师,学生在自己访问的状态上拟合教师动作。student 观测组为 [actor],teacher 为 [actor, height],顺序不可变。最后保存 student_5999.pt。

教师初始化第一层前 65 列已与 blind_10000.pt 核对一致。权重来源与哈希见 checkpoints/manifest.json。原运行参数保存在 training/snapshots/,作为历史记录,不直接当作可执行 YAML 加载。

参数

参数 值
物理步长 / 降采样 0.005 s / 4,策略 50 Hz
单回合 20 s
平地 / 台阶及蒸馏并行环境 1024 / 512
种子 / 每环境 rollout 42 / 24 步
网络 MLP 512–256–128,ELU,观测归一化
PPO lr=0.001,自适应 KL,5 epochs,4 mini-batches
PPO gamma / GAE lambda / clip 0.99 / 0.95 / 0.2
PPO entropy / desired KL 0.01 / 0.01
蒸馏 MSE,Adam lr=0.001,1 epoch,gradient_length=15
梯度裁剪 1.0
蒸馏迭代 / 保存间隔 6000 / 200

地形为 8×8 m 地块上的单级台阶、1.5 m 助跑、课程高度 1–6 cm。升级依据为减去 100 mm 站高后的净爬升,而非前进距离。奖励包含速度跟踪、姿态和动作正则、相对上次触地点的抬脚高度、净爬升进度、自碰撞和超过额定角速度 80% 的惩罚。台阶任务取消三角步态奖励。完整参数以代码及历史快照为准。

训练命令

superspider-train flat
superspider-train blind
superspider-train teacher
superspider-train student

各阶段默认读取附带的上一阶段权重,便于独立训练。连续从头重训时,用 --checkpoint logs/rsl_rl/.../model_....pt 指定本轮上一阶段输出。资源与长度可用 --num-envs、--iterations 修改。

包装入口默认 flat=6000 次更新;blind 从 iter=5999 继续 4002 次,覆盖历史选用的 iter=10000;teacher 扩容后 3801 次;student 6000 次。PPO iter 为零起始标签,恢复迭代数不等于新增更新次数。历史 blind/teacher 配置预算分别是 14000/8000,选用权重不是预算最后一步。新训练不保证逐位复现历史随机结果。

更多参数:

python -m scripts.train Custom-Superspider-Stairs-Distill --help

评测

# 默认分别测试 student_1600 和 student_5999;自动选择 CUDA 或 CPU。
MUJOCO_GL=egl superspider-evaluate --output evaluation-output/full

# 仅检查评测入口能否运行,不作能力结论。
MUJOCO_GL=egl superspider-evaluate --device cpu --num-envs 2 --seconds 0.1 --heights 0.02 --output evaluation-output/smoke

# 指定一份权重和测试高度。
MUJOCO_GL=egl superspider-evaluate student_1600.pt --heights 0,0.02,0.05,0.08,0.09,0.10 --output evaluation-output/student1600

默认种子42、24环境、20秒、前进指令0.30 m/s。输出目录须不存在,防止覆盖既有证据;支持 --device、--num-envs、--seconds、--seed 和 --threads。CPU运行较慢。

协议 single_step_v2 的成功条件同时包含:

  • 机身越过台阶立面至少5 cm,净高度超过台阶高度的85%,倾角不超过30°。
  • 后半程超过80%的采样满足上述条件,且最后一个采样也满足。
  • 整段没有终止、自动重置、非有限动作或状态;一旦失败,重置后的数据不能重新计为成功。

平地0 cm单独报告行走对照,检查同样的前进距离、姿态及相对起始高度±4 cm,不称为登顶。台阶立面接触沿用历史测试设置,不因 illegal_contact 单独终止;摔倒终止仍保留。该测试是单级台阶仿真,不能证明连续楼梯或真机能力。

每个场景保存 rollout.npz(50 Hz位置、倾角、终止与无效动作标记)、result.json(逐环境判定)、env.yaml 和 agent.yaml。总目录保存 summary.json、版本、权重和原始数据SHA-256、source_manifest.json。中断时总结果明确 completed=false,已完成场景仍保留;重置后的轨迹仅用于诊断,不用于位移和成功率累加。可用 src.evaluation.summarize_trials 从原始NPZ复算判定。

历史 student_1600 的记录为2–9 cm 100%、10 cm 0%,来自旧评测协议,仓库没有其原始逐帧证据。不能直接归给5999快照,亦不能视为新协议复验结果。2026-10-29仅验收安装与可运行性,完整性能评测未完成;部分已完成记录单独保留,不声明通过整套台阶测试。

蒸馏权重必须加载 student/teacher 字段,不能沿用 PPO 的 actor 字段。src/policy.py 严格检查任务与权重类型,防止漏载后运行随机网络。