5.1 KiB
最终训练方法
训练链
采用 mjlab + MuJoCo Warp 批量仿真、RSL-RL PPO 和教师学生蒸馏。动作顺序为腿 1 到 6,每腿 coxa、femur、tibia;在默认站姿上叠加动作,缩放 0.25。
- 平地 PPO 学习速度跟踪,保留 flat_5999.pt。
- 盲走单级台阶 PPO 从平地继续训练,65 维本体观测,选用 blind_10000.pt。
- 高度图教师从盲走网络扩容:第一层插入 253 个扫描输入,新列权重为零,归一化新通道 mean=0、var/std=1;清空 Adam 参数状态,迭代计数归零。actor 65→318,critic 140→393。选用 teacher_3800.pt。
- 固定教师,学生在自己访问的状态上拟合教师动作。student 观测组为 [actor],teacher 为 [actor, height],顺序不可变。最后保存 student_5999.pt。
教师初始化第一层前 65 列已与 blind_10000.pt 核对一致。权重来源与哈希见 checkpoints/manifest.json。原运行参数保存在 training/snapshots/,作为历史记录,不直接当作可执行 YAML 加载。
参数
| 参数 | 值 |
|---|---|
| 物理步长 / 降采样 | 0.005 s / 4,策略 50 Hz |
| 单回合 | 20 s |
| 平地 / 台阶及蒸馏并行环境 | 1024 / 512 |
| 种子 / 每环境 rollout | 42 / 24 步 |
| 网络 | MLP 512–256–128,ELU,观测归一化 |
| PPO | lr=0.001,自适应 KL,5 epochs,4 mini-batches |
| PPO gamma / GAE lambda / clip | 0.99 / 0.95 / 0.2 |
| PPO entropy / desired KL | 0.01 / 0.01 |
| 蒸馏 | MSE,Adam lr=0.001,1 epoch,gradient_length=15 |
| 梯度裁剪 | 1.0 |
| 蒸馏迭代 / 保存间隔 | 6000 / 200 |
地形为 8×8 m 地块上的单级台阶、1.5 m 助跑、课程高度 1–6 cm。升级依据为减去 100 mm 站高后的净爬升,而非前进距离。奖励包含速度跟踪、姿态和动作正则、相对上次触地点的抬脚高度、净爬升进度、自碰撞和超过额定角速度 80% 的惩罚。台阶任务取消三角步态奖励。完整参数以代码及历史快照为准。
训练命令
superspider-train flat
superspider-train blind
superspider-train teacher
superspider-train student
各阶段默认读取附带的上一阶段权重,便于独立训练。连续从头重训时,用 --checkpoint logs/rsl_rl/.../model_....pt 指定本轮上一阶段输出。资源与长度可用 --num-envs、--iterations 修改。
包装入口默认 flat=6000 次更新;blind 从 iter=5999 继续 4002 次,覆盖历史选用的 iter=10000;teacher 扩容后 3801 次;student 6000 次。PPO iter 为零起始标签,恢复迭代数不等于新增更新次数。历史 blind/teacher 配置预算分别是 14000/8000,选用权重不是预算最后一步。新训练不保证逐位复现历史随机结果。
更多参数:
python -m scripts.train Custom-Superspider-Stairs-Distill --help
评测
# 默认分别测试 student_1600 和 student_5999;自动选择 CUDA 或 CPU。
MUJOCO_GL=egl superspider-evaluate --output evaluation-output/full
# 仅检查评测入口能否运行,不作能力结论。
MUJOCO_GL=egl superspider-evaluate --device cpu --num-envs 2 --seconds 0.1 --heights 0.02 --output evaluation-output/smoke
# 指定一份权重和测试高度。
MUJOCO_GL=egl superspider-evaluate student_1600.pt --heights 0,0.02,0.05,0.08,0.09,0.10 --output evaluation-output/student1600
默认种子42、24环境、20秒、前进指令0.30 m/s。输出目录须不存在,防止覆盖既有证据;支持 --device、--num-envs、--seconds、--seed 和 --threads。CPU运行较慢。
协议 single_step_v2 的成功条件同时包含:
- 机身越过台阶立面至少5 cm,净高度超过台阶高度的85%,倾角不超过30°。
- 后半程超过80%的采样满足上述条件,且最后一个采样也满足。
- 整段没有终止、自动重置、非有限动作或状态;一旦失败,重置后的数据不能重新计为成功。
平地0 cm单独报告行走对照,检查同样的前进距离、姿态及相对起始高度±4 cm,不称为登顶。台阶立面接触沿用历史测试设置,不因 illegal_contact 单独终止;摔倒终止仍保留。该测试是单级台阶仿真,不能证明连续楼梯或真机能力。
每个场景保存 rollout.npz(50 Hz位置、倾角、终止与无效动作标记)、result.json(逐环境判定)、env.yaml 和 agent.yaml。总目录保存 summary.json、版本、权重和原始数据SHA-256、source_manifest.json。中断时总结果明确 completed=false,已完成场景仍保留;重置后的轨迹仅用于诊断,不用于位移和成功率累加。可用 src.evaluation.summarize_trials 从原始NPZ复算判定。
历史 student_1600 的记录为2–9 cm 100%、10 cm 0%,来自旧评测协议,仓库没有其原始逐帧证据。不能直接归给5999快照,亦不能视为新协议复验结果。2026-10-29仅验收安装与可运行性,完整性能评测未完成;部分已完成记录单独保留,不声明通过整套台阶测试。
蒸馏权重必须加载 student/teacher 字段,不能沿用 PPO 的 actor 字段。src/policy.py 严格检查任务与权重类型,防止漏载后运行随机网络。