Files

79 lines
5.1 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 最终训练方法
## 训练链
采用 mjlab + MuJoCo Warp 批量仿真、RSL-RL PPO 和教师学生蒸馏。动作顺序为腿 1 到 6,每腿 coxa、femur、tibia;在默认站姿上叠加动作,缩放 0.25。
1. 平地 PPO 学习速度跟踪,保留 flat_5999.pt。
2. 盲走单级台阶 PPO 从平地继续训练,65 维本体观测,选用 blind_10000.pt。
3. 高度图教师从盲走网络扩容:第一层插入 253 个扫描输入,新列权重为零,归一化新通道 mean=0、var/std=1;清空 Adam 参数状态,迭代计数归零。actor 65→318,critic 140→393。选用 teacher_3800.pt。
4. 固定教师,学生在自己访问的状态上拟合教师动作。student 观测组为 [actor],teacher 为 [actor, height],顺序不可变。最后保存 student_5999.pt。
教师初始化第一层前 65 列已与 blind_10000.pt 核对一致。权重来源与哈希见 checkpoints/manifest.json。原运行参数保存在 training/snapshots/,作为历史记录,不直接当作可执行 YAML 加载。
## 参数
| 参数 | 值 |
| --- | --- |
| 物理步长 / 降采样 | 0.005 s / 4,策略 50 Hz |
| 单回合 | 20 s |
| 平地 / 台阶及蒸馏并行环境 | 1024 / 512 |
| 种子 / 每环境 rollout | 42 / 24 步 |
| 网络 | MLP 512–256–128,ELU,观测归一化 |
| PPO | lr=0.001,自适应 KL,5 epochs,4 mini-batches |
| PPO gamma / GAE lambda / clip | 0.99 / 0.95 / 0.2 |
| PPO entropy / desired KL | 0.01 / 0.01 |
| 蒸馏 | MSE,Adam lr=0.001,1 epoch,gradient_length=15 |
| 梯度裁剪 | 1.0 |
| 蒸馏迭代 / 保存间隔 | 6000 / 200 |
地形为 8×8 m 地块上的单级台阶、1.5 m 助跑、课程高度 1–6 cm。升级依据为减去 100 mm 站高后的净爬升,而非前进距离。奖励包含速度跟踪、姿态和动作正则、相对上次触地点的抬脚高度、净爬升进度、自碰撞和超过额定角速度 80% 的惩罚。台阶任务取消三角步态奖励。完整参数以代码及历史快照为准。
## 训练命令
```bash
superspider-train flat
superspider-train blind
superspider-train teacher
superspider-train student
```
各阶段默认读取附带的上一阶段权重,便于独立训练。连续从头重训时,用 `--checkpoint logs/rsl_rl/.../model_....pt` 指定本轮上一阶段输出。资源与长度可用 `--num-envs`、`--iterations` 修改。
包装入口默认 flat=6000 次更新;blind 从 iter=5999 继续 4002 次,覆盖历史选用的 iter=10000;teacher 扩容后 3801 次;student 6000 次。PPO iter 为零起始标签,恢复迭代数不等于新增更新次数。历史 blind/teacher 配置预算分别是 14000/8000,选用权重不是预算最后一步。新训练不保证逐位复现历史随机结果。
更多参数:
```bash
python -m scripts.train Custom-Superspider-Stairs-Distill --help
```
## 评测
```bash
# 默认分别测试 student_1600 和 student_5999;自动选择 CUDA 或 CPU。
MUJOCO_GL=egl superspider-evaluate --output evaluation-output/full
# 仅检查评测入口能否运行,不作能力结论。
MUJOCO_GL=egl superspider-evaluate --device cpu --num-envs 2 --seconds 0.1 --heights 0.02 --output evaluation-output/smoke
# 指定一份权重和测试高度。
MUJOCO_GL=egl superspider-evaluate student_1600.pt --heights 0,0.02,0.05,0.08,0.09,0.10 --output evaluation-output/student1600
```
默认种子42、24环境、20秒、前进指令0.30 m/s。输出目录须不存在,防止覆盖既有证据;支持 `--device`、`--num-envs`、`--seconds`、`--seed` 和 `--threads`。CPU运行较慢。
协议 `single_step_v2` 的成功条件同时包含:
- 机身越过台阶立面至少5 cm,净高度超过台阶高度的85%,倾角不超过30°。
- 后半程超过80%的采样满足上述条件,且最后一个采样也满足。
- 整段没有终止、自动重置、非有限动作或状态;一旦失败,重置后的数据不能重新计为成功。
平地0 cm单独报告行走对照,检查同样的前进距离、姿态及相对起始高度±4 cm,不称为登顶。台阶立面接触沿用历史测试设置,不因 `illegal_contact` 单独终止;摔倒终止仍保留。该测试是单级台阶仿真,不能证明连续楼梯或真机能力。
每个场景保存 `rollout.npz`(50 Hz位置、倾角、终止与无效动作标记)、`result.json`(逐环境判定)、`env.yaml` 和 `agent.yaml`。总目录保存 `summary.json`、版本、权重和原始数据SHA-256、`source_manifest.json`。中断时总结果明确 `completed=false`,已完成场景仍保留;重置后的轨迹仅用于诊断,不用于位移和成功率累加。可用 `src.evaluation.summarize_trials` 从原始NPZ复算判定。
历史 student_1600 的记录为2–9 cm 100%、10 cm 0%,来自旧评测协议,仓库没有其原始逐帧证据。不能直接归给5999快照,亦不能视为新协议复验结果。2026-10-29仅验收安装与可运行性,完整性能评测未完成;部分已完成记录单独保留,不声明通过整套台阶测试。
蒸馏权重必须加载 student/teacher 字段,不能沿用 PPO 的 actor 字段。src/policy.py 严格检查任务与权重类型,防止漏载后运行随机网络。