79 lines
5.1 KiB
Markdown
79 lines
5.1 KiB
Markdown
# 最终训练方法
|
||
|
||
## 训练链
|
||
|
||
采用 mjlab + MuJoCo Warp 批量仿真、RSL-RL PPO 和教师学生蒸馏。动作顺序为腿 1 到 6,每腿 coxa、femur、tibia;在默认站姿上叠加动作,缩放 0.25。
|
||
|
||
1. 平地 PPO 学习速度跟踪,保留 flat_5999.pt。
|
||
2. 盲走单级台阶 PPO 从平地继续训练,65 维本体观测,选用 blind_10000.pt。
|
||
3. 高度图教师从盲走网络扩容:第一层插入 253 个扫描输入,新列权重为零,归一化新通道 mean=0、var/std=1;清空 Adam 参数状态,迭代计数归零。actor 65→318,critic 140→393。选用 teacher_3800.pt。
|
||
4. 固定教师,学生在自己访问的状态上拟合教师动作。student 观测组为 [actor],teacher 为 [actor, height],顺序不可变。最后保存 student_5999.pt。
|
||
|
||
教师初始化第一层前 65 列已与 blind_10000.pt 核对一致。权重来源与哈希见 checkpoints/manifest.json。原运行参数保存在 training/snapshots/,作为历史记录,不直接当作可执行 YAML 加载。
|
||
|
||
## 参数
|
||
|
||
| 参数 | 值 |
|
||
| --- | --- |
|
||
| 物理步长 / 降采样 | 0.005 s / 4,策略 50 Hz |
|
||
| 单回合 | 20 s |
|
||
| 平地 / 台阶及蒸馏并行环境 | 1024 / 512 |
|
||
| 种子 / 每环境 rollout | 42 / 24 步 |
|
||
| 网络 | MLP 512–256–128,ELU,观测归一化 |
|
||
| PPO | lr=0.001,自适应 KL,5 epochs,4 mini-batches |
|
||
| PPO gamma / GAE lambda / clip | 0.99 / 0.95 / 0.2 |
|
||
| PPO entropy / desired KL | 0.01 / 0.01 |
|
||
| 蒸馏 | MSE,Adam lr=0.001,1 epoch,gradient_length=15 |
|
||
| 梯度裁剪 | 1.0 |
|
||
| 蒸馏迭代 / 保存间隔 | 6000 / 200 |
|
||
|
||
地形为 8×8 m 地块上的单级台阶、1.5 m 助跑、课程高度 1–6 cm。升级依据为减去 100 mm 站高后的净爬升,而非前进距离。奖励包含速度跟踪、姿态和动作正则、相对上次触地点的抬脚高度、净爬升进度、自碰撞和超过额定角速度 80% 的惩罚。台阶任务取消三角步态奖励。完整参数以代码及历史快照为准。
|
||
|
||
## 训练命令
|
||
|
||
```bash
|
||
superspider-train flat
|
||
superspider-train blind
|
||
superspider-train teacher
|
||
superspider-train student
|
||
```
|
||
|
||
各阶段默认读取附带的上一阶段权重,便于独立训练。连续从头重训时,用 `--checkpoint logs/rsl_rl/.../model_....pt` 指定本轮上一阶段输出。资源与长度可用 `--num-envs`、`--iterations` 修改。
|
||
|
||
包装入口默认 flat=6000 次更新;blind 从 iter=5999 继续 4002 次,覆盖历史选用的 iter=10000;teacher 扩容后 3801 次;student 6000 次。PPO iter 为零起始标签,恢复迭代数不等于新增更新次数。历史 blind/teacher 配置预算分别是 14000/8000,选用权重不是预算最后一步。新训练不保证逐位复现历史随机结果。
|
||
|
||
更多参数:
|
||
|
||
```bash
|
||
python -m scripts.train Custom-Superspider-Stairs-Distill --help
|
||
```
|
||
|
||
## 评测
|
||
|
||
```bash
|
||
# 默认分别测试 student_1600 和 student_5999;自动选择 CUDA 或 CPU。
|
||
MUJOCO_GL=egl superspider-evaluate --output evaluation-output/full
|
||
|
||
# 仅检查评测入口能否运行,不作能力结论。
|
||
MUJOCO_GL=egl superspider-evaluate --device cpu --num-envs 2 --seconds 0.1 --heights 0.02 --output evaluation-output/smoke
|
||
|
||
# 指定一份权重和测试高度。
|
||
MUJOCO_GL=egl superspider-evaluate student_1600.pt --heights 0,0.02,0.05,0.08,0.09,0.10 --output evaluation-output/student1600
|
||
```
|
||
|
||
默认种子42、24环境、20秒、前进指令0.30 m/s。输出目录须不存在,防止覆盖既有证据;支持 `--device`、`--num-envs`、`--seconds`、`--seed` 和 `--threads`。CPU运行较慢。
|
||
|
||
协议 `single_step_v2` 的成功条件同时包含:
|
||
|
||
- 机身越过台阶立面至少5 cm,净高度超过台阶高度的85%,倾角不超过30°。
|
||
- 后半程超过80%的采样满足上述条件,且最后一个采样也满足。
|
||
- 整段没有终止、自动重置、非有限动作或状态;一旦失败,重置后的数据不能重新计为成功。
|
||
|
||
平地0 cm单独报告行走对照,检查同样的前进距离、姿态及相对起始高度±4 cm,不称为登顶。台阶立面接触沿用历史测试设置,不因 `illegal_contact` 单独终止;摔倒终止仍保留。该测试是单级台阶仿真,不能证明连续楼梯或真机能力。
|
||
|
||
每个场景保存 `rollout.npz`(50 Hz位置、倾角、终止与无效动作标记)、`result.json`(逐环境判定)、`env.yaml` 和 `agent.yaml`。总目录保存 `summary.json`、版本、权重和原始数据SHA-256、`source_manifest.json`。中断时总结果明确 `completed=false`,已完成场景仍保留;重置后的轨迹仅用于诊断,不用于位移和成功率累加。可用 `src.evaluation.summarize_trials` 从原始NPZ复算判定。
|
||
|
||
历史 student_1600 的记录为2–9 cm 100%、10 cm 0%,来自旧评测协议,仓库没有其原始逐帧证据。不能直接归给5999快照,亦不能视为新协议复验结果。2026-10-29仅验收安装与可运行性,完整性能评测未完成;部分已完成记录单独保留,不声明通过整套台阶测试。
|
||
|
||
蒸馏权重必须加载 student/teacher 字段,不能沿用 PPO 的 actor 字段。src/policy.py 严格检查任务与权重类型,防止漏载后运行随机网络。
|