Files
SkillFactory/docs/contact_cycle_sim_training_plan.md
T
chenlin 9fe9d27865 feat: checkpoint contact-cycle evaluation and RootXY PPO progress
Consolidate next-stage docs, archive superseded narratives, and preserve frozen document inputs. Retain invalid P2 pairs, partial RootXY training, failed attempts and nonselectable checkpoints as explicit limitations.

Include supervised evaluation/training, desktop GPU admission, bounded evidence and atomic-publication monitor repairs with CPU regressions. Ignore local dotenv configuration.

Validation: 1403 passed, 6 skipped for contact-cycle and related contracts/CLI tests. Full-suite legacy ABI and registration tests require Python 3.12/Torch 2.10/pxr; no runtime checks relaxed. No new physical run or accepted skill.
2026-10-15 14:18:17 +08:00

42 lines
3.7 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 46D残差PPO首轮试训计划(实施/运行前计划)
用户新授权:“开始训练,然后根据结果再修改内容”。此前所有训练额度已消费,本轮是新协议,不复用旧grant或账本。连续多周期测试暂缓。
## 固定试训范围
- 独立任务 `SkillFactory-Go2FL-ContactCycleSim-v1`;feature `contact-cycle-sim-truth-residual-46-v1`。
- 全新seed **91501**,128环境×32步×256更新=**1,048,576训练转移**。
- 训练及验证绝对CLOCK_BOOTTIME窗口 **3600s**,含启动/停机时间,同boot有效;监督器留清理余量。
- 全部产物 **≤1GiB**;一次实际训练launch,无自动重试、恢复、warm start或追加优化。
- 现有参考控制、±0.05rad全阶段残差、46D观察、奖励和功能门槛保持不变。只有名义周期,没有stand-only、外扰、DR或holdout。
- 新网络默认2×128 Tanh、初始latent std=.1、actor末层为零。零初始化能跑通是参考能力,不是学习成果。
- PPO保持现有generic math:Adam lr3e-4/eps1e-5,gamma=.99,GAE=.95,clip=.2,4epochs,minibatch1024,value coefficient=.5,maxgrad1,targetKL=.02,failure penalty10;reward除control dt。
## 接线和前置验证(不做机器人优化)
新增46D rollout/bootstrap/checkpoint层;不改旧32D runner或模型。
1. `contact_cycle_sim/ppo.py`:46D feature采集,true failure bootstrap0,timeout仅使用终止前46D观察;GAE跨任何reset截断;收集phase/causes诊断。
2. 新训练协议与runner:准备不等于批准;新的manifest绑定任务/配置/源码/资产/指标代码,使用独立checkpoint标识。
3. 复用不变的通用PPO数学与BOOTTIME预算机制,训练rollout前预扣、checkpoint后提交、不退还中断预留。CLI本轮不开放resume。
4. CPU合成测试和短实物理API检查(不更新参数)覆盖真实timeout/true-failure、终止观察、log-prob重算、参数未变、动作边界、缺诊断拒绝优化。
5. 独立审查、前置门禁通过后,由父代理准备快照并将本次用户授权绑定到最终manifest;此前不得创建实际训练grant或调用机器人optimizer。
## 开发验证与候选固定
使用相同128环境验证,seed **93501**;并非独立鲁棒性样本。
- u0(未训练基线)、u64/u128/u192/u256各执行完整9秒确定性评估。
- u0必须128/128满足既有仿真功能判据,否则训练在第一条优化rollout前停止。u0明确未训练且不得成为训练候选。
- 每个环境只评估第一次回合,不能拼接失败后的自动重置;保存所有行、前4条失败(若无失败则前4条成功)轨迹/初始状态和参数/参考/实际残差统计。
- 用旧功能审计器检查网络输出轨迹时,其`learned_policy`参数仅代表actor metadata要求;外层结果必须将u0标为未训练零残差网络,训练后标为解析参考+学习残差。
- 训练候选只在u64/u128/u192/u256中选择:先最小失败比例,再最小以下所有环境均值成本,精确并列取较早更新。
- 失败行固定16;成功行 `min(height_RMS/.06,2)+min(swing_RMS/.025,2)+min(landing_error/.05,2)`。
- 报告每个检查点与u0的完整性、位置误差、高度误差、残差幅度及回报,不以回报上涨替代功能。
- 记录actor、critic、log_std相对初始参数的变化;明确功能是否本已由参考控制提供、学习是否实际改善或退化。
- `accepted_skill=false`;不创建发布、独立验收或硬件/sim2real结论。
## 根据结果修改
先完成上述冻结试训,再依据真实失败/退化证据决定是否需要阶段限幅、奖励或优化配置修改;修改另立版本、保留本次结果。**此授权不自动包含修改后的第二轮优化**。