9fe9d27865
Consolidate next-stage docs, archive superseded narratives, and preserve frozen document inputs. Retain invalid P2 pairs, partial RootXY training, failed attempts and nonselectable checkpoints as explicit limitations. Include supervised evaluation/training, desktop GPU admission, bounded evidence and atomic-publication monitor repairs with CPU regressions. Ignore local dotenv configuration. Validation: 1403 passed, 6 skipped for contact-cycle and related contracts/CLI tests. Full-suite legacy ABI and registration tests require Python 3.12/Torch 2.10/pxr; no runtime checks relaxed. No new physical run or accepted skill.
42 lines
3.7 KiB
Markdown
42 lines
3.7 KiB
Markdown
# 46D残差PPO首轮试训计划(实施/运行前计划)
|
||
|
||
用户新授权:“开始训练,然后根据结果再修改内容”。此前所有训练额度已消费,本轮是新协议,不复用旧grant或账本。连续多周期测试暂缓。
|
||
|
||
## 固定试训范围
|
||
|
||
- 独立任务 `SkillFactory-Go2FL-ContactCycleSim-v1`;feature `contact-cycle-sim-truth-residual-46-v1`。
|
||
- 全新seed **91501**,128环境×32步×256更新=**1,048,576训练转移**。
|
||
- 训练及验证绝对CLOCK_BOOTTIME窗口 **3600s**,含启动/停机时间,同boot有效;监督器留清理余量。
|
||
- 全部产物 **≤1GiB**;一次实际训练launch,无自动重试、恢复、warm start或追加优化。
|
||
- 现有参考控制、±0.05rad全阶段残差、46D观察、奖励和功能门槛保持不变。只有名义周期,没有stand-only、外扰、DR或holdout。
|
||
- 新网络默认2×128 Tanh、初始latent std=.1、actor末层为零。零初始化能跑通是参考能力,不是学习成果。
|
||
- PPO保持现有generic math:Adam lr3e-4/eps1e-5,gamma=.99,GAE=.95,clip=.2,4epochs,minibatch1024,value coefficient=.5,maxgrad1,targetKL=.02,failure penalty10;reward除control dt。
|
||
|
||
## 接线和前置验证(不做机器人优化)
|
||
|
||
新增46D rollout/bootstrap/checkpoint层;不改旧32D runner或模型。
|
||
|
||
1. `contact_cycle_sim/ppo.py`:46D feature采集,true failure bootstrap0,timeout仅使用终止前46D观察;GAE跨任何reset截断;收集phase/causes诊断。
|
||
2. 新训练协议与runner:准备不等于批准;新的manifest绑定任务/配置/源码/资产/指标代码,使用独立checkpoint标识。
|
||
3. 复用不变的通用PPO数学与BOOTTIME预算机制,训练rollout前预扣、checkpoint后提交、不退还中断预留。CLI本轮不开放resume。
|
||
4. CPU合成测试和短实物理API检查(不更新参数)覆盖真实timeout/true-failure、终止观察、log-prob重算、参数未变、动作边界、缺诊断拒绝优化。
|
||
5. 独立审查、前置门禁通过后,由父代理准备快照并将本次用户授权绑定到最终manifest;此前不得创建实际训练grant或调用机器人optimizer。
|
||
|
||
## 开发验证与候选固定
|
||
|
||
使用相同128环境验证,seed **93501**;并非独立鲁棒性样本。
|
||
|
||
- u0(未训练基线)、u64/u128/u192/u256各执行完整9秒确定性评估。
|
||
- u0必须128/128满足既有仿真功能判据,否则训练在第一条优化rollout前停止。u0明确未训练且不得成为训练候选。
|
||
- 每个环境只评估第一次回合,不能拼接失败后的自动重置;保存所有行、前4条失败(若无失败则前4条成功)轨迹/初始状态和参数/参考/实际残差统计。
|
||
- 用旧功能审计器检查网络输出轨迹时,其`learned_policy`参数仅代表actor metadata要求;外层结果必须将u0标为未训练零残差网络,训练后标为解析参考+学习残差。
|
||
- 训练候选只在u64/u128/u192/u256中选择:先最小失败比例,再最小以下所有环境均值成本,精确并列取较早更新。
|
||
- 失败行固定16;成功行 `min(height_RMS/.06,2)+min(swing_RMS/.025,2)+min(landing_error/.05,2)`。
|
||
- 报告每个检查点与u0的完整性、位置误差、高度误差、残差幅度及回报,不以回报上涨替代功能。
|
||
- 记录actor、critic、log_std相对初始参数的变化;明确功能是否本已由参考控制提供、学习是否实际改善或退化。
|
||
- `accepted_skill=false`;不创建发布、独立验收或硬件/sim2real结论。
|
||
|
||
## 根据结果修改
|
||
|
||
先完成上述冻结试训,再依据真实失败/退化证据决定是否需要阶段限幅、奖励或优化配置修改;修改另立版本、保留本次结果。**此授权不自动包含修改后的第二轮优化**。
|