9fe9d27865
Consolidate next-stage docs, archive superseded narratives, and preserve frozen document inputs. Retain invalid P2 pairs, partial RootXY training, failed attempts and nonselectable checkpoints as explicit limitations. Include supervised evaluation/training, desktop GPU admission, bounded evidence and atomic-publication monitor repairs with CPU regressions. Ignore local dotenv configuration. Validation: 1403 passed, 6 skipped for contact-cycle and related contracts/CLI tests. Full-suite legacy ABI and registration tests require Python 3.12/Torch 2.10/pxr; no runtime checks relaxed. No new physical run or accepted skill.
3.7 KiB
3.7 KiB
46D残差PPO首轮试训计划(实施/运行前计划)
用户新授权:“开始训练,然后根据结果再修改内容”。此前所有训练额度已消费,本轮是新协议,不复用旧grant或账本。连续多周期测试暂缓。
固定试训范围
- 独立任务
SkillFactory-Go2FL-ContactCycleSim-v1;featurecontact-cycle-sim-truth-residual-46-v1。 - 全新seed 91501,128环境×32步×256更新=1,048,576训练转移。
- 训练及验证绝对CLOCK_BOOTTIME窗口 3600s,含启动/停机时间,同boot有效;监督器留清理余量。
- 全部产物 ≤1GiB;一次实际训练launch,无自动重试、恢复、warm start或追加优化。
- 现有参考控制、±0.05rad全阶段残差、46D观察、奖励和功能门槛保持不变。只有名义周期,没有stand-only、外扰、DR或holdout。
- 新网络默认2×128 Tanh、初始latent std=.1、actor末层为零。零初始化能跑通是参考能力,不是学习成果。
- PPO保持现有generic math:Adam lr3e-4/eps1e-5,gamma=.99,GAE=.95,clip=.2,4epochs,minibatch1024,value coefficient=.5,maxgrad1,targetKL=.02,failure penalty10;reward除control dt。
接线和前置验证(不做机器人优化)
新增46D rollout/bootstrap/checkpoint层;不改旧32D runner或模型。
contact_cycle_sim/ppo.py:46D feature采集,true failure bootstrap0,timeout仅使用终止前46D观察;GAE跨任何reset截断;收集phase/causes诊断。- 新训练协议与runner:准备不等于批准;新的manifest绑定任务/配置/源码/资产/指标代码,使用独立checkpoint标识。
- 复用不变的通用PPO数学与BOOTTIME预算机制,训练rollout前预扣、checkpoint后提交、不退还中断预留。CLI本轮不开放resume。
- CPU合成测试和短实物理API检查(不更新参数)覆盖真实timeout/true-failure、终止观察、log-prob重算、参数未变、动作边界、缺诊断拒绝优化。
- 独立审查、前置门禁通过后,由父代理准备快照并将本次用户授权绑定到最终manifest;此前不得创建实际训练grant或调用机器人optimizer。
开发验证与候选固定
使用相同128环境验证,seed 93501;并非独立鲁棒性样本。
- u0(未训练基线)、u64/u128/u192/u256各执行完整9秒确定性评估。
- u0必须128/128满足既有仿真功能判据,否则训练在第一条优化rollout前停止。u0明确未训练且不得成为训练候选。
- 每个环境只评估第一次回合,不能拼接失败后的自动重置;保存所有行、前4条失败(若无失败则前4条成功)轨迹/初始状态和参数/参考/实际残差统计。
- 用旧功能审计器检查网络输出轨迹时,其
learned_policy参数仅代表actor metadata要求;外层结果必须将u0标为未训练零残差网络,训练后标为解析参考+学习残差。 - 训练候选只在u64/u128/u192/u256中选择:先最小失败比例,再最小以下所有环境均值成本,精确并列取较早更新。
- 失败行固定16;成功行
min(height_RMS/.06,2)+min(swing_RMS/.025,2)+min(landing_error/.05,2)。
- 失败行固定16;成功行
- 报告每个检查点与u0的完整性、位置误差、高度误差、残差幅度及回报,不以回报上涨替代功能。
- 记录actor、critic、log_std相对初始参数的变化;明确功能是否本已由参考控制提供、学习是否实际改善或退化。
accepted_skill=false;不创建发布、独立验收或硬件/sim2real结论。
根据结果修改
先完成上述冻结试训,再依据真实失败/退化证据决定是否需要阶段限幅、奖励或优化配置修改;修改另立版本、保留本次结果。此授权不自动包含修改后的第二轮优化。