# 46D残差PPO首轮试训计划(实施/运行前计划) 用户新授权:“开始训练,然后根据结果再修改内容”。此前所有训练额度已消费,本轮是新协议,不复用旧grant或账本。连续多周期测试暂缓。 ## 固定试训范围 - 独立任务 `SkillFactory-Go2FL-ContactCycleSim-v1`;feature `contact-cycle-sim-truth-residual-46-v1`。 - 全新seed **91501**,128环境×32步×256更新=**1,048,576训练转移**。 - 训练及验证绝对CLOCK_BOOTTIME窗口 **3600s**,含启动/停机时间,同boot有效;监督器留清理余量。 - 全部产物 **≤1GiB**;一次实际训练launch,无自动重试、恢复、warm start或追加优化。 - 现有参考控制、±0.05rad全阶段残差、46D观察、奖励和功能门槛保持不变。只有名义周期,没有stand-only、外扰、DR或holdout。 - 新网络默认2×128 Tanh、初始latent std=.1、actor末层为零。零初始化能跑通是参考能力,不是学习成果。 - PPO保持现有generic math:Adam lr3e-4/eps1e-5,gamma=.99,GAE=.95,clip=.2,4epochs,minibatch1024,value coefficient=.5,maxgrad1,targetKL=.02,failure penalty10;reward除control dt。 ## 接线和前置验证(不做机器人优化) 新增46D rollout/bootstrap/checkpoint层;不改旧32D runner或模型。 1. `contact_cycle_sim/ppo.py`:46D feature采集,true failure bootstrap0,timeout仅使用终止前46D观察;GAE跨任何reset截断;收集phase/causes诊断。 2. 新训练协议与runner:准备不等于批准;新的manifest绑定任务/配置/源码/资产/指标代码,使用独立checkpoint标识。 3. 复用不变的通用PPO数学与BOOTTIME预算机制,训练rollout前预扣、checkpoint后提交、不退还中断预留。CLI本轮不开放resume。 4. CPU合成测试和短实物理API检查(不更新参数)覆盖真实timeout/true-failure、终止观察、log-prob重算、参数未变、动作边界、缺诊断拒绝优化。 5. 独立审查、前置门禁通过后,由父代理准备快照并将本次用户授权绑定到最终manifest;此前不得创建实际训练grant或调用机器人optimizer。 ## 开发验证与候选固定 使用相同128环境验证,seed **93501**;并非独立鲁棒性样本。 - u0(未训练基线)、u64/u128/u192/u256各执行完整9秒确定性评估。 - u0必须128/128满足既有仿真功能判据,否则训练在第一条优化rollout前停止。u0明确未训练且不得成为训练候选。 - 每个环境只评估第一次回合,不能拼接失败后的自动重置;保存所有行、前4条失败(若无失败则前4条成功)轨迹/初始状态和参数/参考/实际残差统计。 - 用旧功能审计器检查网络输出轨迹时,其`learned_policy`参数仅代表actor metadata要求;外层结果必须将u0标为未训练零残差网络,训练后标为解析参考+学习残差。 - 训练候选只在u64/u128/u192/u256中选择:先最小失败比例,再最小以下所有环境均值成本,精确并列取较早更新。 - 失败行固定16;成功行 `min(height_RMS/.06,2)+min(swing_RMS/.025,2)+min(landing_error/.05,2)`。 - 报告每个检查点与u0的完整性、位置误差、高度误差、残差幅度及回报,不以回报上涨替代功能。 - 记录actor、critic、log_std相对初始参数的变化;明确功能是否本已由参考控制提供、学习是否实际改善或退化。 - `accepted_skill=false`;不创建发布、独立验收或硬件/sim2real结论。 ## 根据结果修改 先完成上述冻结试训,再依据真实失败/退化证据决定是否需要阶段限幅、奖励或优化配置修改;修改另立版本、保留本次结果。**此授权不自动包含修改后的第二轮优化**。