Files
SkillFactory/docs/contact_cycle_sim_training_plan.md
T
chenlin 9fe9d27865 feat: checkpoint contact-cycle evaluation and RootXY PPO progress
Consolidate next-stage docs, archive superseded narratives, and preserve frozen document inputs. Retain invalid P2 pairs, partial RootXY training, failed attempts and nonselectable checkpoints as explicit limitations.

Include supervised evaluation/training, desktop GPU admission, bounded evidence and atomic-publication monitor repairs with CPU regressions. Ignore local dotenv configuration.

Validation: 1403 passed, 6 skipped for contact-cycle and related contracts/CLI tests. Full-suite legacy ABI and registration tests require Python 3.12/Torch 2.10/pxr; no runtime checks relaxed. No new physical run or accepted skill.
2026-10-15 14:18:17 +08:00

3.7 KiB
Raw Blame History

46D残差PPO首轮试训计划(实施/运行前计划)

用户新授权:“开始训练,然后根据结果再修改内容”。此前所有训练额度已消费,本轮是新协议,不复用旧grant或账本。连续多周期测试暂缓。

固定试训范围

  • 独立任务 SkillFactory-Go2FL-ContactCycleSim-v1;feature contact-cycle-sim-truth-residual-46-v1。
  • 全新seed 91501,128环境×32步×256更新=1,048,576训练转移。
  • 训练及验证绝对CLOCK_BOOTTIME窗口 3600s,含启动/停机时间,同boot有效;监督器留清理余量。
  • 全部产物 ≤1GiB;一次实际训练launch,无自动重试、恢复、warm start或追加优化。
  • 现有参考控制、±0.05rad全阶段残差、46D观察、奖励和功能门槛保持不变。只有名义周期,没有stand-only、外扰、DR或holdout。
  • 新网络默认2×128 Tanh、初始latent std=.1、actor末层为零。零初始化能跑通是参考能力,不是学习成果。
  • PPO保持现有generic math:Adam lr3e-4/eps1e-5,gamma=.99,GAE=.95,clip=.2,4epochs,minibatch1024,value coefficient=.5,maxgrad1,targetKL=.02,failure penalty10;reward除control dt。

接线和前置验证(不做机器人优化)

新增46D rollout/bootstrap/checkpoint层;不改旧32D runner或模型。

  1. contact_cycle_sim/ppo.py:46D feature采集,true failure bootstrap0,timeout仅使用终止前46D观察;GAE跨任何reset截断;收集phase/causes诊断。
  2. 新训练协议与runner:准备不等于批准;新的manifest绑定任务/配置/源码/资产/指标代码,使用独立checkpoint标识。
  3. 复用不变的通用PPO数学与BOOTTIME预算机制,训练rollout前预扣、checkpoint后提交、不退还中断预留。CLI本轮不开放resume。
  4. CPU合成测试和短实物理API检查(不更新参数)覆盖真实timeout/true-failure、终止观察、log-prob重算、参数未变、动作边界、缺诊断拒绝优化。
  5. 独立审查、前置门禁通过后,由父代理准备快照并将本次用户授权绑定到最终manifest;此前不得创建实际训练grant或调用机器人optimizer。

开发验证与候选固定

使用相同128环境验证,seed 93501;并非独立鲁棒性样本。

  • u0(未训练基线)、u64/u128/u192/u256各执行完整9秒确定性评估。
  • u0必须128/128满足既有仿真功能判据,否则训练在第一条优化rollout前停止。u0明确未训练且不得成为训练候选。
  • 每个环境只评估第一次回合,不能拼接失败后的自动重置;保存所有行、前4条失败(若无失败则前4条成功)轨迹/初始状态和参数/参考/实际残差统计。
  • 用旧功能审计器检查网络输出轨迹时,其learned_policy参数仅代表actor metadata要求;外层结果必须将u0标为未训练零残差网络,训练后标为解析参考+学习残差。
  • 训练候选只在u64/u128/u192/u256中选择:先最小失败比例,再最小以下所有环境均值成本,精确并列取较早更新。
    • 失败行固定16;成功行 min(height_RMS/.06,2)+min(swing_RMS/.025,2)+min(landing_error/.05,2)。
  • 报告每个检查点与u0的完整性、位置误差、高度误差、残差幅度及回报,不以回报上涨替代功能。
  • 记录actor、critic、log_std相对初始参数的变化;明确功能是否本已由参考控制提供、学习是否实际改善或退化。
  • accepted_skill=false;不创建发布、独立验收或硬件/sim2real结论。

根据结果修改

先完成上述冻结试训,再依据真实失败/退化证据决定是否需要阶段限幅、奖励或优化配置修改;修改另立版本、保留本次结果。此授权不自动包含修改后的第二轮优化。