Files
SkillFactory/docs/loaded_stand_training.md
T
chenlin 093ab883be feat: release guided Go2 standing skill with explicit drift waiver
Add loaded-standing physics, PPO training, fixed-candidate acceptance, isolated inference, and fail-closed publication. Preserve the original 120-second drift failure and bind the operator-approved exception to the exact candidate and evidence.

Include pending Reach training/release infrastructure and archived packages. Leave pre-existing short-worker visualization changes and large generated training artifacts out of this commit.
2026-10-12 17:26:03 +08:00

8.4 KiB
Raw Blame History

当前首要任务:Go2 FL受载站立策略训练

用户已要求将受载站立设为主线并开始训练。旧Reach1.0.1仅维护归档/完整性,不再作为当前开发重点。任务物理契约及既有基线见loaded_stand.md。

首轮结果:训练完成,随后耐久验收失败

2026-10-12首轮完整结束:2,048次更新、16,777,216条在线转移,含启动/清理共1,510.50秒(25.18分钟);单GPU、无恢复重启,run约12.6MB,满足本轮90分钟/2GiB预算。KL早停按预登记执行,实际14,979次optimizer minibatch、30,676,992条梯度抽样,不把未执行的epoch计入训练量。

固定validation(256环境×14秒,seed82000)结果:

指标 选中1024更新 零动作hold基线
settle后平均高度误差 0.9663mm 66.4361mm
最大selection高度误差 11.4227mm 99.4814mm
最大倾角 0.039608rad 0.052887rad
跌倒比例 0 0
最低环境承重接触比例 100% 100%

按validation-only规则选中1024更新,平均高度误差改善98.55%;最终2048更新误差2.5967mm,并未默认选最终权重。8次validation与hold使用完全一致的输入;hold是零动作控制对照,不是holdout。现有控制基线8.01mm是另一个协议下的最大误差,不能与此处均值直接对比。

  • 候选:logs/loaded_stand/train_v1/checkpoints/best_validation.pt。
  • 编号副本:checkpoints/update_001024.pt;已读取并核实model和optimizer逐tensor一致。两文件因保存时机/RNG状态等元数据不同,不要求整个文件hash相同。
  • 候选SHA256:f2197339dea3622ed92b82fdddff3400f2a82f3ca4d4fd3be6c72b45f1a77704;后续验收须绑定此候选,不以holdout重新选模。
  • 训练期间共3次跌倒终止;所有8次validation未跌倒。全程物理/传感有限,关节硬限位超出0、导向Fz为0,所有12种有符号载荷均实际出现。normalized torque峰值0.666229、velocity峰值1.000000477,在1.00001容差内,不声称速度有裕量。
  • 最终累计390,680批物理快照,其中训练327,680批;其余是hold/validation,不混入在线训练转移量。进程退出0、critical日志为空、自有helper清理完成。
  • 父级完成检查读取了4份checkpoint、检查185个tensor,确认真实参数变化、固定归一化buffer不变,并做了CPU合成输入确定性调用。这只是检查点完整性/数值检查,不是包-only加载或物理验收。
  • 原绑定源码与旧Reach发布校验均未变。完整证据:result.json、selection.json、validation/、completion_verification.json、completion_monitor.md,以及外部train_v1_process.json。

后续独立验收已执行:holdout与原13类全幅通过,候选包独立CPU加载通过;但26环境×120秒耐久的两个负Fz场景足端漂移30.62/30.78mm超过30mm门槛,拒绝冻结发布。详见验收报告。该次原始验收的accepted_skill=false保持不变,不重选权重、不自动重训。之后用户明确批准这一次漂移偏差,已另行带豁免冻结发布1.0.0,见发布报告;不能把该决定回写成原始物理门槛通过。

首轮预登记(在正式梯度训练前固定)

  • 新策略从随机初始化开始,在线PPO,直接输出3个关节位置目标的归一化动作;不加载Reach权重、不把解析站立控制器作为策略输出或隐藏残差。
  • 输入新任务全部45维观测,包括真实安装口六维wrench;固定物理量缩放、base z减目标高度,无训练中滚动统计。两层128维actor/critic,tanh-squashed Gaussian;PPO概率比使用pre-tanh latent(同一变换的Jacobian抵消)。不声称URMA共享形态或通用v2 adapter。
  • 256环境,32控制步rollout,2048次PPO更新:16,777,216条在线转移。每更新4 epochs、minibatch2048;KL超过0.02时停止该更新后续minibatch,不改变转移预算。其余数值锁定configs/training/go2_fl_loaded_stand_ppo_v1.json。
  • 沿用已校准的PGS、3kg载荷、XY/转动导向及零竖直辅助。每次episode随机选择13种有符号轴向场景,幅值为配置上限的[0.5,1.0]、脉冲时移[-0.5,0.5]秒;不增加未验证的质量/刚度/摩擦随机化。
  • 环境奖励除以control dt恢复逐步尺度;真正终止额外-5。GAE对timeout使用复位前terminal observation bootstrap,对真正跌倒置零,episode边界切断递归;不得用复位后状态偷接回报。
  • 每128更新保存完整model/optimizer/CPU+CUDA RNG/更新计数/累计时间/配置与资产及源码hash;保存原子替换。中断恢复保留learner状态但重置物理episode,不声称PhysX逐位恢复。STOP文件请求在rollout/update边界保存并退出。
  • 每256更新进行独立确定性validation(seed82000,全部256环境,14秒;幅值[0.6,1.0]、时移[-0.25,0.25])。以平均高度误差 + 0.10m×跌倒比例最小选模,失败后的剩余步按0.10m误差计,避免早结束获得虚假低误差。相同validation输入重复比较,validation不回传梯度;训练RNG在验证前后恢复。
  • 启动前记录固定零动作hold基线;validation仅负责选模,不是发布验收。最终选择锁定后才允许读取seed83000 holdout:独立扰动采样并加入两轴组合探索(超出本轮训练分布,单独报告),不得以holdout重选权重或调整门槛。
  • 后续候选必须在默认13类全幅协议下逐物理子步通过既有站立/安全/测力门槛,并完成新接口独立加载/耐久等冻结验收;至少比hold基线的平均高度误差改善30%。训练完成、奖励提高或validation最优都不等于技能已发布。

本轮预算及失败处理

单GPU,正式首轮最多90分钟wall time、最多2GiB新run产物;到预算保存并标记paused,不将未完成2048更新标成完整训练。监督进程额外留5分钟启动/清理宽限。保留所有预检和失败尝试,不启动无限调参/自动多轮训练。纯数学/恢复单测与短Kit预检只作工程准备,不计入正式训练量。

日志和权重位于logs/loaded_stand/train_v1/,预检在独立logs/loaded_stand/train_preflight/。progress.json是当前进度,metrics.jsonl记录逐更新训练/validation;checkpoint不是可直接发布的技能包。训练后还需独立物理测试,不改变既有冻结包。

启动记录与操作

2026-10-12首轮已启动并完成,当前没有继续运行的训练进程。启动门禁证据在train_preflight/:225 passed/3 skipped、Ruff通过;run_02在第2更新真实退出,再通过新Kit进程恢复至第4更新并完成validation。4个预检更新各发生156次正常timeout,覆盖terminal bootstrap和reset;固定下一批数据的learner/optimizer/RNG精确恢复另有纯Torch回归。预检只有工程意义,不计入正式1678万转移。独立审查的验证评分问题已修复、测试并复审通过。

# 正式首轮已完成;原目录保留,不要覆盖或在原run上追加训练。
# 新的独立复现应替换下面所有train_v1输出名。
unset CONDA_PREFIX VIRTUAL_ENV
export PYTHONPATH="$PWD/source/SkillFactory" PYTHONUNBUFFERED=1
export CUBLAS_WORKSPACE_CONFIG=:4096:8
python3 scripts/supervise_sim.py \
  --log logs/loaded_stand/train_v1.log \
  --report logs/loaded_stand/train_v1_process.json --timeout 5700 -- \
  /home/cen/IsaacLab/isaaclab.sh -p scripts/train_loaded_stand.py \
  --config configs/training/go2_fl_loaded_stand_ppo_v1.json \
  --output logs/loaded_stand/train_v1 \
  --console-log logs/loaded_stand/train_v1.log --headless

# 请求安全暂停;不会直接杀死其他Kit/桌面进程
# touch logs/loaded_stand/train_v1/STOP

train_v1.launch.json保存启动命令/监督PID。监督报告仅在退出及清理后最终落盘;运行中不能把passed=false/status=running当作失败。结束后同时检查训练result.json、train_v1_process.json及日志,不能以进度文件或子进程退出0代替完整判断。

恢复时先确认原进程已退出、保存并移走STOP文件;读取latest_checkpoint.json,使用同一config/output和--resume <实际checkpoint路径>,为新监督log/report选择未占用文件名。不要改绑定源码/配置后强行恢复;从checkpoint重启会重置物理episode。程序没有自动重启/自动换参数/自动发布。