# Hand Motion Pipeline：Dyn-HaMR · dex-retargeting · SPIDER

在 HandFlow 工作区中集成 RGB-D / 单目人手重建（Dyn-HaMR、HandFlow）、L20 左右手重定向、FoundationPose 物体跟踪、手物参考修复、SPIDER 接触优化实验和 HDF5 轨迹导出。

```text
D405 RGB-D 视频 → 静态背景里程计 → Dyn-HaMR 双手世界轨迹（也可 HandFlow / ViPE 单目分支）
     → dex-retargeting + L20 左右手 URDF → 机器人腕部与关节轨迹
     → FoundationPose 物体 6D 跟踪 → 手物配准 → 碰撞修复 / 桌面约束 / 平滑投影 → 运动学参考
     → SPIDER 接触引导物理滚动（MuJoCo Warp）→ 审计 / 回放 / HDF5
```

## 从这里开始

- **[最新流程（RGB-D 双手 → Dyn-HaMR → L20 重定向 → FoundationPose → 参考修复 → SPIDER）](docs/PIPELINE_LATEST.md)** ← 当前交付链路，按此执行
- [安装依赖、环境与权重下载](docs/SETUP_AND_WEIGHTS.md) ← 部署先看这个
- 克隆本仓库后：`git lfs pull && python3 scripts/large_files.py assemble`（大于 50 MB 的权重是分片存放的，见 SETUP §4.0）
- [环境变量配置模板](configs/project_env.example.sh)
- [集成结构、环境、运行顺序与上传步骤](docs/INTEGRATED_PROJECT.md)
- [重定向方法、验证与限制](docs/retargeting_workflow_and_lessons_zh.md)
- [HDF5 原始接口要求](docs/HDF5_REQUIREMENTS.md)：原文为左手；当前导出为明确标记的右手变体。
- [HandFlow 原始 README](docs/HANDFLOW_UPSTREAM_README.md)

## 当前能力

- 已有 L20 右手重定向、腕部运动、平滑、模型约束检查、可视化及 HDF5 导出代码。
- 1333 帧完整回放包含运动学接触配准，不能等同于完整 SPIDER 动力学抓取成功。
- SPIDER 实验和完整运动学回放是不同产物；只根据各自的实际评估结果作结论。
- 部分脚本仍使用 `2047635068` / `15886123` 示例路径，需要按数据修改；尚未整理为任意视频的一键通用工具。

## 目录

| 目录 | 内容 |
|---|---|
| `scripts/` | 重建导出、L20 适配、SPIDER 场景/运行、回放验证、HDF5 导出 |
| `model/`、`utils/`、`preprocessing/`、`visualization/` | HandFlow 推理代码 |
| `third_party/` | 上游源码；源码交付包使用带来源记录的普通目录快照 |
| `configs/`、`requirements/` | 配置、重定向依赖和本机观测版本 |
| `docs/` | 集成、数据与方法说明 |
| `output/`、权重和本地环境 | 本地运行资源，不进入源码交付 |

## 生成源码交付包

在当前完整开发工作区运行：

```bash
python3 scripts/package_source_release.py
```

输出至 `dist/hand-motion-pipeline/` 和同名 `.tar.gz`。包中保存第三方版本、源码文件哈希、外部资源清单、排除文件及可移植性检查报告。此命令只整理文件，不运行推理，不上传远程仓库。

## 来源和授权

保留 [HandFlow 原 LICENSE](LICENSE)；Dyn-HaMR、HaMeR、ViPE、SPIDER 等使用各自目录的上游 LICENSE。dex-retargeting 作为版本依赖使用。本地代码是组件适配与实验集成，上游算法和资源保持原归属。