liyang
ae28d55f81
Source: RGB-D -> Dyn-HaMR -> L20 retargeting -> FoundationPose -> reference repair -> SPIDER, documented in docs/PIPELINE_LATEST.md and docs/SETUP_AND_WEIGHTS.md. Adds FoundationPose and nvdiffrast upstream snapshots, requirements/pipeline_venv.txt and the FoundationPose weight manifest/downloader. Assets (Git LFS): weights/ (WiLoR detector, HandFlow denoiser, UniDepth-L), FoundationPose checkpoints, HaMeR checkpoint, Dyn-HaMR HMP model and BMC constraints, L20 URDF/meshes, the 20260915_171525 D405 recording and the two box CADs. MANO models are not redistributed (third_party/hamer/_DATA/data/mano/README.txt). Environments, caches and run outputs excluded. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
54 lines
3.1 KiB
Markdown
54 lines
3.1 KiB
Markdown
# Hand Motion Pipeline：Dyn-HaMR · dex-retargeting · SPIDER
|
||
|
||
在 HandFlow 工作区中集成 RGB-D / 单目人手重建（Dyn-HaMR、HandFlow）、L20 左右手重定向、FoundationPose 物体跟踪、手物参考修复、SPIDER 接触优化实验和 HDF5 轨迹导出。
|
||
|
||
```text
|
||
D405 RGB-D 视频 → 静态背景里程计 → Dyn-HaMR 双手世界轨迹（也可 HandFlow / ViPE 单目分支）
|
||
→ dex-retargeting + L20 左右手 URDF → 机器人腕部与关节轨迹
|
||
→ FoundationPose 物体 6D 跟踪 → 手物配准 → 碰撞修复 / 桌面约束 / 平滑投影 → 运动学参考
|
||
→ SPIDER 接触引导物理滚动（MuJoCo Warp）→ 审计 / 回放 / HDF5
|
||
```
|
||
|
||
## 从这里开始
|
||
|
||
- **[最新流程（RGB-D 双手 → Dyn-HaMR → L20 重定向 → FoundationPose → 参考修复 → SPIDER）](docs/PIPELINE_LATEST.md)** ← 当前交付链路，按此执行
|
||
- [安装依赖、环境与权重下载](docs/SETUP_AND_WEIGHTS.md) ← 部署先看这个
|
||
- 克隆本仓库后：`git lfs pull && python3 scripts/large_files.py assemble`（大于 50 MB 的权重是分片存放的，见 SETUP §4.0）
|
||
- [环境变量配置模板](configs/project_env.example.sh)
|
||
- [集成结构、环境、运行顺序与上传步骤](docs/INTEGRATED_PROJECT.md)
|
||
- [重定向方法、验证与限制](docs/retargeting_workflow_and_lessons_zh.md)
|
||
- [HDF5 原始接口要求](docs/HDF5_REQUIREMENTS.md)：原文为左手；当前导出为明确标记的右手变体。
|
||
- [HandFlow 原始 README](docs/HANDFLOW_UPSTREAM_README.md)
|
||
|
||
## 当前能力
|
||
|
||
- 已有 L20 右手重定向、腕部运动、平滑、模型约束检查、可视化及 HDF5 导出代码。
|
||
- 1333 帧完整回放包含运动学接触配准，不能等同于完整 SPIDER 动力学抓取成功。
|
||
- SPIDER 实验和完整运动学回放是不同产物；只根据各自的实际评估结果作结论。
|
||
- 部分脚本仍使用 `2047635068` / `15886123` 示例路径，需要按数据修改；尚未整理为任意视频的一键通用工具。
|
||
|
||
## 目录
|
||
|
||
| 目录 | 内容 |
|
||
|---|---|
|
||
| `scripts/` | 重建导出、L20 适配、SPIDER 场景/运行、回放验证、HDF5 导出 |
|
||
| `model/`、`utils/`、`preprocessing/`、`visualization/` | HandFlow 推理代码 |
|
||
| `third_party/` | 上游源码；源码交付包使用带来源记录的普通目录快照 |
|
||
| `configs/`、`requirements/` | 配置、重定向依赖和本机观测版本 |
|
||
| `docs/` | 集成、数据与方法说明 |
|
||
| `output/`、权重和本地环境 | 本地运行资源，不进入源码交付 |
|
||
|
||
## 生成源码交付包
|
||
|
||
在当前完整开发工作区运行：
|
||
|
||
```bash
|
||
python3 scripts/package_source_release.py
|
||
```
|
||
|
||
输出至 `dist/hand-motion-pipeline/` 和同名 `.tar.gz`。包中保存第三方版本、源码文件哈希、外部资源清单、排除文件及可移植性检查报告。此命令只整理文件，不运行推理，不上传远程仓库。
|
||
|
||
## 来源和授权
|
||
|
||
保留 [HandFlow 原 LICENSE](LICENSE)；Dyn-HaMR、HaMeR、ViPE、SPIDER 等使用各自目录的上游 LICENSE。dex-retargeting 作为版本依赖使用。本地代码是组件适配与实验集成，上游算法和资源保持原归属。
|