af6c04ccb11ecae757de6cb1cb9f460cdfb52962
- 单文件后端(标准库HTTP) + 单文件前端,依赖仅 pyrealsense2/numpy/opencv-headless - 可调分辨率/帧率/曝光/增益,定时录制,自定义保存位置 - 输出 color.mp4 + 对齐深度16bit PNG + intrinsics.json(内参/时间戳) - 拉帧自愈预览与流级自动重启,README 含操作说明与 API Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
D405 采集台
Intel RealSense D405 深度相机的网页采集工具:浏览器里实时预览彩色+深度画面, 按钮控制录制,输出下游(Dyn-HaMR / 手部重建等)可直接使用的数据格式。
单文件后端(d405_capture_server.py,标准库 HTTP 服务)+ 单文件前端(d405_ui.html),
无框架依赖。
硬件要求
- Intel RealSense D405(其他 RealSense 型号未测;D405 特性:近距 7cm~50cm 最佳, 彩色与深度来自同一对成像器,天然对齐好、曝光联动)
- USB 3.x 接口(USB2 带宽不够,高分辨率/帧率会起不来流)
依赖与安装
系统 Python 3.12 + venv(不用 conda):
python3 -m venv .venv
.venv/bin/pip install -r requirements.txt
依赖只有三个(版本为实测可用版本,见 requirements.txt):
| 包 | 用途 |
|---|---|
pyrealsense2 2.58.4 |
RealSense SDK Python 绑定,取流/对齐/控曝光 |
numpy |
帧数据处理 |
opencv-python-headless |
JPEG/PNG 编码、mp4 写入、深度伪彩(headless 版即可,无 GUI 依赖) |
无需 root、无需安装 librealsense 系统包(pyrealsense2 的 wheel 自带)。
运行
.venv/bin/python d405_capture_server.py # 默认端口 8405
.venv/bin/python d405_capture_server.py --port 9000
浏览器打开 http://localhost:8405。服务只监听 127.0.0.1,如需远程访问请自行改绑定或做端口转发。
停止/重启(注意 pkill -f 会连含同名字符串的当前 shell 一起杀,用带括号的正则排除自身):
kill $(pgrep -f "d405_captur[e]_server")
界面操作
左侧实时画面(下方显示当前模式 / 实际帧率 / 深度有效像素比例),右侧四个面板:
- 录制
● 开始录制 / ■ 停止并保存- 录制时长(秒):填 N 秒到时自动停止;0 或留空 = 手动停止
- 保存位置:留空用默认
captures/;支持绝对路径和~;相对路径挂在 脚本所在目录下。目录不存在自动创建,每段录制在其下建时间戳子目录 - 保存深度:关掉可省约 90% 磁盘(深度 PNG 是大头)
- 视频流(改动需点「应用」,会重启相机流,约 1 秒黑屏;录制中禁止改)
- 分辨率 424×240 / 640×360 / 848×480 / 1280×720
- 帧率 5 / 15 / 30 / 60 / 90 —— 1280×720 最高 30fps,60/90 需 848×480 及以下
- 预览与深度显示(即时生效):预览 JPEG 画质、深度伪彩范围(0.5/1/2/4m)、 布局(并排 / 仅彩色 / 仅深度)。只影响预览,不影响录制数据
- 传感器(即时生效):自动曝光开关;手动模式可调曝光(100~30000µs)与增益 (D405 彩色/深度同一成像器,曝光对两者同时生效)
输出格式
每段录制一个目录 <保存位置>/<YYYYmmdd_HHMMSS>/:
color.mp4 彩色视频,按录制时的分辨率/帧率
depth/000000.png 16bit 单通道 PNG,每帧一张,与 color.mp4 帧号一一对应
intrinsics.json 元数据
- 深度 PNG 单位 0.1mm(值 × depth_scale_m = 米),已对齐到彩色帧(rs.align), 与彩色同分辨率,可直接按 intrinsics 反投影成点云
intrinsics.json:对齐后彩色内参(fx/fy/cx/cy)、depth_scale_m、录制参数 (分辨率/名义与实际帧率/是否存深度)、timestamps_ms(逐帧硬件时间戳,可查丢帧)
HTTP API(脚本化采集)
| 端点 | 方法 | 说明 |
|---|---|---|
/api/status |
GET | 流状态、录制状态、实际 fps、深度有效率 |
/api/start |
POST | {"duration":秒, "save_depth":bool, "out_dir":"路径"} |
/api/stop |
POST | 停止并保存 |
/api/config |
POST | 改 width/height/fps(触发流重启)或画质/深度范围/曝光等 |
/frame.jpg |
GET | 阻塞到新一帧再返回(≤1.5s),适合拉帧循环 |
/stream |
GET | MJPEG 流(兼容保留,前端已不用) |
示例——命令行录 10 秒到指定目录:
curl -X POST -d '{"duration":10,"out_dir":"~/datasets/grasp"}' http://localhost:8405/api/start
设计说明 / 已踩的坑
- 不用 librealsense 原生录制:SDK ≥2.56 只支持 rosbag2 的
.db3格式,下游不好用, 故自行落 mp4 + PNG + json - 预览不用 MJPEG 长连接:连接一断
<img>永远冻在最后一帧要手动刷新。前端改为/frame.jpg拉帧自愈循环(失败自动重试),服务端「等到新帧才返回」使拉帧节奏 自动对齐相机帧率 - 流级自愈:
wait_for_frames连续超时 2 次自动重启相机流;流启动失败每 2 秒自动重试 - 深度伪彩里黑色 = 无效像素。白墙/无纹理表面、超近(<7cm)或超远处无效点多, 是 D405 立体匹配的正常表现
Description
Languages
Python
60%
HTML
40%