Files

132 lines
11 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# A7 + D405 固定相机手眼标定流程
## 1. 本次方案及已知限制
相机固定在双臂中间,属于 eye-to-hand。用相机识别棋盘,再用**左臂上的固定法兰参考点**对准棋盘上的已知位置,联合求出法兰参考点偏移和棋盘相对基座的位置,最后得到相机到基座的变换。默认左臂,也可在record/solve/validate中显式使用 `--arm right`。
本工具沿用固定触点求解方法,现已支持左臂。此前左臂掉使能时曾出现:操作者扭动,但状态固定在约±0.011°。因此不能用“收到新消息/时间戳变化”代替真实编码器更新。采样前必须确认所选臂有效反馈,不能默认掉使能可读。
**现场顺序:先在在线控制器网页给所选臂上使能;每个采样点再执行:掉使能手动摆位 → 重新上使能 → 确认角度恢复、姿态静止且参考点仍对准 → 输入点位编号记录。** 掉使能时支撑好手臂;使能导致接触位置变化时,该点不能记录。软件不代替操作者切换使能。
## 2. 固定设备和触点
- 相机、棋盘、机器人基座在整个采集过程中不能移动;相机线缆不能拉动支架。
- 本棋盘为8列×5行内角点,格长27mm,正式开始前核对实物尺寸。
- 选定同一个可重复定位的法兰参考点。只用侧边但每次接触位置不同,不满足固定偏移假设。
- 不混用手指尖、法兰边和不同接触点。如使用手指尖,它相对法兰必须保持刚性固定;灵巧手关节变化会破坏假设。
- 本套脚本默认读取**左臂**;record/solve/validate必须选择同一臂。样本和求解结果均保存臂标记,跨臂混用会拒绝。旧右臂数据保留,左臂在新会话中重新采点和求解固定触点偏移。
## 3. 第一步:拍板并生成标定线图片
在README所示目录运行 `bash run.sh capture`。它自动检查并按需启动域29的D405驱动,保存五帧RGB和内参,再生成棋盘编号图。已有相机驱动会复用,不重复启动;不会启动机械臂驱动。
检查完整棋盘、角点与图像交点一致,无遮挡或明显模糊。平均重投影误差约0.5px以内可作为图像检测检查目标,不代表机器人绝对定位精度。此旧PnP脚本未使用畸变参数;当前相机内参/图像是否已校正应核对,有非零畸变时需先适配求解器,不能套用误差结论。
新一轮运行capture自动创建北京时间微秒时间戳目录,成功后自动设为当前会话;record/solve/validate自动跟随,无需指定路径。status可查看实际路径。已保存且有效的当前拍板数据可以续用,无需重复capture;相机/棋盘若移动则必须开始新一轮。不要复制旧touch_samples.json进来,也不要对旧数据直接使用 `--fresh`。
## 4. 编号:必须对准格子中心,不是内角点
`corners_labeled.png`给40个内角点编号0–39。左臂使用`align_lines_left.png`,黄线连接格子的k与k+9;右臂使用`align_lines_right.png`,黄线连接k+1与k+8。两条线属于同一个格子的两条对角线,实际触点均为锚点k的**右下方格中心**。`align_lines.png`为capture所选臂的图。编号取决于本次识别方向,始终以本次图为准。
有效锚点:
```
0 1 2 3 4 5 6
8 9 10 11 12 13 14
16 17 18 19 20 21 22
24 25 26 27 28 29 30
```
7、15、23、31及32–39没有对应的右下内部格子,不能用。输入0表示0号锚点右下的**格子中心**,不是触碰0号角点。脚本部分提示仍把编号叫“角点”,它表示格子的锚点编号,不能据此去碰内角点;求解和验证均采用格子中心。
## 5. 网页使能、手动摆位与连续采点
电脑连接控制器所在网络后,打开 **[在线控制器网页](http://192.168.10.21:8000/)**,选择本轮标定的左臂或右臂,先给该臂上使能。网页地址使用8000端口;脚本读取状态使用192.168.10.21:9090的ROSBridge接口,二者不要混淆。网页仅在可访问控制器的网络内可用。
打开第一步当前会话生成的 `align_lines_left.png`(左臂)或 `align_lines_right.png`(右臂),按图上的黄色对角线摆放法兰盘。每次使用同一个固定法兰参考点,对准所选格子的中心(对角线中点),不能沿整条对角线随意选接触位置。图像所在会话可用 `bash run.sh status` 查看。
启动一次采集脚本并保持运行:
```bash
bash run.sh record --arm left
# 右臂使用:bash run.sh record --arm right
```
对每个点依次操作:
1. 在在线控制器网页给所选臂**掉使能**,支撑好手臂后手动摆位。
2. 按对应标定线图片摆放法兰盘,让固定参考点对准目标格子中心。
3. 在网页重新**上使能**。本机流程需要上使能后才能取得有效手臂状态;掉使能摆位期间不采点。确认停稳后法兰仍对准原位置。
4. 回到采集终端,可输入 `s` 查看状态,核对关节角/位姿与刚才摆位相符。收到新消息不等于编码器真实更新。
5. 输入图中该格子的锚点编号 `k` 并回车,保存当前点。例如输入 `0` 表示0号锚点右下格子的中心,而非0号内角点。
6. 换下一个点,重复“网页掉使能 → 摆位 → 网页上使能 → 输入编号”。无需每点重启脚本,也无需每点重新capture。
采完多个位置和朝向后输入 `done` 结束,再运行solve。输入 `u` 可撤销最近一条;如果上使能后法兰离开目标,应重新摆位,不能保存该点。
整理版每条样本立即存盘;拒绝无效编号和已观察到的全零附近占位角度。该检查不是通用使能状态检测:非零缓存也可能无效,仍需操作者确认。与上一点位置差<3mm会询问是否保存;同一点换朝向的有效样本可以保存,但应先确认确实不是旧反馈。
建议12–20组训练样本,覆盖板的不同区域。在可达、无碰撞的前提下绕不同方向改变腕部朝向;只有平移或始终同一朝向会让触点偏移难以确定。15°/40°都不是精度保证,需结合解的可观测性和独立误差评估。旧脚本接受至少4个不同点只代表可以尝试求解,不代表采集充分。
同时预留3–5个未参与求解的位置/朝向用于验证。不能把验证点混入训练后仍称独立验证。
## 6. 联合求解
运行 `bash run.sh solve`,入口自动备份该目录的旧camera.json。
对第i次采样:
```
t_i + R_i * d = R_base_board * b_i + t_base_board
T_base_camera = T_base_board * inverse(T_camera_board)
```
其中R_i、t_i来自控制器报告的末端pose;d是相对于该pose所代表末端坐标系的固定触点偏移。不要未经核对就认定该pose一定是裸法兰;采集期间工具/工作坐标系不能改变。b_i是格子中心的棋盘坐标,单位米。
输出包括T_base_board、T_base_camera、d以及训练残差。相机文件的T_base_cam_opencv和历史字段T_world_cam_opencv均表示相机在基座系中的位姿,可将相机坐标点转换到base_link;不是已经抬高后的RViz world坐标。
本旧求解器没有完整的病态性拒绝或自动验收门控。即使打印calibrated,也只是求解结果,不能直接用于运动。大触点偏移、少量样本造成结果大变、朝向覆盖小或误差集中在某区域,均需重新检查样本,而不是增加显示平移掩盖。
## 7. 独立验证
运行 `bash run.sh validate`。使用未参与训练的格子中心及不同腕部朝向,仍由操作者摆位、使能、确认实际反馈后输入编号。此脚本仅读取与计算,不会自动移动过去。
记录各点误差、平均值和最大值;终端输出自动保存在当前目录logs/下的时间戳文件。软件的“<10mm可用”只是旧经验提示,不是抓取放行标准。验收阈值应按后续任务所需精度确定。低训练残差、低图像重投影误差都不能替代独立验证。
再看左右腕部、固定手掌与**原始点云**是否同时重合。不要用过滤后的点云评估整体重合,也不要用未接入实际关节角的手指作为标定参照。
## 8. 接入杯子抓取项目
只有独立验证完成、相机安装保持不变时才接入。`T_base_cam_opencv` 将相机OpenCV系的点映射到共同base_link;`T_world_cam_opencv` 是本工具保留的同值历史字段,不能据字段名当成已转换到其他world系。
1. 在本工具目录运行 `bash run.sh status`,确认当前标定会话。
2. 将本轮camera.json复制到杯子项目,在复制前备份旧文件。以下路径由操作者填写;不填写历史示例会话:
```bash
# 在标定仓库根目录执行
cup_project="../a7l20-cup-grasp"
calibration_session="data/handeye_本轮时间戳"
cp "$cup_project/config/camera_extrinsics_current.json" \
"$cup_project/config/camera_extrinsics_current.backup.$(date +%Y%m%d_%H%M%S).json"
cp "$calibration_session/camera.json" "$cup_project/config/camera_extrinsics_current.json"
bash "$cup_project/run.sh" check
```
3. 确认文件包含 `coordinate_frame=base_link` 和本轮 `calibration_arm`。左、右臂共享基座时可使用同一相机外参;固定触点偏移只属于标定时的那只臂,不能拿右臂触点偏移充当左手TCP。
4. 杯子默认流程在观察位采新RGB-D、配准手与杯并进行相对视觉伺服,不需要掌心标签。替换外参不会重新生成手部角度标定、HUG模板、示教路线或实测局部运动映射;这些工位条件变化时需单独核对。
5. 只有明确请求执行时才运行抓取。离线check通过不代表新外参已经完成真机验证,不自动续跑旧停位。
如需RViz显示,另按实际 `T_world_base` 计算 `T_world_camera = T_world_base × T_base_camera`,并确保只有一个TF发布者;本仓库不提供自动部署RViz或自动规划运动。
## 9. 常见失败
| 现象 | 处理 |
|---|---|
| 消息一直刷新,角度不变或全在±0.011°附近 | 拒绝采点;确认使能后实际反馈恢复 |
| 编号和实物对不上 | 以本次align_lines图为准,检查格子中心/角点是否混淆 |
| 训练误差小,换朝向就偏 | 核查固定触点、腕姿态覆盖和偏移可观测性 |
| 左右臂只有一侧对齐 | 检查两臂反馈、坐标链、深度表面质量;不要仅凭一侧强行平移相机 |
| 点云消失但模型仍红 | 查询具体碰撞对、累积占据体素和关节限位,不能靠隐藏点云解决 |
| 相机或棋盘采集中移动 | 本轮几何假设失效,重新采集 |
全流程不需要启动会自动使能的原生Bridge;只读工具通过控制器rosbridge获取所选臂状态,默认左臂。使能与掉使能由操作者明确操作。