11 KiB
A7 + D405 固定相机手眼标定流程
1. 本次方案及已知限制
相机固定在双臂中间,属于 eye-to-hand。用相机识别棋盘,再用左臂上的固定法兰参考点对准棋盘上的已知位置,联合求出法兰参考点偏移和棋盘相对基座的位置,最后得到相机到基座的变换。默认左臂,也可在record/solve/validate中显式使用 --arm right。
本工具沿用固定触点求解方法,现已支持左臂。此前左臂掉使能时曾出现:操作者扭动,但状态固定在约±0.011°。因此不能用“收到新消息/时间戳变化”代替真实编码器更新。采样前必须确认所选臂有效反馈,不能默认掉使能可读。
现场顺序:先在在线控制器网页给所选臂上使能;每个采样点再执行:掉使能手动摆位 → 重新上使能 → 确认角度恢复、姿态静止且参考点仍对准 → 输入点位编号记录。 掉使能时支撑好手臂;使能导致接触位置变化时,该点不能记录。软件不代替操作者切换使能。
2. 固定设备和触点
- 相机、棋盘、机器人基座在整个采集过程中不能移动;相机线缆不能拉动支架。
- 本棋盘为8列×5行内角点,格长27mm,正式开始前核对实物尺寸。
- 选定同一个可重复定位的法兰参考点。只用侧边但每次接触位置不同,不满足固定偏移假设。
- 不混用手指尖、法兰边和不同接触点。如使用手指尖,它相对法兰必须保持刚性固定;灵巧手关节变化会破坏假设。
- 本套脚本默认读取左臂;record/solve/validate必须选择同一臂。样本和求解结果均保存臂标记,跨臂混用会拒绝。旧右臂数据保留,左臂在新会话中重新采点和求解固定触点偏移。
3. 第一步:拍板并生成标定线图片
在README所示目录运行 bash run.sh capture。它自动检查并按需启动域29的D405驱动,保存五帧RGB和内参,再生成棋盘编号图。已有相机驱动会复用,不重复启动;不会启动机械臂驱动。
检查完整棋盘、角点与图像交点一致,无遮挡或明显模糊。平均重投影误差约0.5px以内可作为图像检测检查目标,不代表机器人绝对定位精度。此旧PnP脚本未使用畸变参数;当前相机内参/图像是否已校正应核对,有非零畸变时需先适配求解器,不能套用误差结论。
新一轮运行capture自动创建北京时间微秒时间戳目录,成功后自动设为当前会话;record/solve/validate自动跟随,无需指定路径。status可查看实际路径。已保存且有效的当前拍板数据可以续用,无需重复capture;相机/棋盘若移动则必须开始新一轮。不要复制旧touch_samples.json进来,也不要对旧数据直接使用 --fresh。
4. 编号:必须对准格子中心,不是内角点
corners_labeled.png给40个内角点编号0–39。左臂使用align_lines_left.png,黄线连接格子的k与k+9;右臂使用align_lines_right.png,黄线连接k+1与k+8。两条线属于同一个格子的两条对角线,实际触点均为锚点k的右下方格中心。align_lines.png为capture所选臂的图。编号取决于本次识别方向,始终以本次图为准。
有效锚点:
0 1 2 3 4 5 6
8 9 10 11 12 13 14
16 17 18 19 20 21 22
24 25 26 27 28 29 30
7、15、23、31及32–39没有对应的右下内部格子,不能用。输入0表示0号锚点右下的格子中心,不是触碰0号角点。脚本部分提示仍把编号叫“角点”,它表示格子的锚点编号,不能据此去碰内角点;求解和验证均采用格子中心。
5. 网页使能、手动摆位与连续采点
电脑连接控制器所在网络后,打开 在线控制器网页,选择本轮标定的左臂或右臂,先给该臂上使能。网页地址使用8000端口;脚本读取状态使用192.168.10.21:9090的ROSBridge接口,二者不要混淆。网页仅在可访问控制器的网络内可用。
打开第一步当前会话生成的 align_lines_left.png(左臂)或 align_lines_right.png(右臂),按图上的黄色对角线摆放法兰盘。每次使用同一个固定法兰参考点,对准所选格子的中心(对角线中点),不能沿整条对角线随意选接触位置。图像所在会话可用 bash run.sh status 查看。
启动一次采集脚本并保持运行:
bash run.sh record --arm left
# 右臂使用:bash run.sh record --arm right
对每个点依次操作:
- 在在线控制器网页给所选臂掉使能,支撑好手臂后手动摆位。
- 按对应标定线图片摆放法兰盘,让固定参考点对准目标格子中心。
- 在网页重新上使能。本机流程需要上使能后才能取得有效手臂状态;掉使能摆位期间不采点。确认停稳后法兰仍对准原位置。
- 回到采集终端,可输入
s查看状态,核对关节角/位姿与刚才摆位相符。收到新消息不等于编码器真实更新。 - 输入图中该格子的锚点编号
k并回车,保存当前点。例如输入0表示0号锚点右下格子的中心,而非0号内角点。 - 换下一个点,重复“网页掉使能 → 摆位 → 网页上使能 → 输入编号”。无需每点重启脚本,也无需每点重新capture。
采完多个位置和朝向后输入 done 结束,再运行solve。输入 u 可撤销最近一条;如果上使能后法兰离开目标,应重新摆位,不能保存该点。
整理版每条样本立即存盘;拒绝无效编号和已观察到的全零附近占位角度。该检查不是通用使能状态检测:非零缓存也可能无效,仍需操作者确认。与上一点位置差<3mm会询问是否保存;同一点换朝向的有效样本可以保存,但应先确认确实不是旧反馈。
建议12–20组训练样本,覆盖板的不同区域。在可达、无碰撞的前提下绕不同方向改变腕部朝向;只有平移或始终同一朝向会让触点偏移难以确定。15°/40°都不是精度保证,需结合解的可观测性和独立误差评估。旧脚本接受至少4个不同点只代表可以尝试求解,不代表采集充分。
同时预留3–5个未参与求解的位置/朝向用于验证。不能把验证点混入训练后仍称独立验证。
6. 联合求解
运行 bash run.sh solve,入口自动备份该目录的旧camera.json。
对第i次采样:
t_i + R_i * d = R_base_board * b_i + t_base_board
T_base_camera = T_base_board * inverse(T_camera_board)
其中R_i、t_i来自控制器报告的末端pose;d是相对于该pose所代表末端坐标系的固定触点偏移。不要未经核对就认定该pose一定是裸法兰;采集期间工具/工作坐标系不能改变。b_i是格子中心的棋盘坐标,单位米。
输出包括T_base_board、T_base_camera、d以及训练残差。相机文件的T_base_cam_opencv和历史字段T_world_cam_opencv均表示相机在基座系中的位姿,可将相机坐标点转换到base_link;不是已经抬高后的RViz world坐标。
本旧求解器没有完整的病态性拒绝或自动验收门控。即使打印calibrated,也只是求解结果,不能直接用于运动。大触点偏移、少量样本造成结果大变、朝向覆盖小或误差集中在某区域,均需重新检查样本,而不是增加显示平移掩盖。
7. 独立验证
运行 bash run.sh validate。使用未参与训练的格子中心及不同腕部朝向,仍由操作者摆位、使能、确认实际反馈后输入编号。此脚本仅读取与计算,不会自动移动过去。
记录各点误差、平均值和最大值;终端输出自动保存在当前目录logs/下的时间戳文件。软件的“<10mm可用”只是旧经验提示,不是抓取放行标准。验收阈值应按后续任务所需精度确定。低训练残差、低图像重投影误差都不能替代独立验证。
再看左右腕部、固定手掌与原始点云是否同时重合。不要用过滤后的点云评估整体重合,也不要用未接入实际关节角的手指作为标定参照。
8. 接入杯子抓取项目
只有独立验证完成、相机安装保持不变时才接入。T_base_cam_opencv 将相机OpenCV系的点映射到共同base_link;T_world_cam_opencv 是本工具保留的同值历史字段,不能据字段名当成已转换到其他world系。
- 在本工具目录运行
bash run.sh status,确认当前标定会话。 - 将本轮camera.json复制到杯子项目,在复制前备份旧文件。以下路径由操作者填写;不填写历史示例会话:
# 在标定仓库根目录执行
cup_project="../a7l20-cup-grasp"
calibration_session="data/handeye_本轮时间戳"
cp "$cup_project/config/camera_extrinsics_current.json" \
"$cup_project/config/camera_extrinsics_current.backup.$(date +%Y%m%d_%H%M%S).json"
cp "$calibration_session/camera.json" "$cup_project/config/camera_extrinsics_current.json"
bash "$cup_project/run.sh" check
- 确认文件包含
coordinate_frame=base_link和本轮calibration_arm。左、右臂共享基座时可使用同一相机外参;固定触点偏移只属于标定时的那只臂,不能拿右臂触点偏移充当左手TCP。 - 杯子默认流程在观察位采新RGB-D、配准手与杯并进行相对视觉伺服,不需要掌心标签。替换外参不会重新生成手部角度标定、HUG模板、示教路线或实测局部运动映射;这些工位条件变化时需单独核对。
- 只有明确请求执行时才运行抓取。离线check通过不代表新外参已经完成真机验证,不自动续跑旧停位。
如需RViz显示,另按实际 T_world_base 计算 T_world_camera = T_world_base × T_base_camera,并确保只有一个TF发布者;本仓库不提供自动部署RViz或自动规划运动。
9. 常见失败
| 现象 | 处理 |
|---|---|
| 消息一直刷新,角度不变或全在±0.011°附近 | 拒绝采点;确认使能后实际反馈恢复 |
| 编号和实物对不上 | 以本次align_lines图为准,检查格子中心/角点是否混淆 |
| 训练误差小,换朝向就偏 | 核查固定触点、腕姿态覆盖和偏移可观测性 |
| 左右臂只有一侧对齐 | 检查两臂反馈、坐标链、深度表面质量;不要仅凭一侧强行平移相机 |
| 点云消失但模型仍红 | 查询具体碰撞对、累积占据体素和关节限位,不能靠隐藏点云解决 |
| 相机或棋盘采集中移动 | 本轮几何假设失效,重新采集 |
全流程不需要启动会自动使能的原生Bridge;只读工具通过控制器rosbridge获取所选臂状态,默认左臂。使能与掉使能由操作者明确操作。