A7 固定相机手眼标定

固定式 Intel RealSense D405 相机(eye-to-hand):拍摄棋盘 → 操作者用同一刚性触点对准格子中心 → 只读记录机械臂末端位姿 → 联合求解触点偏移和相机外参 → 独立验证。

支持A7左臂和右臂。控制器固定地址为 192.168.10.21:9090,通过ROSBridge订阅所选臂的 /left/arm_state 或 /right/arm_state。工具不发送机械臂或灵巧手动作,不切换使能,不自动部署结果。capture 会按需启动相机驱动。

配套抓取项目:a7l20-cup-grasp。详细步骤见 完整标定教程。

安装

Ubuntu 24.04、系统Python 3.12、ROS 2 Jazzy、D405。先按ROS官方说明配置ROS软件源,再安装:

sudo apt update
sudo apt install python3.12-venv python3-numpy python3-opencv util-linux \
  ros-jazzy-ros-base ros-jazzy-sensor-msgs ros-jazzy-realsense2-camera
git clone https://gitea.robotquan.com/liyang/a7-handeye-calibration.git
cd a7-handeye-calibration
bash scripts/setup.sh
bash scripts/check.sh

相机驱动参考realsense-ros安装说明,USB权限与内核支持参考librealsense Linux指南。确认D405接入可靠USB3接口,关闭占用它的Viewer/其他采集程序。

相机与棋盘检测使用系统Python的ROS、OpenCV和NumPy;触点读取和联合求解使用本仓库venv中的numpy/scipy/roslibpy。两者分开,避免系统ROS视觉包与pip NumPy ABI混用。无需A7 SDK动态库,也无需灵巧手CAN或大模型权重。需要覆盖解释器或ROS域时复制 config/local.env.example 为 config/local.env 后修改。

流程

在线控制器网页:http://192.168.10.21:8000/(电脑需接入控制器网络)。网页用于操作者给所选臂上使能/掉使能,9090端口仅用于脚本读取状态。

棋盘默认为 8列×5行内角点、格长27 mm,使用前核对实物。相机、棋盘和基座在整轮采集期间保持固定。

bash run.sh capture --arm left
bash run.sh status
bash run.sh record --arm left
bash run.sh solve --arm left
bash run.sh validate --arm left

实际操作顺序:

  1. 第一步运行capture,打开当前会话的 align_lines_left.png 或 align_lines_right.png,查看格子对角线及编号。
  2. 在控制器网页选择对应手臂,先上使能。
  3. 启动record并保持运行;每点在网页掉使能,按标定线摆放法兰盘,使同一固定参考点对准目标格子中心,再上使能。
  4. 确认有效状态恢复、法兰仍对准后,在采集脚本中输入对应锚点编号并回车。逐点重复掉使能、摆位、上使能、输入编号;采完输入 done。
  5. 运行solve,再使用未参与求解的点运行validate。

右臂将 --arm left 改为 --arm right。分阶段操作,不要直接串行执行整组命令。采集与验证由操作者摆位,软件只读反馈;新消息不等于真实关节角已更新。

每次capture创建独立 data/handeye_时间戳/,会话指针为 current_session.json。样本与外参覆盖前自动存入会话内history,命令输出保存在logs。文件锁防止两轮同时写入。发布仓库不包含旧工位的真实采样或可直接套用的外参。

输出与接入抓取

验证后使用本轮 camera.json:T_base_cam_opencv 把相机OpenCV坐标转换到共同基座 base_link,单位米。fingertip_offset_m 是本轮所选臂固定触点相对于末端的偏移,不能迁移给另一只手。

抓取项目的默认入口使用新RGB-D特征直接视觉伺服,不要求掌心Tag。手眼外参提供相机与基座坐标关系,不能替代新视觉观测,也不等于末段实测局部运动映射。按教程的部署步骤备份并替换抓取项目的外参文件;工具不会自动操作另一个项目。

验证范围

bash scripts/check.sh 只检查依赖、语法、纯离线合成数据求解和左右臂数据隔离,不连接相机或控制器。求解、采点和验证入口已做离线检查;重新打包后未采集真机数据,不宣称新的实物标定精度。

当前PnP沿用无畸变求解;使用前必须确认图像已校正或畸变可忽略。非零畸变需先适配求解器。训练拟合残差和图像重投影误差不能替代独立触点验证。代码来源、局限与验收记录见VALIDATION.md。

S
Description
A7 固定相机手眼标定:棋盘采集、左右臂触点记录、外参求解与独立验证
Readme 67 KiB
Languages
Python 88.4%
Shell 11.6%