Campus Project · 02 / 02
RoboSolver：视觉引导机械臂俄罗斯方块
让 xArm 机械臂识别散放的俄罗斯方块，把它们抓起来摆进棋盘。
- 时间
- 2024.04–2025.09
- 单位
- 在校竞赛团队
- 阶段
- 竞赛作品 · 两届迭代
- 我的角色
- 项目负责人：视觉引导机械臂，负责赛题适配、视觉分类、坐标标定与抓放联调
- 全国二等奖第八届中国高校智能机器人创意大赛 · 2025.08
- 全国二等奖第七届中国高校智能机器人创意大赛 · 2024.06同年另获俄罗斯方块专项赛初赛一等奖
7 类方块形状匹配测试条件颜色与轮廓预处理加 2×3 区域编码，结合方向识别生成抓取目标
A
结构一览
- RealSense 采图拾取区图像
- 预处理颜色 · 轮廓
- 形状识别2×3 区域编码 · 七类匹配 · 方向
- 坐标标定最小二乘：像素 → 机械臂
- 目标映射拾取区 / 棋盘两套坐标
- xArm 执行抓取与摆放
执行约束：等价旋转角归一化、工作范围检查；未知类别与缺失目标不进入抓放流程
B
我做了什么
- 项目负责：作为项目负责人带两届参赛，基于遗留工程适配 2024、2025 两届俄罗斯方块赛题，把相机识别结果转换为 xArm 的抓取与棋盘摆放动作。
- 坐标标定：用采样点和最小二乘拟合像素到机械臂的映射，分别转换拾取区与棋盘坐标，核对目标点、抓取角和摆放角。
- 视觉算法：联调颜色与轮廓预处理、2×3 区域编码和七类方块匹配，结合方向识别生成抓取目标，跳过工作范围外的坐标。
- 执行约束：按方块形状处理等价旋转角，联调拾取与棋盘两个阶段的目标映射和工作范围检查；接口过滤未知类别和缺失目标，避免无效坐标进入抓放流程。
C
结果
形成视觉识别、坐标映射到抓取摆放的完整竞赛作品链路，保留 2024、2025 两届作品演示。团队两次获中国高校智能机器人创意大赛全国二等奖，2024 年另获俄罗斯方块专项赛初赛一等奖。
D
演示记录
!
已知局限
- 在学长遗留工程上迭代，由团队协作完成。
- 没有识别准确率和抓取成功率的独立测量；标定为最小二乘拟合，未做手眼标定精度统计。