Campus Project · 01 / 02
RoboMaster 双相机 / 双云台视觉开发
修正顶点顺序让分类置信度从约 70% 回到 95% 以上，用 PCA 精修灯条角点，把双相机视觉接入双云台。
- 时间
- 2024.06–2026.04
- 单位
- 泓龙战队 · 在校竞赛
- 阶段
- 竞赛机器人实机部署
- 我的角色
- 核心视觉开发：双相机 / 双云台视觉、装甲板识别与上下位机通信
- 全国一等奖RoboMaster 2026 高校联盟赛与步兵对抗赛 · 2026.04参赛名额有限，本人以战队指导身份登记，没有个人证书
- 全国三等奖RoboMaster 2025 高校联盟赛与步兵对抗赛 · 2025.05
95%+装甲板 MLP 分类置信度测试条件修正顶点顺序后，由约 70% 恢复至 95% 以上；这是分类置信度，不是识别准确率
−30%PCA 灯条角点精修后的重投影误差测试条件本人设计实现的角点精修，单次修正约 1.2ms
100 fpsIntel NUC 端视觉检测测试条件视觉检测速率，不是整机控制频率或端到端延迟
A
结构一览
- 双相机两路图像独立采集
- 灯条检测PCA 角点精修 · 约 1.2ms
- 装甲板分类顶点顺序修正 · MLP 95%+
- 左右云台双实例检测 · 独立结果
- 串口通信CRC16 · 状态机流式解析
- 下位机云台 yaw · 导航 · 裁判状态
看门狗监测串口与设备状态，CRC 出错或断连时自动处理并恢复
B
我做了什么
- 分类修正：定位装甲板数字分类置信度偏低的原因在于角点顶点顺序错误，修正后 MLP 分类置信度由约 70% 恢复至 95% 以上。
- 角点精修：独立设计并实现基于 PCA 的灯条角点精修，单次修正约 1.2ms，重投影误差降低约 30%。
- 双云台视觉：把单相机检测链路适配为双实例，隔离两路图像与检测消息，调整下游回调，为左右云台提供独立检测结果。
- 串口通信：用 CRC16 校验和状态机流式解析处理粘包与残包，负责 CRC 错误处理、看门狗监测与断连恢复。
- 感知接口：接入云台 yaw、导航速度与裁判状态，扩展左右云台、大 yaw 和比赛状态字段，同步上下位机解析与行为接口。
- 运行排障：从话题、日志和代码位置排查 TF 异常引起的队列堆积，以及变量覆盖导致的空图；结合启动监控和 Foxglove 上的 yaw 波形恢复视觉数据流。
C
结果
Intel NUC 端视觉检测达到 100 fps，双相机视觉接入步兵与双云台哨兵，保留了比赛版本的迭代记录。
修正顶点顺序后，装甲板 MLP 分类置信度由约 70% 恢复至 95% 以上；PCA 角点精修单次约 1.2ms，重投影误差降低约 30%。
团队获 RoboMaster 2026 高校联盟赛与步兵对抗赛全国一等奖（参赛名额有限，本人以战队指导身份登记，没有个人证书），以及 RoboMaster 2025 高校联盟赛与步兵对抗赛全国三等奖。
D
演示记录
!
已知局限
- 自瞄框架基于 FYT 等开源视觉方案，顶点顺序修正、PCA 角点精修与串口容错是在其上的开发。
- 100 fps 是视觉检测速率，不是整机控制频率；95%+ 是分类置信度，不是识别准确率。
- 获奖为团队成绩，导航与行为决策属于团队系统。