Project · 04 / 04

边缘端离线人脸情绪识别 Demo

在无独显工控机上接通采集、检测、情绪推理到远程显示的整条链路，4 周完成约定 6 周的 Demo。

4 周完成约定 6 周的离线 Demo，提前 2 周交付测试条件范围是工业相机采集、人脸检测、本地情绪推理与可视化的演示链路，不含后续优化

10.0 FPS人脸检测支路稳定帧率测试条件实习期间测得，平均检测耗时 22.4ms；指的是检测支路，不是情绪推理耗时或完整情绪输出帧率

结构一览

检测与推理解耦：单次推理不占住图像处理，无人脸时清空旧结果

节点架构：在无独显工控机上接通采集、检测、推理和可视化，把 MediaPipe 与 DeepFace 封装为 ROS2 节点，通过自定义消息交换人脸与情绪结果。
多线程调度：把检测与后台情绪推理解耦，避免单次推理占住图像处理；加入人脸对齐和光照预处理，保持检测与显示独立更新。
曝光控制：通过测光、锁定和人脸优先状态调节曝光与增益；亮度突变时重新测光，无人脸后回退，用死区与渐进调节减少反复调整。
设备接入：适配 MindVision / USB 相机和本地 / 远程显示，排查节点入口、无图和旧结果残留，支持无头调试和录屏。

4 周完成约定 6 周的离线 Demo 工作，提前 2 周交付，覆盖工业相机采集、人脸检测、本地情绪推理与可视化的演示链路。

实习期间，人脸检测支路稳定在 10.0 FPS，平均检测耗时 22.4ms。情绪推理在后台线程单独运行，不拖慢检测与显示。

之后的课程延伸版本加入了 Blendshape 融合，单次情绪推理典型约 430ms、每 1.5 秒触发一次；其中一个 21.2 分钟的 session 平均置信度为 87.7%，这是模型输出置信度，不是准确率。