K230 端侧自适应视觉 · 实时演示

连接中… 立创·庐山派 K230 + GC2093 摄像头 · 全部计算在板上完成 · 上海英才计划课题
K230 摄像头实时画面
等待相机推流…
(演示者电脑上的推流程序启动后自动出现)
–板上帧率 fps
–检测耗时 ms/帧
–跟踪中的目标
–检测方式

画面上的标记

  • 绿圈:置信度 ≥0.65,会交给机器人控制使用
  • 黄圈:置信度 0.40–0.65,只跟踪、不交给控制(例如不像球的黄色物体)
  • 蓝圈:短暂丢失,按运动预测维持(表中"预测中"),下游据此不把它当真实观测
  • 灰细圈:本帧原始检测;圈上方是航迹编号与距离(未标定时显示方位角)

目标列表 (每个目标相对机器人的位置)

#距离 m前 X mm左 Y mm方位 °±σ mm置信
系统健康:–

板上在做什么(每一帧)

采集 640×360→语义层:颜色+圆霍夫 / YOLOv8n@KPU→几何层:地面单应 + 已知尺寸测距 + 自举尺寸→健康检测(相机撞歪/尺寸错)→多目标跟踪→UART 输出给机器人
  • 神经网络只负责"框在哪",距离由几何层算:出问题能分清是"没认出来"还是"标定歪了"
  • 方位角比距离准一个数量级 → 控制策略"信角度、不信距离":先对准,再接近
  • 相机被撞歪 0.5°,系统 1 秒内报 PITCH_DRIFT,而不是悄悄输出错误数字
  • 现场换场地:零标注 L0(几秒)→ 不够再标 60–100 张做 L1;新模型必须过验收闸门才上线,可一键回滚
演示者控制(需要推流密钥)
检测方式:

切换后板子会重启检测程序,约 5 秒恢复画面。