getUserMedia → Hand / Pose / Face Landmarker → 浏览器内特征摄像头与惯性数据,
在浏览器里汇合
视觉模型以WebAssembly在电脑浏览器运行,画面可来自电脑直连摄像头,也可由同一Wi‑Fi下的手机通过WebRTC点对点传送;惯性采集仍运行在STM32。
视觉画面来源电脑摄像头 / 手机WebRTC → MediaPipe → 特征HTTPS · 原始视频不保存
→
在线检测台Chrome / Edge一次只运行一个视觉任务
←
STM32惯性端MPU6050 → I²C → 六轴原始值CH340 · 115200 baud
视觉不再经过串口
gx:12,gy:-8,gz:22,ax:310,ay:-95,az:16320现在只需要一块CH340连接STM32。电脑内置摄像头或普通USB摄像头直接由浏览器授权,不需要K230、TF卡或第二路串口。
提供原始画面
提供手、全身和面部画面;网站不录制视频,也不把视频发送到服务器。
稳定采样
MPU6050使用I²C读取,串口以115200 baud发送六轴报文;固件配置陀螺仪±2000°/s、加速度±2 g。
视觉与惯性分析
按需加载三套关键点模型,计算视觉特征、惯性RMS与频谱,并导出版本化CSV。
网页直接运行需要满足什么?
✓ HTTPS页面摄像头和Web Serial都属于强权限API,只允许安全上下文。
✓ Chromium桌面浏览器推荐最新版Chrome或Edge;视觉任务可在支持摄像头的现代浏览器运行。
✓ 用户点击授权摄像头和STM32串口都必须由用户主动确认授权。
✓ 真实硬件范围视觉只需普通摄像头;惯性任务仍需要STM32、MPU6050和一块CH340。