随着网络升级,AR/VR等远程视频协助交互的功能需求增多,最近有就电力系统的客户需要把AR眼镜接到视频会议和视频直播平台下面,便于管理和远程协助。由于客户原来就用了亮亮视野的AR眼镜,为了兼容性只要针对性开发。
总体架构图:
分析:
1,AR眼镜和UVC设备都是type-c接口,目前android支持并不好,都要专门sdk,和uvc驱动,我用了UVCCamera驱动设备。
2,目前主流互动用都rtc方案,这个主要是方便接入Web平台互动,因此要把你的会议或平台支持Rtc接入,由于我们是MCU会议系统,这边有专门改造的SIP信令平台,支持RTC接入传统SIP会议系统。
3,难点是RTC对摄像头的取流和打包传输,针对uvc的流重新整理编译了了sdk库,对平台兼容和流排序做了处理,也对AR眼镜的sdk进程了封装。
总结:针对type-c的视频流有专门有驱动改造和sdk配合,对Rtc要较深入的了解它的封包机制,引用本身的传输模块。
总体效果:
测试演示: https://w.ovmeet.com:9301/ovmeetar/login.html