ReplayKit2 有线投屏项目总结

一、实现目标

　　iOS11.0以上设备通过USB线连接电脑，在电脑端实时看到手机屏幕内容

　　画质达到超清720级别，码率可达到1Mbps以上

二、实现技术方案设计

　　1、手机端采用ReplayKit2框架，在Upload Extension 进程中采集到屏幕内容YUV和系统声音PCM+麦克风声音PCM

　　

- (void)processSampleBuffer:(CMSampleBufferRef)sampleBuffer withType:(RPSampleBufferType)sampleBufferType {
    switch (sampleBufferType) {
        case RPSampleBufferTypeVideo:
            break;
        case RPSampleBufferTypeAudioApp:
            break;
        case RPSampleBufferTypeAudioMic:
            break;
        default:
            break;
    }
}

　　2、考虑在在Upload Extension 进程中或者主App进程中对图像和声音进行编码，编码成H264+AAC ，然后封装为FLV格式的包，利用RTMP协议进行推流

　　　　因为目前已经存在一套推流的接口，所以考虑在PC端增加RTMP收流服务，进行解析视频流，然后渲染

　　3、在PC端建立RTMP收流服务端，解码，渲染；目前OBS已经存在相关模块

三、遇到的问题以及解决方案

　　1、如果在局域网中，目前的基础上，无线推流到PC和推流到远程直播服务器流程基本一样

　　2、如何规避局域网的网络抖动环境，实现高清推流？局域网可能因为多人使用导致带宽分配原因，以及信道干扰原因导致上行速率达不到标称要求

　　　　采用有线方案可以解决这个问题，那么手机如何利用USB线传递数据？

　　3、USB传递有线数据有两种方案：

　　　　第一种是MIFI认证，使用iOS外设通信的库，ExternalAccessory

　　　　第二种是通过iproxy , 在PC端执行"iproxy pcport mobileport"的方式实现端口转发，PC上连接pcport会连接到手机的mobileport，当一条TCP连接建立成功之后手机就可以利用USB线和PC实现双向通信了

　　　　这里为什么不能像安卓一样，实现正向的转发，将手机的端口转发到PC上呢？这就是iOS系统相对封闭的原因；

　　　　猜测安卓连接USB线的时候，PC端执行命令会在手机端出发操作实现端口转发规则；而iOS不行

　　那么最终采用的是第二种方案。

四、推流SDK协议改造

　　对于采用的第二种方案，实施的时候遇到两个问题？

　　第一个如何实现由PC主动连接手机的过程，连接手机的哪个端口？

　　　　对于这个问题，这里解决方案是，第一个在socket上面设置套接字为REUSE相关的属性，保证端口能够重复绑定成功，这里假定这个1397端口只有这个程序使用

　　　　　　　　　　　　　　　　　　　第二个是在有线投屏的时候，手机要先扫码得到PC的一个key，手机在启动一个TCP监听后将端口号联系这个key一起发给我们的后台，后台通过push或者pc pull的方式，将这个信息通知到PC端，也就是建立信道的方式

　　第二个问题，如何在一个RTMP.c的主动发起连接中，修改原有的方式，先尝试被动连接（先启动一个同步阻塞的监听socket等待PC连接）。在这个逻辑中，因为等待过程是阻塞的，必然涉及到延时，在这里遇到了坑

　　　　我们希望在 tcp socket bind一个端口，然后listen，然后accept的时候，希望在accept这个方法实现超时逻辑，最开始是这样实现的

　　　　

 int ret = ::setsockopt(m_nRealServerSocket, SOL_SOCKET, SO_RCVTIMEO, (const char*) &tv, sizeof(tv));
        LOGW("socket accept start 1, set timeout ret = %d", ret);
        ret = ::setsockopt(m_nRealServerSocket, SOL_SOCKET, SO_SNDTIMEO, (const char*) &tv, sizeof(tv));

　　　　上述的代码在安卓和PC上面生效，但是在iOS平台上面无效，虽然设置了一个超时时间，但是这个超时永远不会触发，accept永久阻塞

　　　　为了规避这个问题，我采用select监听文件描述符的方式，select跨平台兼容性效果更好

　　　　采用以下代码实现accept超时逻辑：

        int fd = -1;
        fd_set fdflag;
        sockaddr_in client_addr;
        memset(&client_addr, 0, sizeof(client_addr));
        
        
        FD_ZERO(&fdflag);
        FD_SET(m_nRealServerSocket, &fdflag);
            
        LOGW("socket accept start, timeout = %d secs", tv.tv_sec);
        bool hasProcessConnect = false;
        if(!hasProcessConnect && select(m_nRealServerSocket + 1, &fdflag, NULL, NULL, &tv) > 0)
        {
            hasProcessConnect = true;
            fd = accept(m_nRealServerSocket, (struct sockaddr*)NULL, NULL);
        }
        // 一次事件触发之后， 清理监控的描述符
        FD_ZERO(&fdflag);

　　

五、最终效果