本文首发于:行者AI
近期本人在做安卓设备的云平台,设备云平台这个东西相信对大家而言并不陌生,常见的功能比如用来远程监控操作一部手机,上传文件啊,查看日志之类的。但是当你想用云手机看视频、玩游戏、听音乐的时候,就发现,现在市面上的云手机,没有一家是有声音传输功能的。
在发现这个情况后,萌生了想要做出这个功能的想法,那具体该什么做呢?在做之前,我先进行了一个小调研,了解目前有没有现成的解决方案,看看能否给自己带来一些参考。
经过了几天的研究,我先把大致的结果告诉各位。
声音传输有限制,但仍能实现。
1. 目前现有方案对比
设备麦克风 | 第三方投屏软件 | Sndcpy | |
---|---|---|---|
声音来源 | 手机麦克风 | 手机麦克风 | 应用流媒体自身数据 |
效果 | 会受外界干扰 | 会干扰,但也有提供算法降噪 | 取决于音频数据本身 |
应用限制 | 其他应用调用麦克风串流 | 其他应用调用麦克风串流 | 未授予权限的应用 |
安卓版本 | 任意 | 任意 | 安卓10以上 |
2. 方案选定
其实不难看出来,第三方投屏软件用的也就是设备的麦克风,只是因为数据先经由软件客户端,在拿给音频播放前,自己多用算法处理进行了一次降噪(燃鹅算法降噪都是辣鸡)。可是大家有想过他的实用效果吗?想象一下,一般作为设备云平台的使用场景是什么样的:
图1. 群控图片(素材来自网络)
如此密集的设备,这样的场景,靠外放捕获声音,一个还好说,多来几个,那效果谁受得了?而且如果手机本身有应用需要使用麦克风,那效果也不言而喻。所以,使用设备麦克风这样的方案,作为平台来讲,肯定是不行的!
既然用麦克风不行,那就代表没有别的路可走了吗?直觉告诉我当然不是。如果有一种方式,能直接对应用的媒体数据流进行捕获,而不是通过外放出来的声音进行录制,那这样的方式无疑会让效果大大提升!发现了这点的我,顺藤摸瓜,于是乎摸到了sndcpy这个开源项目 。
3. 方案实施
3.1 项目简介
项目的介绍上有详细说明,这里我只做一个简短的概述就好:
(1)只支持安卓10以上设备
(2)跨系统平台可运行
(3)可使用VLC对已连接设备进行听取
针对第一点,本质上是针对有对应接口的sdk版本,在安卓应用的配置中,允许声音流媒体被监听的开关打开,这样的应用就能获取到声音。
(例如qq音乐,然而经过试验,谷歌浏览器反而属于不行的那种)
3.2 使用步骤
(1)下载项目中已经build好的zip文件(如无adb,下载with-adb版本的,并配置环境,这里就不讲怎么配环境了);
(2)连接手机设备,到解压目录下的./sndcpy,多设备情况后面带设备号;
(3)在手机上确认允许;
(4)下载安装vlc;
(5)运行vlc,首次可能会遇到报错,但没关系,再来一次就好了。
4. 进行集成
使用是能使用了,但是作为云平台的项目而言,客户是要通过网页播放听到设备的,通过vlc才能听到的这种方式,明显不符合使用需求。而作为流媒体实时网络通信,我们自然该想到将其做成websocket的形式,而这也就需要实现现有的socket服务。
然而,只要仔细看过这个项目的文件,你就会发现,我们想要的东西,其实拿来就能用。压缩包中一共有三个文件,其中的.bat文件,我们将其打开看下:
#!/bin/bash
set -e
ADB=${ADB:-adb}
VLC=${VLC:-vlc}
SNDCPY_APK=${SNDCPY_APK:-sndcpy.apk}
SNDCPY_PORT=${SNDCPY_PORT:-28200}
serial=
if [[ $# -ge 1 ]]
then
serial="-s $1"
echo "Waiting for device $1..."
else
echo 'Waiting for device...'
fi
"$ADB" $serial wait-for-device
"$ADB" $serial install -t -r -g "$SNDCPY_APK" ||
{
echo 'Uninstalling existing version first...'
"$ADB" $serial uninstall com.rom1v.sndcpy
"$ADB" $serial install -t -g "$SNDCPY_APK"
}
"$ADB" $serial forward tcp:$SNDCPY_PORT localabstract:sndcpy
"$ADB" $serial shell am start com.rom1v.sndcpy/.MainActivity
echo "Press Enter once audio capture is authorized on the device to start playing..."
read dummy
"$VLC" -Idummy --demux rawaud --network-caching=0 --play-and-exit tcp://localhost:"$SNDCPY_PORT"
发现正是使用的adb命令开启的tcp服务进行传输。为了方便大家直接进行操作,这里我直接罗列命令和步骤,按照这个步骤操作,安卓端设备传输的问题就能解决:
(1)将sndcpy.apk放到/data/local/tmp目录下,推荐使用adb命令 adb push sndcpy.apk /data/local/tmp
(2)adb forward tcp:port(port自己定义一个,这个不影响) localabstract:sndcpy
(3)adb shell am start com.rom1v.sndcpy/.MainActivity
(4)本地启动一个socket,绑定最先port定义的端口,如果返回的数据不是空,恭喜你,成功了!
基本的启动就是这样,而对于web项目而言,将socket做一次websocket的转发就能完成在网页端的播放了(当然,还需要前端本身支持这样格式的音频流传输处理)。
就此,大功告成!
PS:更多技术干货,快关注【公众号 | xingzhe_ai】,与行者一起讨论吧!