qq空间模块(qq空间模块闪光灯)速看

音效渲染是音频或音乐播放器最为重要的后处理模块之一。LiveVideoStackCon 2022 北京站邀请到腾讯音乐银河音效开发负责人——闫震

 

音效渲染是音频或音乐播放器最为重要的后处理模块之一LiveVideoStackCon 2022 北京站邀请到腾讯音乐银河音效开发负责人——闫震海，为大家介绍银河音效在QQ音乐播放器中的创新应用，包括空间环绕效果和音效制作工具等内容。

文/闫震海编辑/LiveVideoStack大家好！很高兴和大家一起分享交流关于QQ音乐银河音效的一些技术实践相信大家对音效处理都不陌生它已经被广泛应用在各种音频信号、音乐信号的渲染场景中本次分享重点是音乐重放场景，如何利用音效对最终听到的感觉进行补偿和修饰。

主要包括以下四方面：1、音效在播放器中的应用：关于音效的简单介绍，以及在QQ音乐播放器中的落地应用；2、空间环绕效果的设计：空间环绕效果一直是用户热捧的一种听音偏好我将以空间环绕效果为例，分享设计思路；。

3、音效制作工具的设计：除了官方设计好的有限数量的效果之外，我们还有一大批高阶用户他们有很强烈的欲望来自己制作音效因此，我们设计开放了一系列的音效制作工具供给用户使用；4、银河音效的未来展望-01-音效在播放器中的应用

“音效”在维基百科中有一个描述性的定义我们可以从中拆分出两个关键词一个是声音，也就是说，音效是一种声音如下方左图，工作人员在为电影画面做拟音，在录音棚里模拟电影人物产生的各种声音还有听书场景，当说到恐怖情节时，会配上恐怖音效烘托气氛。

其实这类音效更准确的名称应该叫声音效果，强调的是声音属性为了营造不同的听音环境，我们也会尝试把溪流声、海浪声、风声等音效片段混入到音乐中；另一个关键词是声音处理，也是银河音效更加关注的一个点它是指利用均衡器、混响器、压缩器等音效处理手段，实现同一个音乐的不同重放效果。

这类技术可以被统称为数字音效技术

音效的源头可以追溯到模拟时代的音乐混音在音乐的录制和混音阶段，音乐制作人追求的不仅仅是真实还原现场音乐，还十分在乎音乐所营造的情绪效果就像拍照一样，人们会通过添加滤镜的方式，改变照片风格音效处理也起着类似的作用。

经典的音效处理手段主要是镶边、合唱、变调、相位器等以镶边为例，介绍一下音乐制作人在模拟时代是如何玩出音效花样的镶边最早出现在披头士的音乐中录音带在播放时都有一个圆盘叫flange使用两台设备同时播放同一首歌。

然后手动波动其中一个圆盘这台设备的播放就会出现一种顺滑的延迟效果再与另一台设备的原始信号叠加在一起，就形成了镶边音效大家可以听一下处理前后的音频，感受两者区别在后续的发展中，音效也逐步由录音端向下游扩展，来到了播放端。

比如在音乐播放器中，对解码后的PCM数据做处理还有在音响或耳机等硬件终端设备上做音效处理

QQ音乐集成的银河音效更加侧重于音乐重放场景在这种场景中，音效的目的可分为两种一种是为了补偿播放设备的缺陷重放环境或者电声器件的先天不足，使得用户听到的声音信号并不是音乐人想要表达的效果比如，扬声器的平坦度较差、立体声效果不明显、低频重放能力不足等等。

上方左图，（红线）不平整的扬声器频响会对音乐产生严重声染色可以通过均衡处理获得（蓝线）更加平整的频响曲线，从而抑制声染色的问题对于设备本身低频表现能力不足的情况，也可以利用心理声学中“消失的基频”这个物理现象，引入虚拟低音来增强人耳对低频的感知。

另一个目的则是更为常见的，即基于修饰目的的音效设计不同用户的听感偏好不同我们通过增加或增强某些成分，达到环绕感、重低音、人声等听感层面的效果增强为了增强重放效果的差异性，常见的音效手段包括：扩展环绕、抬升低音、增强人声、制作人工混响等。

QQ音乐的很多官方音效也是基于这一目的设计的。此外还有一些增加音乐节奏感的增强效果设计，称为“超嗨DJ”。欢迎大家亲自体验处理前后的变化。

一个音频从文件到最终被用户听到会经过以下几个模块：首先是音乐文件通过网络下载到手机客户端然后，QQ音乐播放器会对其进行解码得到PCM数据最后再通过调用播放接口，将音频数据送到物理声卡进行播放QQ音乐音频处理模块的处理对象就是PCM数据，位置主要集中在播放器解码后。

所以又叫做音频后处理这里的后是相对文件存储来说的具体的处理过程如左下图所示，PCM数据经过串行结构的信号处理模块，最终仍然输出PCM数据中间的处理模块可根据业务需求，自由组合搭配，从而实现想要的效果

目前在QQ音乐播放器中，已经落地的后处理技术主要有以下几种：银河音效，以及由音效模块衍生出来的一些新特性，比如变速不变调、动态装饰播放页面的智能光效、听觉与视觉联动的音乐可视化还有一个比较有趣的声音事件检测模块。

我们把它应用在了生日闪屏的吹蜡烛效果上可以通过麦克风的声音录入，模拟蜡烛被吹灭的效果-02-空间环绕效果的设计2.1. 立体声环绕效果

大多数混音棚里出来的立体声，会遵循MS的假设也就是说，由左右声道构成的立体声信号，可拆分成中置信号和环绕信号两部分中置信号往往包含着人声、鼓等不做特殊摆位的成分，而环绕则包含着其他一些空间摆位的乐器调整二者的比例关系，就可以得到不同的环绕效果。

中置比重越大，感知到的声像是越窄的；相反的，环绕比重增大，感知到的声像是越宽的其实这种中置和环绕的拆分，也算是一种比较粗糙的分离还可以在此基础上，叠加不同的效果，从而实现一些扩展效果另外，还有一类比较棘手的音源，比如左右声道的信号完全一样。

这种严格上已经不算是立体声信号用耳机听，会发现声像几乎都集中在中间位置那么套用MS假设的话，单通道信号就是中置信号这时可以利用一些去相关的手段来制作环绕声信号，比如均衡、延迟、混响等制作出来的环绕声信号，可以与原单通道信号叠加成为左声道信号，与原单通道信号相减成为右声道信号。

经过上述处理后所形成的立体声信号，环绕效果会明显增强2.2. 多通道环绕效果

最理想的环绕效果是多通道的真实扬声器阵列的效果在双声道立体声的基础上，增加正前方的中置信号，和左后方右后方的环绕信号，就可以构成5.1声道音乐将环绕信号继续拆分成正左正右，左后、右后，便是我们常常提到的7.1声道音乐。

这还只是水平方位的扬声器布局在天花板上增加4个，可以营造声场的高度信息基于这个思路，还可以不断增加空间中扬声器的数量目前，世界上通道数最多的配置是日本NHK提出的22.2通道的扬声器阵列大家较熟悉的杜比全景声主要则是在7.1.4的扬声器布局上设计实现的。

家庭影院固然效果最好，但现在更多的听音场景是耳机。那么在耳机场景，我们又该如何增强环绕效果呢？2.3. 双耳环绕效果增强

这里需要引入HRTF头相关传递函数的概念它描述的是空间中点声源到达双耳鼓膜处的响应系统如左上图所示，同一声源，由于经过了不同的传输路径到达了左右耳，最后形成的声波也不同人耳正是根据这些差异性判断声源方位。

如果我们能找到声源在不同位置的HRTF函数，就可以模拟声源从不同方位传来的效果理想情况下，戴上耳机听音乐，就像没有带耳机一样，可以将多通道扬声器阵列营造的环绕感塞到耳机里右下图是一种测量头相关传递函数的方法。

事先制作一个环形扬声器的阵列同时，在人耳的两侧分别贴上两个同步采集的麦克风随着环形阵列的摆动，可以测得空间多个位置到达双耳的传递函数除了这种专业的测量方法，还有在家里完成类似测量的案例头部的不停摆动，来模拟声音从不同的角度到达双耳。

经过以上过程，就可以得到几乎整个球面坐标点到达双耳的HRTF函数

有了传递函数，将一段单通道信号经过双耳的传递函数处理后，就形成了立体声信号这时用耳机试听，就可以感受到明显的方位感利用这一原理，曲库里5.1通道的歌曲，也可以用耳机来试听具体做法是，每个音箱作为一个独立的声源，有一个单独的布放角度。

依次把几个音箱的信号，用双耳传递函数处理后，叠加输出，就形成了立体声信号这便是设计5.1环绕音效的基本原理方位控制还可以有很多种应用，比如声音旋转在不同的时刻把声音调制到不同的方位，可以让声音形成一种旋转的感觉。

业内有专注睡眠的软件，利用这种旋转效果，来达到按摩头皮的作用外网常看到用户制作的号称8D的声音效果，其实也是相似的原理在QQ音乐中也有上万个旋转效果的歌单为了节省用户对这类歌曲的制作成本，使得任意歌曲都能一键拥有类似效果，我们开发了3D音效。

大家也可以在QQ音乐中直接试听体验

上文介绍了HRTF函数的应用大家可能会有疑问HRTF函数是现场实测的用这种针对某一个人的测量数据，给千千万的用户使用，效果会一致吗？答案是否定的每位用户的耳型头型各不相同，听到的效果肯定也是千差万别的针对这种差异性，我们能做点什么呢？是否可以实现一个真正的定制化的效果？。

首先，差异点主要来自两个方面，一个是每个人应该拥有独一无二的HRTF函数这影响着用户对声源方位角度的判断；另一个，每个人对声音频率的感知能力不同，我们称之为耳纹最明显的一个说明案例是，随着年龄的增加，对高频的感知能力是下降的。

有的人用耳过度，衰减会更厉害方位感知和频率感知是从不同维度描绘了听音效果的差异性针对HRTF函数的差异，可以将用户的头形、耳形等生理特征与已有的HRTF数据库做关系映射，从而节省了HRTF实地测量的繁琐过程。

当然，这只是一种近似，是介于公模和私模之间的一个权衡效果另外是耳纹的定制，针对用户听力水平上的差异，可以通过纯音测试获得用户对各个频段的敏感程度

定制的过程比较简单。如图中所示，用户只需要通过正脸和侧脸的拍照，我们就可以计算出所需要的头型和耳形等关键参数。同样，听力测试也是通过用户的选择得到用户的听觉阈值曲线，从而实现个性化的定制。

除了耳机听音场景，我们还考虑了外放场景如何增加环绕感扬声器的夹角决定了用户所能感知到的声场宽度理论上说利用HRTF函数将声源调制到更大的角度，就可以让用户感知到更宽的声场但实际尝试后效果并不理想因为HRTF本身应用在耳机场景。

当应用在扬声器场景时，会因为扬声器的互相串扰而大打折扣要克服这一问题，需要在角度调制和扬声器重放之间，添加一个串扰消除的预处理这样便可以实现在外放场景中，真正拓宽声场的效果

根据这一原理我们设计了外放环绕音效。在手机场景，现在很多中高端手机已经配备了立体声扬声器来播放音乐。大家可以把手机横屏，体验一下。另外，此音效还覆盖到了音箱和汽车等常见的扬声器播放场景。

声音从音箱发出后，会在空间里继续传播上图中，黄色点声源发出的声音朝四面八方扩散开来蓝色的听音位置收到了直达声后，又陆续收到了经过墙壁和者天花板作用的反射声这些声音的共同作用就是混响由于听音位置会感受到来自四面八方的声音，会体验到一种包围感。

当然缺点也是很明显的多个声源不同步的发声，会产生一种浑浊感不同的房间有不同的反射效果将各个声音按照达到时间依次排列，同时考虑声音能量的衰减，便构成了可以描述这个房间特征的空间脉冲响应若想模拟某个空间重放音乐的效果，只需要卷积对应的脉冲响应即可。

比如模拟浴室，地铁，音乐厅等不同的场景-03-音效制作工具的设计3.1. 开放基础组件截止目前已经开放的组件有30多款包括实现经典调音的三大件：均衡器、压缩器、混响器；听感模拟的脉冲卷积、叠加器等；及听感偏好调节的：低音增强、人声增强、环绕增强等效果。

由于这些组件符合线性时不变系统，用户可以像搭积木一样，设计自己喜欢的音效每个效果拥有独立开关，方便用户决定是否保留该效果器用户使用音效的场景集中在移动端所以，我们为大家提供了二维码扫描、移动端即刻体验的功能。

为了让更多人可以使用用户自制音效，获得与官方音效同等的曝光量，用户也可以将制作好的音效通过PC端上传至后台审核系统。审核通过后可被认定音效达人。3.2. 经典混音工具

经典混音工具多数包含了更高阶的设置参数，如混响器的空间大小、干湿比等可调，压缩器的启动释放时间等等。这些能力基本可以满足常见混音的所有设计需求。

其中，除了十段均衡以外，我们单独开发了更加专业性能更加强劲的参量均衡器，具备以下功能：各个频段的精准控制；动态显示输入输出信号的频谱图，直观明了地对比处理前后的效果；同时均衡器的效果器种类丰富，多达9种可选。

包括：bell、架子滤波器等全部开放；包括所有效果器开放品质因子Q值和过渡带斜率slope等参数的设置权限。可以说这是业内参数种类最全、自由度最高的参量均衡器。3.3. 听感模拟工具

听感模拟主要是环境的模拟一个是叠加器把所要模拟的环境里面的特有的声音元素混入歌曲中，如海波听歌时会伴随着海浪的声音，下雨天会有雨声等另一个是利用脉冲卷积使音乐与特定的房间声学环境相结合，从而营造一种特定空间的听音体验。

如下图比较有名的脉冲混响插件它集成了全球各大有名的音乐重放空间，包括教堂、剧院等等有了这样的脉冲卷积，用户可以设想自己坐在那个空间里听音乐的感觉。3.4. 听感调节工具

关于听感调节，我们对底层工具做了稍微抽象化的提炼，如除了可以直接提升低频能量占比外，还可以增加虚拟低音处理在流行音乐中，人声基本上都分布在中置信号的人声频段内，提升这部分信号的能力占比，同样可以达到突出人声的目的。

高保真和环绕增强，也是类似原理3.5. 曲风改编工具此外，我们还在歌曲风格的自动改编方面做了尝试，如将歌曲改编成具有DJ风格的音乐大致做法是，在后台利用机器学习的方法拾取歌曲的关键信息，包括鼓点和和弦等。

同时，利用混音的知识，如制作DJ混音的常用规则，将预先制作的LOOP元素按照歌曲信息和混音规则的要求，形成节奏音轨将节奏音轨叠加至原歌曲，便可以混合出具有DJ风格的歌曲此外，混音规则和MIR信息还可驱动手机的闪光灯和振动马达，让用户在感知到多维度的听音体验。

除了DJ风格的改编外，还有更多remix效果的尝试，如一键秒变广场舞、电子、古风、摇滚等风格。3.6. 达人音效社区

目前一共开放了30多款基础效果器供用户DIY音效未来还会陆续开放更多这套灵活自由的制作工具，激发了广大用户的创作欲望用户可以二维码分享自己的音效作品，也可以上传至官方审核平台官方审核通过后，可以获得音效达人的称号。

基于此，我们顺势将用户汇集在了音效小组中讨论分享，并参与音效活动，从而形式了接近20万人的音效社区3.7. 官方制作音效

不仅是UGC音效，我们的官方音效也是按照音效组件组合的方式设计的。这种链式结构的音效工程明显提升了官方音效的制作和发布效率。同时，还可以做到后台的动态下发，及时更新相关效果。3.8. 音效组件化

另外，我们提炼出了音效处理能力，实现了跨平台音效SDK的组件设，在SDK中，我们抽离共用逻辑，统一管理音效资源的下载，和音效工程文件的构建APP层只需要负责UI的交互，以及网络和文件操作接口的输入即可这样的组件化设计，使银河音效可以在不同操作系统的应用平台快速接入。

除了QQ音乐客户端之外，全民K歌，JOOX、车载场景的爱趣听、酷我、波点音乐，都陆续接入了银河音效。也欢迎有类似业务需求的小伙伴与我们合作。-04-银河音效的未来展望

音乐播放的整个链路大致可分为3个步骤第一块是歌曲或者音源部分比如从歌单的角度，为不同的歌曲配搭合适的音效目前已经小有成效，大家可以关注QQ音乐的个性化歌单我们赋予歌单制作搭配音效的能力第二块是音频解码阶段，也就是现在播放页的银河音效。

为了满足用户的听音偏好，我们会开发更多样的官方音效第三块是播放设备端，不同的设备需要适配不同的效果我们会和更多的硬件厂商合作利用自己的制作工具，发布官方硬件适配效果另外，我们也在和易车APP合作，联合发布最新车型的各种车载音响系统的测试信息，包括根据测试结果定制的车载音效。

最后，在空间音频方面我们一直在尝试各种可能性，如音乐空间的虚拟听音环境、线下展览的扬声器阵列、和线上直播场景的全景渲染，包括相关空间音频制作工具的落地欢迎大家持续关注银河音效以上是本次的分享，谢谢！

LiveVideoStackCon 2023上海讲师招募中LiveVideoStackCon是每个人的舞台，如果你在团队、公司中独当一面，在某一领域或技术拥有多年实践，并热衷于技术交流，欢迎申请成为LiveVideoStackCon的讲师。

请提交演讲内容至邮箱：speaker@livevideostack.com