基于DSP的音频会议信号合成算法研究

2008-05-28 11:03:09编辑:孙树宾 关键字:音频流  算法  定点DSP  音频信号  声反馈  滑动窗口  语音  模拟音频  低通滤波器

  随着在数字信号处理(DSP)算法和芯片处理能力以及通信网络结构优化等方面的不断发展,现代化通信已经迅速普及。音频会议是众多通信系统的必备功能。有多个用户参与的音频会议,最简单的模式可以使用令牌控制下的互斥模式,使只有拥有发言权的那个与会者才可以讲话。在这种模式下,每个与会者某一时刻只能听到一路音频信号,这种“半双工”模式对于音频会议是不方便和不实际的。

  真正的电话会议应当仿真多个与会者在一个会议室进行对话的情形。但是由于与会终端在物理上并不在一起,而每个终端只有一套音频输出设备(功放+音箱),要同时传送给每个终端的音频流也只能使用一路信道。为使每个终端同时接收多个与会者的声音,必须采取多路音频合成方案。电话会议的特点是会场使用麦克风和扬声器,这种方式很容易造成回波干扰和啸叫。一般会议信号处理算法主要关注的也是这个方面,通常采用回波抵消的方法。但是这种方式对于会议信号的处理并不是最完善和有效的[1]。经过研究,采用有无声检测、归一化定标、自适应回波抵消算法合成技术则能够很真实地实现会议仿真效果。

  1 会议信号合成实现方案

  1.1 会议信号合成的合理性和必要性

  音频流不象典型的视频流一样在空间/时间域占有惟一的位置,在同一时间和位置的信号元素叠加是没有任何意义的。但人耳可以感知在同一空间/时间播放多个音频流。这就是会议信号合成的合理性和必要性。通过会议信号的合成,将多路音频流的输入经过处理后,提供一个单输出信道输出合成音频。

  1.2 会议信号合成的关键因素

  当多个音频源在一个空间播放时,人耳听到的声波是各个声源声波的线性叠加,这正是模拟音频信号合成的基础。该事实表明数字化后的语音进行合成也应当使用线性叠加的方式。假设有n路输入音频流进行混音,Xi(t)是t时刻的第i路输入语音的线性样本,则t时刻的混音值为:

  m(t)=ΣXi(t),i=0,1,…,n-1

  语音信号是连续的、时间要求严格的一种流媒体信号,它在时域上具有短时平稳的特征。对语音信号进行处理的一个基本概念就是对语音信号进行采样,得到的语音样本以缓冲区为单位进行处理,即对语音样本分帧。语音处理的很多概念都是基于语音帧的,比如有声/无声、能量、自相关等。语音帧的长度一般采用10~20ms。 数字音频的重要参数是采样率,各路输入音频流合成的前提应当是使用相同的采样率。

  随着需要合成的语音信道数量的增加,在不采取任何附加预防措施的情况下,一些并非会议有效信号(如声反馈和噪音)就会累积起来导致质量劣化,让人无法接受。特别是由本地扩声系统产生的电声反馈引起的回音造成了再生混响,其结果严重地影响了语音的清晰度。更为致命的是当声反馈非常严重时会产生自激,使整个通信系统无法正常工作。所以必须对每个终端的输入音频进行有无声检测和声反馈抑制处理。

  语音合成时应注意求和样本的动态范围,这引出了归一化定标问题。数字音频波形理论定义,定标就是检查某个选定的帧,找到振幅峰值,并由此调整被选帧整体的音量,以便使允许的振幅值最大,且不会溢出。语音合成是对数字波形进行的一种编辑,尤其需要解决归一化定标问题。

  2 会议信号合成关键技术研究

  2.1 自适应回波抵消算法

  数字回波抵消器的理论基础是自适应滤波器技术。随着DSP的快速发展,数字回波抵消器已能很好地在DSP上加以应用。在电话会议中产生回波的最主要原因是远端会议信号经本地扬声系统在室内产生的声场回馈至传声器引起回音造成的再生混响。

  回波抵消器必须精确地估计回波路径特性并快速适应其变化,根据电话会议的特点,使用干涉抵消模型是最佳的方式。该模型是一个具有二个输入端的自适应滤波器,如图1所示。它将本地的传声器输出作为原始信号,而将本地扬声器的输入作为参考信号。经过自适应回波抵消处理后,能有效地抑制本地传声器的输出经室内声场馈至传声器的电声反馈(回音),从而实现自适应声反馈(回音)的抵消。

  

  回波抵消的核心就是自适应滤波器算法。常见的算法包括SDA算法和LMS算法。由于SDA算法中梯度的计算涉及到矩阵,并不适合实际应用。通过其派生的LMS算法简单实用,计算效率高。TI公司的DSP芯片TMS320C54X有专门的LMS指令用于加速自适应滤波算法。在实际应用中,还可以在LMS算法的基础上得到修改滤波器系数的算法:

  

  

  详细的自适应回波抵消算法计算步骤如下:

  (1) 采样值;

  (2) 根据前一次的计算值和滤波器系数修改算法,进行系数调整;

  (3) 计算远端估计能量;

  δ2[k] = (1-α) δ2[k-1] +α X2[k]

  (4) 进行FIR滤波计算, 求得滤波器的输出y(n)和误差信号e(n);

  (5) 数据输出;

  (6) 跳转到第一步。

  2.2 有无声能量检测

  在ITU-T协议中有无声检测即语音激活检测(Voice Activity Detection)。在多点音频会议中,有无声检测使得在某一时段实际语音合成的终端数目大大少于与会者数目,降低了合成运算量,减轻了处理芯片的负担。同时也是麦克风自适应增益控制AGC的基础。

  在数字语音信号中,有无声检测是通过信号能量、过零率参数的组合,与预置的能量门限值进行比较得出。基于短时平均能量的计算是利用一个固定宽度的滑动窗口,每输入一个最新样本,计算该样本之前的窗口覆盖的所有样本的能量平均值,将其与一个能量门限值比较来判断该新样本是静音还是有声。

  如上所述,以帧为单位对数字语音进行检测,如果某一帧内有任何一个样本是有声,则该帧就是有声。将窗口以帧为单位滑动,而不是以样本为单位,直接凭每帧的最后一个样本是有无声来确定该帧是有声帧或无声帧,这种简化的判断方式大大节省了运算量。对判断的结果而言并无影响。

  使用自适应变化的能量门限可以更加准确地对有无声加以判断。可以通过样本短时能量的一阶线性低通滤波得到背景噪声能量。而自适应能量门限值则保持与短时背景噪声能量一个静音检测的灵敏度常量比值So。长时间连续讲话会升高背景噪声的估计值,这就相应地提高了静音检测能量门限,有可能造成紧接着发生的低幅值的讲话当作静音而未被检测到。所以当检测到话音时可以通过改变低通滤波器的截止频率来重新估计噪声能量。

  在过滤静音的同时应当注意如何保留短时能量相对较低的微弱音频信号,如摩擦音和辅音。这些微弱信号的存在保证了语音语义的完整性,所以在短时平均能量判断之外还应该结合过零率的判别保留这些微弱音频信号。采用余音生成器的方式可以实现微弱音频信号的保留,即余音生成器将紧跟在一个语音串后的头几帧。所谓无声的帧仍然应该被当作是有声,从而避免低电平语音被抑制掉。ITU-T G.723.1A对余音生成器算法作了较详细的设计,在此不做详细描述。

  2.3 归一化定标处理

  多路语音信号合成时采用线性叠加,必须解决的问题是如何防止叠加产生溢出而导致失真。如果采样样本是16bit,而求和缓冲区也是16bit,那两路音频流就容易使求和区溢出。即使提供了高精度的求和缓冲区,使得在求和过程中不会溢出,但是这不能保证求和结果的幅值适合输出硬件器件的要求范围(DA器件范围通常是16bit)。

  简单的方法是对超出范围的值箝位。更好的方法是对求和结果分帧进行归一化定标,具体就是:对某个求和语音帧中的所有样本分析,若样本S的值超过了器件所能表示的最大范围,那么S之后的所有样本均乘以一个衰减因子f。其中f是能够使S满足输出器件范围的最大值,显然,f的绝对值小于1。这样在箝位后的一段时间内,语音样本之间的大小是相对不变的。

  在实验中选用了通用的16bit定点DSP芯片TMS320C549进行实时仿真来完成多路音频流的合成。各路线性样本相加过程中,求和的值是不会溢出的,因为样本是16bit,而累加器是32bit。但和值很容易超过输出硬件设备允许的范围(16bit)。

  在归一化定标处理中,初始化时衰减因子f为1,每次开始处理一个新的样本缓冲区时,任何一个样本S超过了范围,将S箝位,并且求得S与允许范围值的比值f,在时序上位于S之后的样本都除以f。但是为了避免语音不必要的衰减,而箝位操作有让f越来越小的趋势,因此需要有让f变大的地方,这发生在每个新样本缓冲区开始处理的入口。新的缓冲区样本仍然需要衰减的可能性很大,所以f不适合每次都从1开始,而是应该在某种程度上继承过去的值。即在每个新样本缓冲区的入口处,只要f不等于1,就将其调整为比f稍大些的值,让它成为新的衰减因子。若样本的确不需要衰减,经过若干帧后f会慢慢变回1。

  定点DSP中不易使用除法,所以可以把所有f的值做成一张表,f的取值范围定义为1/16、2/16,直到15/16,它的衰减精度为1/16。当S发生箝位时,用比较法或者查表法求出合适f (15个取值之一)。之所以考虑是1/16的步长,是因为它已经可以确保16个输入流求和不会溢出,如果还需要更大的精度,可以取1/32(2的n次方由定点DSP实现起来较方便)。

  归纳起来,归一化定标的核心思想是:f必须很快地变成合适的衰减因子,使得样本不会溢出,然后f会慢慢地变回1。S发生箝位时f立刻被计算出,而在时间上每处理完一个求和帧后,就试图把f向1靠近,f每次增加它与1的差值的1/16。即: f′= f+(1-f)/16。具体的定标流程图如图2所示。

  

  

  3 试验分析

  同时输入10路的音频流到混音模块,每路的采样率都是16kHz,帧长选择10ms,即160个样本。

  在对电干扰进行抵消时,对于带宽为3kHz(300~3 300Hz)的宽带随机白噪声,抵消程度优于42dB。在室外,其混响时间较小,对宽带噪声的声干扰的抵消程度优于30dB。在混响较为严重的实验室中,声干扰的抵消程度也可以优于15dB。

  经过听觉试验表明,经过定标和回波抑制的合成语音流输出能够清晰分辨出每一路的声音。

  使用Matlab比较对输出进行简单箝位和输出定标两种方式的语音时域波形,可以观察到前者波形中有很多因溢出导致的“削波”,而后者的波形失真较小。

  数字音频流合成对于多点音频会议系统是不可缺少的。首先对输入的多路音频流进行经过有无声能量检测和回波抑制处理后将有效输入信号线性叠加,然后进行增益定标以便减少失真,以满足输出设备的要求。通过定点DSP的实现以及实验证明这种模式下的音频会议信号合成算法能取得很好的会议效果。

  参考文献

  1 周 霖. DSP通信工程技术应用[M]. 北京:国防工业出版社,2004:301~315

  2 杨行峻.语音数字信号处理[M].北京:电子工业出版社,1995:154~157

  3 ITU-T G.723.1 Annex A:Silence Compression Scheme. ITU,1996

关键字:音频流  算法  定点DSP  音频信号  声反馈  滑动窗口  语音  模拟音频  低通滤波器

来源: 电子技术应用 引用地址:http://www.eeworld.com.cn/afdz/2008/0528/article_698.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:基于小波变换与DSP的实时音频视频处理系统
下一篇:一种新型编码芯片及其驱动程序的设计方案

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

SMSC的JukeBlox®平台可透过Windows® 8实现无线音频流

致力于实现多样化系统连接的领先半导体厂商SMSC (纳斯达克代号:SMSC)今天宣布,已在其JukeBlox® 3.0无线音频平台中增加Windows® 8支持。JukeBlox 3.0是业界率先在Windows 8操作系统中实现无线音频流应用的独立平台之一。SMSC的JukeBlox技术已获得业界领先的知名消费电子厂商采用,藉由无线和因特网连接,可将音乐串流带到整个家庭。 SMSC资深副总裁暨无线产品部门总经理Gene Sheridan表示:“我们与微软的共同合作,让SMSC新兴的JukeBlox标准能与无所不在的Windows平台兼容,这将为广大的基于Windows平台的个人计算机和平板计算机市场开启全新的简易无线音乐流应用
发表于 2012-06-05 22:10:52

TI无线耳机参考设计CC8530,可驱动4通道音频流

    日前,德州仪器(TI)宣布推出PurePath Wireless音频产品系列的第二款器件,为消费类、便携式以及高端音频带来最新应用。该2.4 GHz CC8530射频(RF)片上系统不但可通过高稳健RF链路传输未经压缩的无线音频,而且还支持多达4个音频通道的数字流。此外,TI还同步推出了作为PurePath Wireless音频系列组成部分的CC85XXDK-HEADSET开发套件与参考设计。作为市场上成本最低的高品质耳机及听筒产品,该设计在大批量生产条件下整体电子材料成本不足5美元,在采用465 mAh电池情况下可工作22小时,与现有耳机相比,电池使用寿命可延长100%。  
发表于 2011-06-29 00:42:18
TI无线耳机参考设计CC8530,可驱动4通道音频流

最小化MAX9877音频子系统IC的关断电流

引言在任何典型应用中,期望连接到I²C总线上的器件的SDA数据线和SCL时钟线在闲置状态下输出逻辑高电平,MAX9877音频子系统IC即可满足这一需求。将SDA和SCL线保持高电平以获得最小关断电源电流。本应用笔记介绍了3种方法,能够在MAX9877处于关断状态,而SDA和SCL可能被置为逻辑低电平的情况下获取最小关断电流。 方法1—增加弱上拉第一种方法是在常规的上拉电阻无效时,在SDA和SCL上增加额外的弱上拉分压电阻,以建立总线上的电压,图1给出了这种方法的原理图。图1. 弱上拉分压电阻用来设置SDA数据线和SCL时钟线的电压;隔离二极管可以防止上拉电压被强制到地电位时的电流损耗SDA和SCL线上的一对2MΩ电阻对电池电压
发表于 2011-04-22 13:37:27
最小化MAX9877音频子系统IC的关断电流

基于DSP的音频会议信号合成算法研究

一个固定宽度的滑动窗口,每输入一个最新样本,计算该样本之前的窗口覆盖的所有样本的能量平均值,将其与一个能量门限值比较来判断该新样本是静音还是有声。   如上所述,以帧为单位对数字语音进行检测,如果某一帧内有任何一个样本是有声,则该帧就是有声。将窗口以帧为单位滑动,而不是以样本为单位,直接凭每帧的最后一个样本是有无声来确定该帧是有声帧或无声帧,这种简化的判断方式大大节省了运算量。对判断的结果而言并无影响。   使用自适应变化的能量门限可以更加准确地对有无声加以判断。可以通过样本短时能量的一阶线性低通滤波得到背景噪声能量。而自适应能量门限值则保持与短时背景噪声能量一个静音检测的灵敏度常量比值So。长时间连续讲话会升高背景噪声的估计值
发表于 2008-05-28 11:03:09

Wireless Sound亮相IIC 2008

  提到无线音频传播,有人会很自然的想起蓝牙技术,但是Wireless Sound(Wireless Sound Solutions Pte Ltd)又给大家带来了另一种方式,这是一款基于全球公开授权的2.4/5 ISM频段的无线音频传播方案。该无线音频解决方案在IIC 2008位于深圳会展中心展览馆的2N45展台展示。   该STS 无线音频解决平台技术是来自荷兰,采用公开授权的2.4/5 ISM频段,藉由该平台可以实现无线传输未压缩的CD音质的音频流,可以具有多个接收端,并且只有很小的延迟。传输距离亦是非常的理想,在室内环境下最高可以达到50m(200m LoS),具有最高27Mbps的带宽,这样的特性从字面看来绝非蓝牙能够
发表于 2008-04-03 17:18:31

德州仪器DirectPathTM 放大器为手机与便携式音频播放器带来业界最高音频性能与最低静态电流

首款基于充电泵带 I2C 音量控制功能的差动输入耳机放大器提供愈加出色的音质 2006 年 12 月 15 日,北京讯 日前,德州仪器 (TI) 宣布推出一款针对手机与其它便携式音频应用而优化的全新耳机放大器。TPA6130A2 是 DirectPathTM 系列放大器之一,其性能超过了目前市场上的其它充电泵耳机驱动器,实现了 109 dB 电源纹波抑制比 (PSRR) 与仅 4 mA 最低静态电流,并率先提供了差动立体声输入与 64 级软件音量控制等功能。TPA6130A2 的上述特性可帮助制造商最小化噪声干扰,延长电池使用寿命,并尽可能提高音质,是手机、个人数字助理 (PDA)、便携式媒体播放器以及便携式音频播放器
发表于 2006-12-15 17:12:16

小广播

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved