基于小波变换与DSP的实时音频视频处理系统

2008-05-27 14:29:03编辑:孙树宾 关键字:DSP  系统复位  小波变换  视频数据  视频格式  音频  小波压缩  图像压缩编码  

  目前,以远程监控、视频会议、可视电话及移动多媒体通信系统为代表的低比特率通信系统在实际中得到了重要应用。面对庞大的音/视频数据量,作为语音及图像处理的压缩技术便在多媒体通信中显得极为重要。随着多媒体通信技术和超大规模集成电路(VLSI)技术的飞速发展,这一技术将会在众多领域得到更为广泛的应用。

  1 音/视频实时处理系统

  低码率视频通信的主要技术问题是音/视频压缩编码技术,即用来实现在满足足够质量和硬件成本的条件下降低所需的码率。小波变换充分利用人眼的视觉特性,克服了重构图像会出现的块效应、蚊子效应、模糊等现象。由于小波变换技术能充分地利用人眼的视觉特性,因此因而用小波变换视频编码将会获得比现在标准得多的压缩效果。本文介绍一种基于ADV611,CT8021芯片同时结合TI公司的TMS320C6201芯片实现音/视频实时处理系统。在该实时系统中,DSP芯片作为控制核心、一方面要管理ADV611,CT8021,存储器和通信接口,另一方面要对ADV611的图像压缩效果进行调解,对数据速率实时控制。系统实现方案原理图如图1所示。

  

  1.1 系统硬件结构

  系统主要功能是实现远程场景音视频的采集、数字化、音/视频的压缩和解压、摄像系统云台方位以及摄像头的控制、自动开机和关机等功能。其中音视频数据的打包、解包、摄像系统云台方位以及摄像镜头的控制等功能DSP芯片TMS320C6201来完成。远程场景及音频压缩信息通过入网设备在Internet上实现远程实时传输。如图2中,原始制式PAL(720288,50帧/s)的视频信号经过图像采集端的视频A/D转换成CCIR656(8位27MHz)的数据流,再通过ADV611进行小波压缩编码。同时,原始的音频信号也经过音频采集端的A/D转换为PCM信号,再通过CT8021完成G.723.1压缩编码。经过压缩的音/视频数据都送入TMS320C6201中,并由TMS320C6201参照MPEG-2协议完成音/视频数据的打包;经过打包的数据由TMS320C6201送出,这里使用异步通信器件TL16C550B连接TMS320C6201和入网设备,这样做可以简化DSP的软件实现提高系统的可靠性和可扩展性。最后打包的音/视频数据由入网设备发送到Internet上,接收端功能框图如图3所示。从远端接收到压缩数据后,经过TL16C550B送到DSP中,先在存储器中缓存,然后根据MPEG-2协议进行解包,分解成独立的音/视频数据;然后依据ADV611和CT8021的数据申请,将压缩视频数据发送给ADV611解压,将压缩音频数据发送给CT88021解压。ADV611恢复出的图像数据仍以CCIR656的标志格式发送给视频D/A转换为视频模拟信号,最终由显示器回放出来,CT8021恢复出的语音数据仍以PCM标准格式发送给音频D/A转换为音频模拟信号,由扬声器回放出来。

  

  

  1.1.1 音频处理模块

  该模块的核心芯片CT8021是采用美国DSP Group公司生产的全双工的语音压缩解压缩芯片。他可为基于H.320协议的多媒体系统。该芯片实现了ITU-TG,723.1所规定的5.3kb/s和6.3kb/s两种比特率语音。这两种比特率是H.263建议所规定的国际标准语音速率,适用于线路带宽较小的多媒体通信。该芯片处理速度快,可实现语音的实时处理,其内部结构如图4所示。

  1.1.2 视频处理模块

  在该设计中,用小波变换进行图像压缩是采用硬件实现的,使用了AD公司生产的ADV611单片、多功能、全数字的CMOS超大规模集成电路。小波压缩核采用双正交(7,9)小波变换。其内部结构如图5所示。他支持对CCIR-656国际数字视频标准进行高画质的无损或有损视频压缩和解压缩并支持实施隔行扫描的视频数据。编码时,数字视频从数字视频接口输入,经帧抽取和小波变换,送入量化器进行量化。量化后的数据送入熵编码器,进行游程编码和霍夫曼编码,产生最后的压缩数据流,送入集成于片内的51232位大小的FIFO缓存。当片内的FIFO的数据量达到主机的预设值时,ADV611发出中断,通知主机取走数据。解码过程与之相反,压缩数据由主机送入FIFO,解码后产生CCIR-656格式的数据视频数据,从数字视频接口输出。

  ADV611与其前期产品ADV601,ADV601LC相比,他不仅有更宽的温度范围(-25~+85℃),而且采用硬件减帧技术,可获得更高的压缩比(最大可达7 500:1)并且增加一种称为特性盒控制的功能。该功能允许一帧中某一矩形区域相对于其他区域有较低的压缩比或完全不进行压缩。对这个主芯片的控制采用TI公司的高速定点DSP芯片TMS320C6201。他的内部工作频率为200MHz,CPU有8个并行的功能单元,每个时钟周期内可以并行执行8条指令,所以用C语言编程时也能完全满足对ADV611控制速度的要求。

  

  视频解码兼模/数转换芯片采用PHILIPS公司的视频芯片SAA7111,他可接收复合电视信号及S端子信号输入,输出支持YUV422/411,CCIR656及RGB565等视频格式,这里使用YUV422;视频图像恢复采用AVERLAGIC公司的视频芯片AL250,他支持YUV422与RGB565隔行输入视频格式,输出则为计算机显示器CRT接收的RGB(VGA)逐行视频格式,可方便地利用计算机观察视频。这2个芯片都含有控制寄存器,可通过I2C总线控制。

  将ADV611接收来自SAA7111的数字视频信号进行压缩,DSP将通过访问ADV611获得压缩数据;将ADV611设置为解压缩模式时,DSP将压缩数据发给ADV611进行解压缩处理,而SAA7111仅为ADV611提供时钟信号。

  此外,为提高系统的集成度和灵活性。系统使用了一片ALTERA公司的CPLD-EPM7128,他将I2C电路、DSP启动电路、地址译码电路、对时钟信号VCLK的二分频电路、读写信号产生电路及编码解码切换电路等做在内部。电源芯片为TI公司的TPS73HD301,他接收5V电压,输出3.3V和2.5V电压,并提供系统复位脉冲。

  

  1.1.3 I2C总线特殊设计

  DSP的扩展能力不强没有多余的I/O口。无法实现类似单片机的I/O口集电极开路允许总线路“线与”。这时可用态门的控制单元(使用D触发器),在需要释放的总线时关闭三态门即可。

  1.1.4 音视频的复用

  本系统复用器的设计是在MPEG-2音/视频国际标准的第一部分ISO/IEC13818-1系统层语法规范的基础上,采用TMS320C6201信号处理器来实现。其中为实现一套节目音频/视频的解码同步,在码流中需要插入各种时间标记,系统控制等信息。最后送到网络适配器得到与传输信道相匹配的标准输出码流后,送往信道,复用器还提供整个编码系统的系统时钟。

  2. 系统软件设计

  DSP在主程序中计算采集端ADV611图像压缩编码的控制参数。ADV611通过控制寄存器提供给用户3种控制图像效果和数据流量手段。首先是设置量化系数,即通过改变小波分解后各个不同频带数据的量化权重达到数据压缩的目的,其次是减帧,ADV611可以从50帧/s减到2帧/s。最后是特性盒控制,ADV611能够在722288的一帧图像中再设置一个显示区,并将该区之外的图像衰减,从而利用这种减小有效画幅尺度的方法压缩数据。这个显示区域大小的设备是通过调节ADV611内部品质框数据实现的。主程序中DSP将依据用户调节命令,计算修改ADV611中的控制寄存器参数。

  本系统DSP控制程序的设计关键是如何高效地协调完成各类控制任务,避免由于任务进程安排不当而引起的数据传输意外中断,以压缩端为例,如图6所示,DSP程序将BSP数据发送和数据接收控制以及ADV611,CT8021的服务请求作为中断处理,以提高这些任务的响应速度。为了避免通信串口的数据丢失,程序允许BSP发送中断和接收终端在ADV611和CT8021的服务请求中断发生并立即响应。在程序的主循环部分中,DSP通过一系列的状态判断完成发送缓冲区数据写入、接收缓冲区数据读取、图像压缩编码参数计算等任务。

  

  3 结语

  本系统选用了先进的小波变换芯片ADV611,CT8021和DSP TMS320C6201芯片实现实时音频视频处理系统。有效地控制保证了音频视频的可靠传输。通过测试本系统DSP还有很多空闲时间,而且清晰的软件结果很容易添加进新的功能算法。从而进一步丰富该系统的功能。

关键字:DSP  系统复位  小波变换  视频数据  视频格式  音频  小波压缩  图像压缩编码  

来源: 现代电子技术 引用地址:http://www.eeworld.com.cn/afdz/2008/0527/article_692.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:多媒体处理器DM642及其在视频监控中的应用
下一篇:基于DSP的音频会议信号合成算法研究

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

ADI公司的DSP为电动和混合动力汽车产生内外发动机声音

Analog Devices, Inc. (ADI)今天推出一款嵌入式系统,用于为电动(EV)和混合动力汽车(HEV)产生发动机声音。通过采用ADSP-BF706数字信号处理器和电动汽车警示音系统(EVWSS)固件,北美和全球其他地区的汽车制造商能够满足电动和混合动力汽车低速行驶时对外部发动机声音的未来安全规范要求。   ADI公司的DSP为电动和混合动力汽车产生内外发动机声音  查看EVWSS产品页面:http://www.analog.com/pr0717/evwss  在www.analog.com/cn/srf提交申请,以下载EVWSS固件。请在软件
发表于 2018-07-17 20:30:37
ADI公司的DSP为电动和混合动力汽车产生内外发动机声音

独立设计代码并与Microchip双核dsPIC®数字信号控制器无缝集成

Microchip Technology Inc(美国微芯科技公司)日前发布全新数字信号控制器(DSC),该控制器采用单芯片、双dsPIC DSC内核配置,将为设计高端嵌入式控制应用的系统开发人员带来福音。根据设计,dsPIC33CH的两个内核一个是主核,一个是副核。副核用于执行时间关键型专用控制代码,主核负责运行用户接口、系统监控和通信功能,专为终端应用量身定做。dsPIC33CH还进行了特别设计,从而允许不同的设计团队分别为每个内核单独开发代码,并将两个内核无缝集成到一个芯片中。 dsPIC33CH系列针对高性能数字电源、电机控制和其他需要精密算法的应用进行了优化,这包括无线电源、服务器电源、无人机和汽车传感器
发表于 2018-06-26 09:12:46
独立设计代码并与Microchip双核dsPIC®数字信号控制器无缝集成

德州仪器CMOS毫米波雷达率先规模量产 集成DSP助力更智能世界

能够提供“小于5 cm的分辨率,探测范围达数百米,速度最高可达300 km/h”。  TI雷达和分析处理器部门总经理Sameer Wasson表示,在公司的雷达芯片推出一年后,其团队在汽车和工业应用领域都看到了巨大的应用前景。  TI为汽车市场应用推出的AWR1642毫米波传感器已经大规模量产,Wasson称预计在今年末到2019年中期,将在OEM厂商的车辆中看到他们的雷达芯片。更让Wasson兴奋的是,他们的雷达芯片在工业应用领域的表现。TI为工业应用设计的毫米波传感器IWR1642,正在寻求各种应用,使它们能够进入从智能建筑到工厂楼层和运输系统的所有领域。  集成数字信号处理器(DSP)扮演重要角色  Yole分析师预言,TI
发表于 2018-06-04 17:50:37
德州仪器CMOS毫米波雷达率先规模量产 集成DSP助力更智能世界

我国高端DSP研制再获重大突破

  近日,中国电科14所牵头研制的华睿2号DSP芯片顺利通过工信部组织的“核高基”课题正式验收,成为国家十二五“核高基”重大专项高端芯片中首个通过验收的DSP项目,标志着我国在高端DSP研制领域再次取得重大突破,为我国自主芯片谱系增加了浓墨重彩的一笔。下面就随嵌入式小编一起来了解一下相关内容吧。  据悉,国家“核高基”重大专项是2006年国务院发布的《国家中长期科学和技术发展规划纲要》中与载人航天、探月工程并列的16个重大科技专项之一。在工信部的统一部署下,“十一五”和“十二五”期间,中国电科持续承担了“核高基”重大专项研制任务,突破了高端DSP研发核心技术,实现了“核高基”研制成果的批量应用,在重大工程及装备中取得显著成效
发表于 2018-05-24 22:23:57

我国高端DSP研制再获重大突破

近日,中国电科14所牵头研制的华睿2号DSP芯片顺利通过工信部组织的“核高基”课题正式验收,成为国家十二五“核高基”重大专项高端芯片中首个通过验收的DSP项目,标志着我国在高端DSP研制领域再次取得重大突破,为我国自主芯片谱系增加了浓墨重彩的一笔。   据悉,国家“核高基”重大专项是2006年国务院发布的《国家中长期科学和技术发展规划纲要》中与载人航天、探月工程并列的16个重大科技专项之一。在工信部的统一部署下,“十一五”和“十二五”期间,中国电科持续承担了“核高基”重大专项研制任务,突破了高端DSP研发核心技术,实现了“核高基”研制成果的批量应用,在重大工程及装备中取得显著成效。   本次通过验收的华睿2号DSP为全自主设计芯片
发表于 2018-05-24 09:22:36

江苏宏云陶建平:MCU+DSP芯片架构用于无线充电

拥有8/16/32位单片机(MCU)设计技术,陶建平说宏云切入无线充电市场的时间不长,但是核心竞争力已经形成,设计有自定义指令集的数字信号处理器(DSP),是宏云在市场竞争中最大的差异化优势。基于DSP架构的处理器可以采用单个或多MAC运算单元。比如,JMT018内核是当前世界上最小的DSP芯片,单MAC运算和除法指令等,16比特指令编码,且大多指令为单周期指令,其极低的功耗和通用的指令,非常适合智能硬件,可穿戴设备的应用。DSP产品规划宏云最突出的是特色是,拥有自定义指令集数字信号处理器(DSP)设计技术,公司先后建立了单核MCU和MCU+DSP双核平台,在这两个平台上推出了两个系列的MCU SOC芯片。宏云的产品规划陶建平介绍
发表于 2018-05-14 17:28:38

小广播

热门活动
换一批
更多

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved