双目三维定位的视频运动 检测控制系统设计

2011-06-09 14:18:03来源: 互联网
  目前,视频运动控制卡的研究已经成为热点。本文针对TI公司的视频高速处理芯片数字信号处理器 href="http://www.21ic.com/ex/t.php?cid=1&xh=TMS320DM642" target=_blank>TMS320DM642,设计了对目标物体进行视频实时跟踪的运动控制卡。笔者希望通过本文分享DM642平台应用中的一些经验。

1 系统方案与原理
    系统主要由视频解码器、CPLD采集控制、TMS320-DM642、视频编码器等部分组成。其总体框架如图1所示。CCD摄像头摄取视频图像,输出标准 PAL制式的模拟视频信号。视频解码器收到模拟视频信号,将其转换为标准格式的数字视频数据流,由CPLD控制视频解码器将数据采集到高速缓存中暂存,避免了数字视频数据长时间占用DSP外部总线。然后DSP的EDMA控制器通过DMA方式从高速缓存中将视频数据搬运到SDRAM中,采集到的视频数据经过 DSP图像处理后,一方面通过视频编码器将图像数据以PAL制式的模拟信号传送给视频转换盒,然后通过USB接口连接PC,显示跟踪结果。另一方面, DSP通过串口发送与目标物体三维坐标相关的控制命令,从而控制驱动器操纵舵机,实现对目标物体的跟踪与抓取。

2 图像采集的CPLD控制
    系统采用CPLD控制视频解码器SAA7111A采集图像数据,送到高速缓存。SAA7111A芯片提供了很多同步信号来实现系统工作同步,逻辑控制器对这些信号进行逻辑运算,完成同步控制。
    图2为控制图像采集的逻辑框图。其中虚线框部分由CPLD完成。CPLD上电后,首先使D触发器输出为高电平,控制FIFO写信号或门中的1路信号为高电平,这样FIFO写信号禁止,从而关闭图像采集开关。行计数器和像素计数器处于等待计数状态。待DSP、SAA7111A、EDMA和FIFO初始化完成后,由DSP发出启动图像采集的信号。在VREF为高电平且HREF为所要行时,行计数器开始计数,达到512行时行计数器复位。同时,在HREF为高电平且像素是想要的像素时,像素计数器开始计数,并在达到512个像素时计数器复位。经过SAA7111解码得到的PAL制式的图像最大分辨率为720× 576,要求采集的图像大小为512×512像素,只取其中部分像素。SAA7111A的像素时钟LLC2频率为13.5 MHz,作为CPLD的工作时钟。由SAA7111A的时序图可知,输出图像分为奇偶单场。奇偶单场中的VREF高电平都对应行有效,单场为288行 (288个HREF);输出VREF低电平表示场消隐信号,为25行(25个HREF)。由于单场为256行,要求采集图像为512行,所以不采集单场有效行的前16行和后16行图像数据。此处设计行计数器是用来达到取中间256行有效像素的目地。图3为采集一场图像的时序仿真图。同样,输出的HREF高电平表示1行有效像素,为720个LLC2周期,每行要求只采集中间的512个像素。因此编写像素计数器,目地是在HREF上升沿出现后,取中间的512 个像素作为有用的像素。

3 DSP的软件系统设计
3.1 双目视觉算法
    本文所采用的摄像机的空间关系如图4所示。假设C1与C2摄像机的焦距相等,各内部参数也相等,且2个摄像机的光轴平行,x轴重合。由于光轴与图像平面垂直,故2个摄像机的图像坐标系x轴重合,y轴平行。因此,将第1个摄像机沿其z轴平移一段距离后与第2个摄像机完全重合。

    当双摄像机这样配置时,2个摄像机坐标系只相差x轴方向上的1个平移,将平移距离1记为b。
    如图4所示,O1O2为C1及C2坐标的x轴。PO1O2平面与2个图像平面I1及I2的交线分别为E1和E2。由于2个图像平面位于同一平面,则E1与 E2为该平面上的同一直线。又由于图像平面平行于x轴,故E1和E2与x轴平行。P1和P2分别为O1P与I1,及O2P与I2的交点,则P1与P2分别在E1和E2上。事实上,一幅图像上的任一点,在另一幅图像上的对应点只可能位于1条特定的被称为极线的直线上,而E1和E2就是此系统的2条极线。

  假设C1坐标系为x1y1z1,C2坐标系为x2y2z2。在上述摄像机配置下,若任何空间点P的坐标在C1坐标系下为(x1,y1,zz),在C2坐标系下为(x1-b,y1,z1)。由中心摄影的比例关系可得:

   

    可见,由P1与P2的图像坐标(u1,v1)、(u2,v2)可求出空间点P的三维坐标x1、y2、z1。
    上述公式组中,b称为基线(baseline)长度,(u1-u2)称为视差(disparity)。分析表明,基线长度越长,x1、y1、z1的计算相对误差越小。但基线长度不可太长,否则,由于物体各部分的互相遮挡,2个摄像机可能不能同时观察到P点。视差是由于双摄像机位置不同,使P点在图像中投影点的位置不同引起的。由z1式可见,P点的距离越远(即z1越大),视差越小。事实上,当P点趋于无穷远时,O1P与O2P趋于平行,视差趋于零。
3.2 嵌入式实时系统DSP/BIOS设置
    本文对嵌入式实时系统DSP/BIOS的配置分为4个部分:
    ①系统设置。配置系统的存储器为外部SDRAM,并指定存储地址。
    ②实时分析。指定调试函数,用于记录系统运行时间和调试结果。
    ③任务调度。采用RF5框架,定义了4个执行任务,分别完成视频输入、处理、控制、输出。
    ④同步控制。用于完成上位机对目标物体的设定。
    系统DSP/BIOS设置如图5所示。

图8中第1行为视频跟踪卡应用在由舵机搭建手臂上,对三维空间小球的实时跟踪效果图。第2行为视频控制卡反馈回PC机的4路图像:第1路为左摄像头拍摄的真实图像,第2路为右摄像头拍摄的真实图像,第3路为对第1路图像中的小球进行颜色识别后图像分割的效果图,第4路为对第2路图像中的小球进行颜色识别后图像分割的效果图。

结 语
    本文设计的视频检测运动控制卡,可以在三维空间内准确定位目标物体,同时采用动态跟踪的方式对目标物体进行夹取。采用DSP与CPLD相结合的方式,并嵌入实时DSP/BIOS操作系统,提高了系统对视频处理的速度。该系统定位准确,功耗低,适合应用于移动机器人等领域。

关键字:三维  定位  视频  运动

编辑:eeleader 引用地址:http://www.eeworld.com.cn/gykz/2011/0609/article_6506.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。
论坛活动 E手掌握
微信扫一扫加关注
论坛活动 E手掌握
芯片资讯 锐利解读
微信扫一扫加关注
芯片资讯 锐利解读
推荐阅读
全部
三维
定位
视频
运动

小广播

独家专题更多

TTI携TE传感器样片与你相见,一起传感未来
TTI携TE传感器样片与你相见,一起传感未来
TTI携TE传感器样片与你相见,一起传感未来
富士通铁电随机存储器FRAM主题展馆
富士通铁电随机存储器FRAM主题展馆
馆内包含了 纵览FRAM、独立FRAM存储器专区、FRAM内置LSI专区三大部分内容。 
走,跟Molex一起去看《中国电子消费品趋势》!
走,跟Molex一起去看《中国电子消费品趋势》!
 
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2016 EEWORLD.com.cn, Inc. All rights reserved