datasheet

将eFPGA应用于嵌入式360度视域视觉系统中

2018-04-26来源: EEWORLD 关键字:eFPGA

作者:Alok Sanghavi,Achronix Semiconductor资深产品营销经理


带有多个高分辨率摄像头的嵌入式360°视域视觉系统已经进入了各种应用中,如汽车传感器融合、视频监控、目标检测、运动分析等。在此类系统中,多个实时摄像机的视频流(最多6个) 被汇聚在一起逐帧处理,进行失真和其他图像伪影校正,调整曝光和白平衡,然后动态拼接成一个360°全景视图,以4K清晰度和60 fps帧频输出,最终投影到一个球形坐标空间上。



目前用于此类应用的高分辨率鱼眼相机镜头通常具有一个广角视域(FOV)。环视相机系统最大的瓶颈之一是: 实时到或从外部存储器存储/读取和访问多路摄像机输入数据,然后将其作为一个单一帧进行处理。硬件需要在一帧延迟内,在输入摄像机传入的原始传感器数据和拼接输出视频之间完成处理运行。


高性能计算平台一直朝着与CPU一起协同使用FPGA的方向发展,以便为实时图像处理任务提供专门的硬件加速。 这种配置使得CPU能专注于特别复杂的算法,其中它们可以快速切换线程和上下文,并将重复性任务分配给一个FPGA,以充当可配置的硬件加速器/协处理器/卸载引擎。 即使将FPGA和CPU作为分立器件使用,系统也可以提高整体效率,因为这些技术不会发生冲突,而是像将手套戴在手上一样来配合在一起。


例如,从鱼眼镜头获得的图像遭受严重失真之苦,因而基于多个相机视频生成的拼接操作是高度计算密集型的任务,其原因为它是点像素操作。这种拼接需要大量的实时图像处理和高度并行化的架构。但是,这种下一代的应用超过了FPGA可不断接续实现的性能,主要是由于芯片吞吐数据的延迟。这反过来会影响整个系统的整体延迟、吞吐速度和性能。


在一个SoC中加入可与CPU一起嵌入的eFPGA半导体知识产权(IP)。与一个独立的FPGA芯片加CPU解决方案相比,嵌入式FPGA阵列结构具有独特的优势,主要优势在于性能更强。一个eFPGA可通过一个宽的并行接口直接连接到ASIC(无I / O缓冲器)上,提供显著提高的吞吐量,以及以个位数时钟周期来计数的延迟。低延迟是复杂的图像实时处理过程的关键,例如纠正鱼眼镜头的失真这样的处理。


利用Speedcore eFPGA IP,客户可以定义其逻辑、内存和DSP资源需求,然后Achronix可配置其IP以满足他们的需求。查找表(LUTs)、RAM单元块和DSP64单元块可以像积木一样进行组合,为任何给定的应用创建最佳的可编程结构。


除了标准逻辑、嵌入式存储器和DSP单元模块之外,客户还可以在Speedcore eFPGA结构里面定义他们自己的功能块。通过把这些定制功能模块与传统构建模块一起集成到逻辑阵列结构中,可添加优化过的功能来减少面积和提高目标应用的性能,可使eFPGA的性能得到极大的提高,特别是对嵌入式视觉和图像处理算法非常有效。


用自定义单元块来成功地解决高性能图像处理就是一个很好的例子,在实现您只看一次(YOLO)这一种使用了神经网络的、最先进的、实时对象检测算法时,可以优于早期的方法大大提高性能。该算法依赖于大量的矩阵乘法器,而在FPGA中实现时,这些矩阵乘法器需要使用DSP和RAM模块来构建;YOLO所需要的DSP和RAM模块之间的最佳配置,与一个典型的FPGA阵列结构中发现的不匹配之处就会出现问题。例如,FPGA阵列结构可能提供18×27乘法/累加单元块和32×128 RAM的DSP单元块,而此时的最佳解决方案可能是带有48×1024 RAM的16×8 DSP单元块。通过创建实现最佳DSP和RAM模块配置的定制单元块,所得到的Speedcore阵列结构所使用的芯片面积就会减少40%,来实现相同的功能并且能获得更高级别的系统性能。


在SoC中嵌入FPGA阵列结构提供了两个额外的系统级好处:


更低的功耗 - 可编程I / O电路占独立FPGA芯片总功耗的一半,而一个eFPGA可以与主控SoC中的其他模块直接内部线路连接,完全不需要大型可编程I / O缓冲器。


更低的系统成本 - 由于eFPGA只需实现特定功能,eFPGA的裸片尺寸远小于等效的独立FPGA芯片,这是因为eFPGA不再需要可编程的I / O缓冲器和不必要的接口逻辑。


借助超低延迟和实时处理功能,可以有效实现基于360°视域的视觉系统,具有定制单元块的Speedcore eFPGA与同一主控SoC中的一个CPU配合使用,非常适合去实现专用功能,如目标检测和图像识别、变形和失真校正、以及最后将最终图像拼接在一起。在SoC中嵌入FPGA阵列结构是超深亚微米时代系统集成的一个自然发展过程。


关键字:eFPGA

编辑:冀凯 引用地址:http://www.eeworld.com.cn/FPGA/article_201804263783.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:基于FPGA微秒级实时金融指数行情计算
下一篇:Intel的FPGA数据中心玩法

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

摩尔定律放缓,eFPGA技术迎来了最好的发展时机

自摩尔定律被提出到现在,它已经伴随着半导体产业走过了半个多世纪,这个规律揭示了信息技术进步的神速,它让人们相信,IC制程技术是可以呈现直线式的发展,通过先进的工艺能让IC产品持续地降低成本,同时提升产品性能。但在今年,这样的想法或许被打破,业界对摩尔定律的怀疑声连绵不断,先是格芯宣布放弃7nm FinFET项目,随后英特尔延缓7nm工艺的研究进程等等,这些动作凸显了企业对行业新的看法。未来几年,摩尔定律是否会真的消失?它是否会改变如今的产业格局?这个不好说,但是放缓的节奏是不可否认的,摩尔定律的变化,给半导体产业带来了很多的不确定性,这也给eFPGA带来了发展机遇。(图片来源于Achronix公司)eFPGA迎来了发展良机对于业界
发表于 2018-12-01
摩尔定律放缓,eFPGA技术迎来了最好的发展时机

助力机器学习,Achronix推出第四代Speedcore eFPGA IP

Achronix半导体公司近日宣布:即日起推出其第四代嵌入式FPGA产品Speedcore™Gen4 eFPGA IP,以支持客户将FPGA功能集成到他们的SoC之中。现任Achronix Semiconductor公司市场营销副总裁Steve Mensor先生,在北京向与会媒体记者介绍了这一新品。 Steve MensorAchronix半导体公司市场营销副总裁 Speedcore Gen4将性能提高了60%、功耗降低了50%、芯片面积减少65%,同时保留了原有的Speedcore eFPGA IP的功能,即可将可编程硬件加速功能
发表于 2018-11-30
助力机器学习,Achronix推出第四代Speedcore eFPGA IP

Achronix半导体全面对接Speedcore eFPGA技术

该组项目将使研究机构和公司能够使用Achronix高性能Speedcore eFPGA技术快速构建低成本测试芯片            基于现场可编程门阵列(FPGA)的硬件加速器器件和高性能嵌入式FPGA半导体知识产权(eFPGA IP)领导性企业Achronix半导体公司日前宣布:公司推出两个全新的项目,以支持研究机构、联盟和公司能够全面对接Achronix领先Speedcore eFPGA技术。 eFPGA技术正在迅速地成为基于系统级芯片(SoC)的CPU卸载功能中可编程硬件加速单元的必备硅知识产权(IP),已被广泛用于包括人工智能/机器学习(AI
发表于 2018-11-28

Speedcore eFPGA 在汽车智能化中的应用

个CPU和GPU,将迁移到需要可编程加速的高度专业化计算节点。  为了优化芯片面积和功率效率,在未来的汽车平台上,相比固定功能的SoC或传统的FPGA,将Speedcore™嵌入式FPGA(eFPGA)硅知识产权(IP)集成到SoC中以提供客户可配置功能,是实现快速切换协处理的一个最佳选择 。要了解更多关于处理过程的演变,请参见Achronix白皮书(WP008):SoC中的EFPGA加速 - 了解Speedcore IP设计流程。  Speedcore eFPGA IP在异构汽车数据处理中的独特作用  Speedcore eFPGA IP可以集成到ASIC或SoC中,以提供
发表于 2018-10-29
Speedcore eFPGA 在汽车智能化中的应用

Speedcore eFPGA为高性能芯片设计添加可编程结构的能力

 Speedcore eFPGA IP拥有为高性能芯片设计添加可编程结构的能力通过具体案例重点介绍Speedcore eFPGA对各种应用的支持 9月中旬,D&R IP SoC China会议在上海长荣桂冠酒店举行,基于FPGA的硬件加速器件和嵌入式FPGA知识产权(eFPGA IP)领域的领导性企业Achronix半导体公司在会议期间发表演讲并进行现场展示。 Achronix亚太区总经理罗炜亮先生(Eric Law)代表公司发表题为“利用Speedcore eFPGA加速边缘计算”的演讲,该演讲是“eFPGA是物联网解决方案的使能者”主题会议的一部分。  罗炜亮先生
发表于 2018-09-27
Speedcore eFPGA为高性能芯片设计添加可编程结构的能力

将eFPGA应用于嵌入式360度视域视觉系统中

、加速度等运动状态;  4. 环境感知与响应状态;  5. 车辆灯光、信号实时状态;  6. 车辆外部360度视频监控情况;  7. 反映测试驾驶人和人机交互状态的车内视频及语音监控情况;  8. 车辆接收的远程控制指令(如有);  9. 车辆故障情况(如有)。  由此可以看出,上述条件除了对进行道路测试的智能网联汽车有若干功能性要求外,还在相关领域将推动若干新一代通信、监控、控制和存储等技术的发展,为智能网联汽车专用SoC的开发提供新的市场机会。  嵌入式FPGA(eFPGA)将在这类芯片中扮演重要角色。如为了满足第六条中提到的车辆外部360度视频监控数据的获取和处理,采用
发表于 2018-04-26

小广播

夏宇闻老师专栏

你问我答FPGA设计

北京航空航天大学教授,国内最早从事复杂数字逻辑和嵌入式系统设计的专家。

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved
pt type="text/javascript" src="//v3.jiathis.com/code/jia.js?uid=2113614" charset="utf-8">