瑞萨为自动驾驶开发车载SoC,视频处理延迟时间仅为70ms

2016-02-04 12:58:41来源: 技术在线
   日本瑞萨电子与瑞萨系统设计公司为未来自动驾驶开发了车载计算SoC,并于2016年2月1日在半导体集成电路技术国际学会“ISSCC 2016”上发表了演讲(Session 4.4)。瑞萨还在当天的演示会上,演示了使用该SoC同时处理12通道全高清(1980×1080像素、30帧/秒)影像的情况。这是瑞萨车载信息IC“R-CAR”的第3代产品,预定2018年3月开始量产。

瑞萨开发的车载SoC
(图片来源于ISSCC) (点击放大)

演示会现场。近处为车载仪表,远处为在显示器上分12个画面显示了全高清影像。 (点击放大)

演示时使用的板卡。据说中间的散热片等部件的下方安装了此次开发的SoC。 (点击放大)


据介绍,这款SoC在一个芯片上集成了ARM的多个CPU内核、GPU内核以及6种(17个)视频处理用处理器。瑞萨认为,到2020年前后,汽车的各种仪表、驾驶辅助系统(ADAS)、音响及多个显示器将会整合在一起,为此而开发了这种可实现整合的SoC。

此次开发的SoC采用16nm FinFET工艺制造。核心电压为0.8V,工作频率为400MHz。外置存储器设想使用LPDDR-3200。

设想的使用方法是,利用视频处理用处理器群来处理车载摄像头等的影像,用于娱乐用途,同时面向ADAS以及之后的自动驾驶用途,将这些影像数据用于物体识别等。每秒可处理的视频为7.5亿像素。如果是30帧/秒的全高清影像,这相当于约12个通道的影像。同时还支持4K影像,只是通道数量少一些。

处理延迟减少4成,通过流水线处理将总延迟时间缩短至70ms

如果只是单纯增加像素,也能通过增加处理器内核数量等方法来实现。据瑞萨介绍,此次开发的关键点之一是减少了视频处理延迟。原因是就连泊车等低速行驶时,影像的延迟也必须低于100ms。

视频处理一般首先用流处理器(SP)来处理压缩的视频帧,然后用编解码处理器(CP)来进行解码等。以往的视频处理IC因使用SP进行帧处理的时间各不相同,为了消除这种偏差,SP处理之后需要数帧的缓冲。仅这样的缓冲就会导致近100ms的延迟。

瑞萨为了解决这一问题,对视频编码技术进行选择,让SP等的处理时间一定,而且不等每帧的SP处理结束,每隔几个像素就将数据移交给CP。由此,SP处理之后就不再需要缓冲了,从而实现了视频数据的流水线处理。SP与CP之间的延迟大幅缩短至1ms。据介绍,包括之后的失真补偿处理等在内,视频处理的总体延迟减小到了70ms。

不过,这并不是最终目标。没有驾驶员的完全自动驾驶最早有望于2020年代后半期开始,如果实现自动驾驶,就必须进一步大幅缩短处理延迟。“将来的目标是,通过减少SP处理之前的帧缓冲时间等措施,使压缩视频数据的处理延迟降至10ms以下”(瑞萨系统设计第一开发事业部Cockpit业务推进部第三科首席工程师、在本届ISSCC发表演讲的望月诚二)。

存储控制器为CPU内核设置了“后门”

该SoC的另一个关键点是可在SoC向存储器写入视频数据时压缩数据。比如,如果以非压缩形式将12通道全高清视频数据输入输出存储器,用CP进行数据编码及解码处理时,需要20GB/秒的带宽,会占用存储带宽的40%。这样可能会对CPU内核及GPU内核负责的物体识别处理产生不良影响。因此,瑞萨通过在访问存储器时压缩数据,节约了存储带宽。

不过,这样做存在一个问题。那就是CPU内核等使用的视频数据基本上都是非压缩的,因此保存在存储器里的压缩数据不能直接使用。针对这一点,瑞萨在存储控制器中设置了压缩数据的“影子空间(Shadow space)”。CPU内核访问压缩数据时,会访问这一空间,对数据进行解压缩。

据介绍,这样一来,CP访问存储器时的带宽缩小到了非压缩时的30%,其他处理器访问存储器时的带宽则缩小到了非压缩时的50%。由此,连接处理器或存储器的总线功耗降低了约50%,SoC的总体功耗也减少20%,降至197mW。

此次开发还有一个关键点。那就是这款SoC符合车载IC故障频率等的标准“ISO26262”。关于这一点,瑞萨在ISSCC 2016的Session 4.5上进行了介绍。

关键字:自动驾驶  SoC

编辑:北极风 引用地址:http://www.eeworld.com.cn/xfdz/article_2016020451162.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。
论坛活动 E手掌握
微信扫一扫加关注
论坛活动 E手掌握
芯片资讯 锐利解读
微信扫一扫加关注
芯片资讯 锐利解读
推荐阅读
全部
自动驾驶
SoC

小广播

独家专题更多

富士通铁电随机存储器FRAM主题展馆
富士通铁电随机存储器FRAM主题展馆
馆内包含了 纵览FRAM、独立FRAM存储器专区、FRAM内置LSI专区三大部分内容。 
走,跟Molex一起去看《中国电子消费品趋势》!
走,跟Molex一起去看《中国电子消费品趋势》!
 
带你走进LED王国——Microchip LED应用专题
带你走进LED王国——Microchip LED应用专题
 
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2016 EEWORLD.com.cn, Inc. All rights reserved