芯片的下一个大挑战在哪里?是视觉技术!

2017-10-23 11:02:26编辑:冀凯 关键字:视觉技术

腾讯数码讯(易静)半导体企业正在用异构系统提高硬件的性能和效率,当中有一个领域尤其重要,那就是视觉处理技术,在今年的Linley Processor Conference会议上,视觉处理成为焦点。

视觉处理用在哪里?最明显的例子就是自动驾驶汽车。今天的自动驾驶汽车有一个肮脏的小秘密:它们高度依赖大量的电子组件。传感器与软件是重点,还需要强大的CPU和多个GPU,它们会消耗大量的电力,处理所有数据,实时做出决策。月初时,Nvidia推出了Drive PX Pegasus主板,它还承认当前的硬件无法支持真正的无人驾驶。Nvidia汽车高级主管丹尼o夏皮罗(Danny Shapiro)说:“如果想开发Level 5汽车,需要更大的计算力,这就是现实。”


不只汽车如此,其它行业也一样。在机器人、无人机、智能监控摄像头、VR、AR、人机界面等领域,嵌入式视觉处理器很重要。在主题演讲中,Cognite Ventures CEO克里斯o罗恩(Chris Rowen)说,老牌IP提供商引导硅芯片复苏,比如Cadence (Tensilica)、 Ceva、英特尔(Mobileye)、Nvidia和Synopsys,它们和95家创业公司竞争,这些创业公司正在开发嵌入式视觉技术,当中包括17家正在开发神经引擎的创业公司。


Cadence营销主管普林o德塞(Pulin Desai)谈到嵌入式视觉技术时说,在推断时涉及三个独立的系统:感知(摄像头、雷达、激光雷达和麦克风)、前期和后期处理技术(降噪、图像稳定、HDR等等),还有就是用神经网络分析面部、识别对象和手势。这些感知任务都是由处理器和ISP(图像信息处理器)完成的,Cadence还开发了Tensilica Vision C5 DSP,它专门用来驱动神经网络。


德塞解释说,如果想为一款产品开发嵌入神经引擎的芯片,挑战还是很大的,这样的产品要到2019年或者2020年才能上市。他还说,在不到4年的时间里,图像识别神经网络算法需要的计算力增加了16倍。与此同时,神经网络架构快速变化,新应用涌现,硬件必须更有弹性。处理所有问题时必须追求低能耗,因为电能有限。


Vision C5是一个神经网络DSP(NNDSP,数字信息处理器),它在一个内核内处理神经网络层,网络层拥有1024个8位和512个16位MACs,每平方毫米芯片面积每秒可以完成1万亿次MACs(一个机器指令周期能实现乘加运算)运算。Vision C5有很强的扩展性,内核可以增加到任意数量,拥有更强的性能,可以编程。Vision C5是用台积电16纳米制程制造的,频率690MHz,与商用GPU相比,它能让AlexNet的运行速度提高6倍,让Inception V3提高9倍,让ResNet50提高4.5倍。


华为在新的Mate 10和Mate 10 Pro手机中安装了麒麟970处理器,它是第一块安装专用神经引擎单元的智能手机处理器,半精度运算速度达到1.92 teraflops(万亿次浮点运算)。Cadence也曾多次谈到半精度运算,但是没有透露Vision C5具体是多少。苹果A11 Bionic安装了神经引擎,其它企业也应该会跟进。Vision C5还想进入监控、汽车、无人机、穿戴设备。


Ceva-XM Vision DSP与Vision C5竞争,许多摄像头模组都用到了Ceva,将它植入ISP,比如Rockchip的RK1608,或者将它用作独立辅助芯片,用来处理图像。Ceva在神经网络方面找到一套解决办法,它将CEVA-XM与独立CNN硬件加速器(Hardware Accelerator)搭配使用,加速器最高拥有512个MAC单元。Ceva营销主管亚伊尔o西格尔(Yair Siegel)曾谈到神经网络的增长,他说,在计算和存储带宽方面,先进CNN的要求很高。Ceva Network Generator将这些模型转化为定点图,进行区分,让它在Vision DSP和Hardware Accelerator之间高效运行。Ceva说,TinyYolo如果只使用DSP,相比而言加入硬件加速器的效率高9倍。TinyYolo是一套实时对象识别算法。


Synopsys开发的EV6x Embedded Vision Processor(嵌入式视觉处理器)采用相似的方法,它将最多4个CPU(每个都有一个纯量运算单元和宽矢量DSP)与一个CNN Engine结合,CNN Engine是可以选择可以编程的,这样就可以让速度加快。CNN Engine的MACs数量可以从880增加到1760再到3520个,用台积电16纳米制造芯片,频率1.28GHz,芯片的总MACs最高可以达到4.5万亿(相当于9 teraflops的性能)。一个搭配CNN Engine的EV61矢量DSP使用的芯片面积不到1平方毫米,但是Synopsys却说这套组合产品的每瓦MACs可以达到20万亿。Synopsys产品营销经理戈尔登o库勃(Gordon Cooper)强调说,矢量DSP与CNN加速器整合相当重要,这种解决方案可以提高每瓦性能,解决ADAS(先进驾驶辅助系统)存在的一些问题,比如难以识别行人。


高通的解决办法是增加新的指令,叫作Vector eXtensions或者HVS,它将新指令放进Hexagon DSP,装进骁龙处理器。2年前高通首次引入这种技术,谷歌Pixel手机之所以支持HDR,离不开高通的技术。最近,谷歌取得突破,开发了自己的技术Pixel Visual Core,但它之前的确已经向我们证明:把TensorFlow图像识别网络从4核CPU转到Hexagon DSP可以将性能大幅提高13倍。


高通产品管理高级主管里克o莫尔(Rick Maule)说,在过去几年里,高通了解到客户需要更多的处理器周期,希望存储访问速度更快一些。高通的解决办法就是将计算单元的数量增加一倍,将频率提高50%,在计算单元中植入低延迟存储器。这样一来,骁龙820的每秒MACs数量可以从990亿增加到2880亿,最终执行Inception V3图像识别模型时速度提高了2倍。除了性能提升,高通还引进了Snapdragon Neural Processing Engine(骁龙神经处理引擎)、抽象层、Halide(面向图像处理、计算摄影的特定语言),它们可以让神经网络编程变得更容易。

这些进步引人注目,不过创业公司AImotive却认为,在50瓦之下只有专用的硬件才能支撑完整的Level 5无人驾驶系统。AImotive aiWare硬件IP主管费赫(Márton Fehér)认为,行业面临挑战,现在没有谁的硬件能够解决,也就是说系统需要处理大量的输入信息(流图像和视频),还有非常深的网络,必须确保安全,要实时处理。


费赫认为,面向嵌入式实时推断的弹性通用DNN解决方案效率不高,虽然它具有可编程性,但是是以牺牲每瓦性能作为代价的,不值得。aiWare架构可以覆盖DNN运行96-100%的范围,可以让MAC利用率达到最大化,尽量少使用外部存储器。

aiWare已经开发了一套FPGA开发者工具包,还有一套公共基准套件,它正在开发测试芯片,用GlobalFoundries 22nm FD-SOI制程制造,产品2018年一季度就会推出。aiWare已经与英特尔(Altera)、Nvidia、NXP半导体、高通建立了合作关系。AImotive还开发了aiDrive软件套件,给自动驾驶系统和驾驶模拟器使用,它还与博世、PSA集团、沃尔沃等企业建立了合作关系。


视觉处理面临挑战,解决问题的方法有很多,不过在Linley Processor Conference会议上有一点是大家都认同的:视觉处理需要强大的硬件。传感器收集的数据相当庞大,模型越来越大,处理必须实时完成,消耗的电量必须比现有解决方案低。在未来几年里,我们会看到该领域出现更多的创新成果,因为产业正在努力。

关键字:视觉技术

来源: ZDNET 引用地址:http://www.eeworld.com.cn/qrs/article_2017102339901.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:新版AlphaGo赢过旧版:不仅会自学 且只需4个TPU芯片
下一篇:高通骁龙芯片重大变革:全面AI化

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

突破技术的窠臼 三星创新玩转视觉乾坤

显示技术中进行二选一,QLED光质量子点电视可谓拥有巨大优势。”QLED光质量子点电视新品三星电视电子映像显示事业部副总裁Doochan Eum表示:“随着电视的尺寸逐渐增大,高端画质的竞争日益激烈,对画面进行精细渲染的性能将变得越来越重要。三星电视QLED光质量子点电视通过增强在亮度、对比度和内容方面的性能,我们将持续为消费者带来卓越的沉浸式观看体验。”从CRT到QLED,三星一直在努力用创新突破技术的窠臼,只为给消费者带来最佳的视觉体验,这正是三星的初心和前进的动力。
发表于 2018-06-29 14:57:23
突破技术的窠臼 三星创新玩转视觉乾坤

全局快门图像传感技术满足动态视觉市场不断演变的需求

(www.mordorintelligence.com) 预计,2018年全球图像传感器市场将达到126.7亿美元,并将从2014到2020年平均每年增长7.69%。 随着技术的演进和完善,用于图像传感器的新应用也在不断增加;即使在传统市场也看到了需求。条形码无处不在,但是对于消费或商业应用中的图像传感器来说,要在低于理想光照条件下更加快速地做到高度精准地读取条形码并非易事。无人机、增强现实和虚拟现实(AR / VR)等全新应用都依赖图像数据来避免冲撞,采集手势输入信息或精确的3D地图场景,以提升用户体验。 高端和专业安防摄像机技术正变得越来越复杂,并将显著地受益于最新图像传感器带来的视觉技术提升。安防摄像头不仅能够在微光照条件下
发表于 2018-06-21 14:58:43
全局快门图像传感技术满足动态视觉市场不断演变的需求

2018年人工智能发展趋势分析 计算机视觉是最热门技术

而足。但是,这些机构之间的共同结论是,人工智能增长速度非常快,根据前瞻产业研究院对CAICT(中国信息通信研究院)、Ganter、CBInsights等机构发布的数据汇总,2017年我国人工智能增速都超过了40%。  图表1:国内外权威机构对2017年中国人工智能规模的统计  计算机视觉是最热门技术  从国内人工智能企业来看,有高达42%的企业应用计算机视觉相关技术,其次是语音和自然语言处理,两者占比总和43%,与计算机视觉占比相当。  计算机视觉技术是人工智能的重要核心技术之一,可应用到安防、金融、硬件、营销、驾驶、医疗等领域,而目前我国计算机视觉技术水平已达到全球领先水平,广泛的商业化渠道和技术基础是其成为最热门领域的主要原因
发表于 2018-05-28 19:22:11
2018年人工智能发展趋势分析 计算机视觉是最热门技术

3D视觉传感技术落地 "无人车"用上"3D眼睛"

“无人车”以后或将拥有一双“智慧的眼睛”了。近日,记者从东莞(北京)协同创新中心首批进驻的凌上科技获悉,由其公司研发的Bino 3D视觉传感技术将在东莞松山湖一家企业的智慧工厂落地应用,将为AGV(Automated Guided Vehicle的缩写,意即“自动导引运输车”)等智能设备添加一双智慧的眼睛,让其定位、动作更精准。“我们提供的方案不需要提前在厂房内布置任何标记或铺设轨道线路,完全由AGV自主地建立厂房内的地图,定位自己的位置,并且自主进行路径规划等工作。”Bino 3D视觉项目负责人李旭告诉记者,Bino 3D视觉项目所提供的正是视觉传感方案,将通过硬件加算法的形式,形成模块化、标准化的视觉产品,作为机器人等智能设备
发表于 2018-05-02 17:51:50

SkyWater研发汽车夜视技术 AI及机器视觉助力自动驾驶

据外媒报道,SkyWater旗下的许多用户希望将夜视技术引入其车辆中,以便提升其夜间行车的可视性。如今,这类技术已处于样品制作阶段。夜视技术将赋予车辆的夜间行驶时的“视觉能力”夜视能力将赋予车辆“视觉”及辨识能力,可从很远的距离将车辆前方的行人与其他目标物/车辆区分开,未来车辆将配置多款摄像头及人工智能技术,并利用上述设备及技术产生的数据,实现车辆的夜视能力。人工智能及神经网络可被用于辨别移动中的目标物、行人、车辆及犬类,并将其与停靠车辆、交通信号灯或壶穴(pothole)区分开,夜视功能可解决上述难题。夜视技术可与雷达及激光雷达搭配使用,未来的车辆将利用上述设备为自动驾驶车辆或ADAS系统提供辅助,使上述系统具有操作的可行性
发表于 2018-04-25 20:05:32

3D视觉传感技术将落地应用 无人车将拥有"3D眼睛"

添加智慧眼睛之后机器人“看”到的世界 受访者供图“无人车”以后或将拥有一双“智慧的眼睛”了。4月11日,记者从东莞(北京)协同创新中心首批进驻的凌上科技获悉,由其公司研发的Bino 3D视觉传感技术将在东莞松山湖一家企业的智慧工厂落地应用,将为AGV(Automated Guided Vehicle的缩写,意即“自动导引运输车”)等智能设备添加一双智慧的眼睛,让其定位、动作更精准。“我们提供的方案不需要提前在厂房内布置任何标记或铺设轨道线路,完全由AGV自主地建立厂房内的地图,定位自己的位置,并且自主进行路径规划等工作。”Bino 3D视觉项目负责人李旭告诉记者,Bino 3D视觉项目所提供的正是视觉传感方案,将通过硬件加算
发表于 2018-04-14 16:08:32
3D视觉传感技术将落地应用 无人车将拥有

小广播

何立民专栏

单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved
ע39ַ ͼag콢 lolͶעʲô agֳ Űע ggٷ ɳַ ɳ Ű 7777 վٷվ GNSǮ Ԫƴ Ѷ1.5ֲ mgϷˮʱ ȫƶ Ѷ չ˾ Ȥζ ag Ǯ bbinհײ˴ȫ bbinϷͲʽ gnsվ 940 ճ淶 羺 ƱϷԪ ע mgЩ