datasheet

OPEN AI LAB推出专为嵌入式平台设计的AI推理框架—Tengine

2018-09-14来源: 互联网 关键字:OPEN  AI  LAB  Tengine

边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

n 有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼。

n 有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼。

n 有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼。

OPEN AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine

 

专门针对Arm嵌入式设备优化的神经网络推理引擎

OPEN AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,Arm DLA,第三方DSP,堪称兼容“全能王”。

 

而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。

 

 

 

Tengine的“发动机”——HCL计算库

有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架,从设计之初深刻考虑手机端的部署和使用。在过去,NCNN确实是这样的,只是那时候还没有Tengine。

 

现在,HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变,相比于NCNN最快能带来2-3倍的性能提升,内存使用减少为三分之一。

 

 

*Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试

NCNN数据为2018年9月7日

 

*采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果如下


Tengine + HCL,不同人群的量身定制


Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。作为OPEN AI  LAB为边缘AI应用部署开发的两大利器,Tengine + HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。


关键字:OPEN  AI  LAB  Tengine

编辑:baixue 引用地址:http://www.eeworld.com.cn/qrs/2018/ic-news091451444.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:微软考虑用华为AI芯片 撼动美国企业霸主地位
下一篇:紫光刁石京:中国芯片业整体提升至少需20年

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

OPEN MIND助力中国高端数控教育

2018年10月14日下午,为期7天的2018年中国技能大赛——第八届全国数控技能大赛决赛在北京圆满落幕。作为本次大赛指定赞助商的德国 OPEN MIND,首次参与就助力多名选用旗下hyperMILL® 软件的选手赢得奖项,更凭借其高效率、高质量、安全可靠的多轴加工的强大优势,收获了选手、老师、行业专家以及到场观众的广泛好评和热切关注。   最高赛事,最强支持 全国数控技能大赛是国内选拔数控顶尖高手、培养高技能人才,传播先进制造技术的重要平台,每两年举办一届,已成为全国最具影响力的职业技能赛事之一。此次决赛共有全国29个省级代表队的687名选手同台竞技,级别、规模都可谓盛大空前。 
发表于 2018-11-19
OPEN MIND助力中国高端数控教育

ubuntu下建立stm32开发环境:程序烧录openocd+openjtag

上一篇博客写了在ubuntu下,建立stm32开发环境,程序也已经编译好生成main.bin,接下来就是要把该文件烧录到stm32上.在Linux下给arm烧录程序主要使用openocd,这个软件开源,而且支持众多芯片,从ARM9到A8都可以,当然STM32也可以.支持的JTAG工具也很多,JLINK ST-LINK OSBDM都可以,我这正好有一个openjtag基于FT2232C的,也是被支持的.参考:How-to manual  Installing a toolchain for Cortex-M3/STM32 on Ubuntu   by Peter Seng博主最近
发表于 2018-10-13

openocd 命令行烧写ARM裸机程序 problems and solutions

摘要:  以前是用RVDS 的IDE来烧写调试ARM程序的,不过RVDS虽然是集成化的调试工具调试起来方便,但是有的时候只知其一,不知其二,只知道按部就班的来点击按钮,忽略了一些本质性的东西。而且RVDS还有一个不好的地方是它只能在windows平台下运行,不支持Linux OS。为了便于学习Linux,使用Openocd会是个不错的选择,可以学习gnu 汇编,Makefile编写,工具链命令行使用。   如果这些命令搞熟悉了,你还可以利用Qt 来做个自己的图形化界面烧写调试工具。(不过这只是个壳子而已,精髓在于openocd ,所以如果有时间你还可以分析一下Openocd的源码,因为它是开源的,开源
发表于 2018-10-12
openocd 命令行烧写ARM裸机程序 problems and solutions

OPEN MIND助力第八届全国数控技能大赛,提供hyperMILL®技术支持

2018年中国技能大赛——第八届全国数控技能大赛的决赛将于10月份在北京举行。世界领先的专业CAM软件供应商——德国OPEN MIND科技股份公司首次成为本届大赛指定赞助商,为参赛选手提供基于最新版hyperMILL® 软件的专业技术支持。了解大赛为了加快培养和选拔适应新时代产业发展需要的数控技术领域高素质技能人才,引导广大企业职工和各类职业院校师生努力学习知识、刻苦钻研技术,走技能成才之路,人力资源社会保障部、教育部、科学技术部、中华全国总工会、中国机械工业联合会决定共同举办2018年中国技能大赛——第八届全国数控技能大赛。本届大赛赛项包括:1、车工(数控车削加工技术) 2、数控铣工(数控铣削加工技术) 
发表于 2018-09-19

瑞萨联合OpenSynergy,实现仪表和车载信息娱乐系统共享显示

  全球领先的汽车半导体解决方案供应商瑞萨电子株式会社(TSE:6723)与汽车嵌入式软件市场领导者 OpenSynergy 今日宣布,瑞萨电子的 R-Car H3 片上系统(SoC)与 OpenSynergy COQOS Hypervisor SDK 已被 Parrot Faurecia Automotive 公司采用,应用于其安全多屏显示驾驶舱。COQOS Hypervisor 的客户操作系统采用最新版本的 Android?,能够在一个 R-Car H3 SoC 芯片上同时执行包括基于 Linux 的与安全相关显示组件的仪表盘功能和基于 Android 的车载信息娱乐系统(IVI)。COQOS Hype
发表于 2018-09-14
瑞萨联合OpenSynergy,实现仪表和车载信息娱乐系统共享显示

5G将为人工智能带来什么

(5GNR)毫米波(mmWave)模组;英特尔宣布明年下半年发布5G调制解调器;……从巨头们布局5G的步伐中不难看到5G网络的“魅力”,然而,5G网络又将对AI产生哪些影响?5G:更高的速率带动更快的响应随着AI的发展,越来越多的行业开始利用AI为自己提升工作效率,而在AI的落地过程中,“端”和“云”成为两个不同的道路,AI在端的应用,能达到较快的反应速度、更加安全,而在“云”端,AI的运算能力更为强大、算法优化实时更新,可以说,对于没有隐私需求的用户来说,云端AI成为不二的选择。就目前来说,在部分不适合布局网线的场景中,3G/4G移动网络还是主流无线传输,而作为划时代的4G网络自从2013年全面铺开,经过数年来的建设和应用,早已成为当前
发表于 2018-12-07

小广播

何立民专栏

单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved
pt type="text/javascript" src="//v3.jiathis.com/code/jia.js?uid=2113614" charset="utf-8">