datasheet

Icbank半导体行业观察

文章数:9154 被阅读:26319489

账号入驻

从高通骁龙855的AI加速器看行业的趋势

2018-12-10
    阅读数:


最近,高通发布了最新的骁龙855系列SoC,是其下一代旗舰级芯片。骁龙855最大的特点除了5G之外,可以说就是能加速AI应用的Tensor Engine了。与以往高通通常强调其通用DSP可以解决AI计算问题不同,这次高通第一次在SoC上明确集成了一块专属AI计算的加速器,可见高通对于AI的重视不同于以往。除此以外,骁龙855的ISP模组也能高效执行AI相关的计算机视觉算法,因此称为CV-ISP。由于手机端AI绝大部分是计算机视觉应用,因此CV-ISP对于手机端AI应用也是一个重要支撑。



高通骁龙855的AI性能强劲


这次骁龙855与AI加速相关的芯片模块亮点主要在DSP和ISP两部分。



首先看DSP部分。DSP部分对于AI的加速主要用于通用AI加速,因为对于非系统应用(例如拍照预测食物卡路里这类应用)来说,DSP更容易调用一些。这次骁龙855里的DSP代号为Hexagon 690,其标量和矢量运算能力相对于上一代骁龙845分别有1.2倍和2倍的提升。在DSP中,标量计算通常用于最基础的实时数据流计算,其特点是数据的并行性不高,同时数据将以数据流的形式进入DSP并实时完成计算(不同于累积了很多数据再一次完成计算的数据块模式),在数字滤波等经典通信信号处理算法中有广泛应用。随着手机智能化,通信之外的许多计算(例如多媒体应用等计算)也需要在手机端完成,这些计算往往拥有并行性(即许多数据之间彼此独立,因此可以同时计算,不存在需要先完成数据A的计算才能做数据B的计算的约束),因此这些计算就非常适合使用矢量计算。


标量和矢量DSP计算属于传统DSP计算。随着AI应用在手机端的兴起,势必需要新的计算加速单元。目前手机端的AI主要应用包括语音和视觉,尤其以视觉应用为主,而对于视觉相关的AI应用,主流的神经网络结构是卷积神经网络(CNN)。CNN中,数据计算以张量计算的形式完成,因此传统的标量和矢量DSP都不是最适合加速CNN张量计算的计算单元。为此,高通在这一代DSP Hexagon 690中新加入了张量计算加速单元,可以充分加速手机AI应用中占算力大多数的CNN张量计算。



除了DSP之外,这次骁龙855里集成的Spectra 380 CV-ISP也对于AI应用起了很强的支撑作用。与DSP完成通用AI计算不同,CV-ISP主要是针对拍照相关的专用AI计算。目前,事实上很多手机端的AI应用都与拍照有关,例如智能场景识别,背景虚化,美颜等等。这部分运算往往会同时结合传统计算机视觉算法和AI算法,那么究竟应该放在执行专用计算机视觉算法较强的ISP中,还是放在加速AI应用的AI加速器模块中呢?当然,不同的选择都有自己的优劣:选择使用专用ISP加速计算机视觉算法的计算效率更高,但是往往计算灵活度不足,难以支持芯片流片后再出现的新算法;而使用AI加速器做计算机视觉加速则部分牺牲了效率以换取灵活性。高通在骁龙855的选择是在CV-ISP中做系统自带的计算机视觉算法,对于目前常规的物体分类、目标分割、景深估计等有很好的支持,如果有一些新的算法出现,则可以用Hexagon DSP来支持,可谓是希望兼顾灵活性和计算效率。


在骁龙855中,高通把所有能执行通用AI计算(CPU,GPU和DSP)的模组都统一划归到AI Engine下,从而可以实现算力的动态最优化分配和平衡。AI Engine的软件接口支持TensorFlow,Caffe,PyTorch等主流深度学习框架,同时也支持OpenCL等底层库调用。骁龙855的AI Engine的总算力(包括CPU,GPU和DSP)可达7TOPS。


异构计算与Dark Silicon:

高通与其他手机厂商对于AI加速的思路比较


高通的骁龙855与其他带AI加速器的手机SoC 相比,最大的区别在于高通更强调整体的概念。其他厂商(如华为等)试图用异构计算的思路打造一款非常强劲的专用AI加速器模组以满足手机端AI加速的需求,但是异构计算的另一面却是dark silicon,即AI任务仅仅由专用的AI加速器来完成,虽然能效比来看是提升了,但是从另一个角度来看,芯片上的其他模块在芯片处理AI任务的时候却是闲置了,造成了浪费。在测量芯片发热的时候,常常使用红外线来估计温度,在红外照片上越忙碌的芯片部分亮度会越高,而闲置的芯片部分则会看上去很暗,这也是“dark silicon”一词的来源。


随着异构计算越来越流行,Dark Silicon的问题也会随之出现


高通显然知道异构计算的优势以及伴随的dark silicon问题,因此在骁龙855中即集成了专用的张量计算单元用于AI加速,另一方面,又在系统层面将所有能执行AI计算的CPU、GPU和DSP划归一个统一的AI Engine来调度,这样当张量加速模组忙于AI计算时,其他的模组也能助其一臂之力帮助分担一些计算负担,而不是在旁边闲置。当然,这样的动态调度设计一定会比简单地“一个模块负责一个任务”这样的模式要复杂许多,同时也会引入一些硬件和软件上的额外开销,具体的效果还需要看实际使用中的情况,让我们拭目以待。 


骁龙855对于手机SoC AI加速器市场的影响


在高通之前,大多数面向中高端智能手机的手机SoC厂商,包括苹果、华为等都已经推出了包含AI加速能力的SoC,今天高通终于也加入了这一行列。除了手机SoC厂商之外,Cadence,CEVA等厂商也都推出了(可以应用在手机SoC中的)AI加速器IP。在这样的情况下,我们认为对于AI的加速将不再是手机的亮点,而将成为近期手机的一个常规功能 。


从应用端来看,随着手机SoC对于AI的支持,必然会鼓励更多的手机App引入AI相关功能。然而,我们也必须看到,手机端AI还没有出现爆款应用,未来手机端AI应用发展的时间表还很难确定。我们不妨盘点一下现有的手机端AI应用。目前手机端AI的最大应用仍然在图像方面,包括手机厂商力推的拍照增强(场景自动识别,背景虚化,美颜,超分辨等)、人脸识别(用于解锁),以及App开发者正在探索的应用,例如直播中的实时美颜,加入虚拟装饰等等。应该说,这些应用对于大部分用户来说都属于痒点而非痛点,并不会给用户体验带来质的区别。


相比手机SoC厂商对于AI的计算能力每代都有两倍以上提升的节奏,手机App端对于AI的探索速度可以说是较慢的。在尚未出现AI应用爆款之前,AI App应用普及的慢节奏和芯片AI算力的快速提升有可能会造成AI算力过剩的问题。这并不是说手机端不需要AI加速器,而是说以设计手机端AI加速器IP的厂商恐怕会面临更多压力——硬件上,大厂都推出自己的AI加速器方案,且计算速度每年都提升;应用上,软件对于AI算力需求的提升却没有跟上硬件提升的速度,这样两相挤压会造成给手机SoC提供AI加速器IP的厂商非常大的压力。事实上,我们认为AI加速器IP公司,尤其是拥有新技术的初创公司,目前可以考虑其他的细分市场。




*本文由 公众号 半导体行业观察(ID:icbank)原创。如需转载请加微信号:icbank_kf01,或在公众号后台回复关键词“转载”,谢谢。


今天是《半导体行业观察》为您分享的第1792期内容,欢迎关注。

推荐阅读

从头了解光刻机

5G带动射频器件需求,国产厂商任重道远

华为发布致全球供应商的一封信,附核心供应商名单


【福利】免费拿4.7G精选资料+30天学习网VIP


关注微信公众号 半导体行业观察(ID:icbank),后台回复以下关键词获取更多相关内容

产业政策 | 中美贸易 | 碳化硅 | 财报 | 被动元件 | 开源 | 射频 | 5G | 展会

回复 投稿,看《如何成为“半导体行业观察”的一员 》

回复 搜索,还能轻松找到其他你感兴趣的文章!

关于摩尔精英

摩尔精英是领先的芯片设计加速器,愿景“让中国没有难做的芯片”,业务包括“芯片设计服务、供应链管理、人才服务、孵化服务”,客户覆盖1500家芯片公司和50万工程师。我们致力于提供ASIC设计和Turnkey解决方案,从Spec/FPGA/算法到芯片交付,包括:芯片架构规划、IP选型、前端设计、DFT、验证、物理设计、版图、流片、封装和测试服务等。 自2012年以来,我们的团队一直专注于积累技术能力,帮助客户实现最优芯片性能,并支持Turnkey、NRE、专业咨询和驻场等灵活服务模式。 摩尔精英目前全球员工200人,总部位于上海,在北京、深圳、合肥、重庆、苏州、广州、成都、西安、南京、厦门、新竹和硅谷等地有分支机构。



点击阅读原文,了解摩尔精英

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved