芯原戴伟进：大模型已经来到了边缘

6月13日，在芯原AI专题技术研讨会上，芯原执行副总裁、IP事业部总经理戴伟进分享了大模型时代，边缘计算变革的机遇与挑战。

“大模型已经来到了边缘。”戴伟进表示，AGI大模型正在从AI Everywhere走到AI for Everyone。各行各业都在推广大模型，现在数据中心正在将大型人工智能模型引入嵌入式系统，首先落地的边缘设备包括手机、AI PC、汽车。

具体到芯原边缘端的产品，神经网络处理器 (NPU)方面， 已在全球累积出货超过1亿颗，已被72家客户用于其128款人工智能芯片中，拥有超过10个市场应用领域

图形处理器 (GPU) 方面，已在全球累积出货近20亿颗，经过近20年的嵌入式市场耕耘，目前芯原已经拥有70项国内外专利，近千万辆汽车搭载了芯原的IP。芯原GPU得到了各种广泛的应用，其核心技术在于图形运算及渲染、 3D 建模、2D或 3D图形加速等图形处理，适用于大型并行运算应用，以及云游戏、大型桌面游戏。

视频处理器 (VPU)方面，已经达到全球领先水平，该产品能够利用AI赋能智能视频处理，实现预测性视频质量优化，专用视频处理单元，可以实现高密度、超低时延流媒体，同时具备成本效益规模，帮助视频协作、云游戏以及交互式流媒体不断加速。

芯原AI-Computing IP 产品覆盖数据中心、边缘服务器、嵌入式设备三个场景，包括VIP9X00 NPU IP、CC8X00 GPGPU IP、GC9X00AI NPU+GPU IP、CCTC-MP Tensor Core GPU IP。

在软件框架上，芯原针对图形、通用GPU、AI三大方向优化，结合芯原的Acuity工具包，这款强大的IP支持含PyTorch、ONNX和TensorFlow在内的所有主流框架。

芯原的NPU IP拥有全球领先的性能，实际测试，可以在2秒以下处理20步Stable diffusion 1.5，LLaMA2 7B则达到了20 Tokens/s。

早在第十三届芯原CEO论坛上，芯原就对大模型的未来进行了五大预测：

• 与无差异化的多模态大模型相比，以语言为基础的多模态大模型会成为主流；

• 2028年，中国基础大模型的数量将少于10个；

• 2028年，用于端侧微调卡和推理卡的销售额将超过用于云侧的训练卡；

• 2026年，内置AIGC的手机将成为中高端手机的主流，是中高端手机换机的主驱动力；

• 2026年，全球双目全彩AR眼镜出货量将突破1,000万台。

在Chiplet方面，针对AIGC应用，芯原设计开发所需的平台化的Chiplet方案及相关技术，并提供从Chiplet、Die-to-Die接口、封装到软件的整体解决方案。

回顾历史，2001年芯原在上海成立，成为落地张江的第一批芯片设计公司之一。2020年芯原股份在科创板上市。

截止至2023年12月底，公司员工总数为1,864人，其中89%为研发人员；张江716人，成都781人，南京229人。2022年35%销售收入来自境外；95%研发人员在国内。

目前，芯原的半导体IP授权业务销售收入达到全球第七，在中国则达到第一，知识产权授权使用费收入全球第五，IP种类全球第二。

具体从每种芯片来看，2023年全年，在芯原IP授权业务收入中 (包括知识产权授权使用费、特许权使用费) ，图形处理器GPU IP，神经网络处理器NPU IP和视频处理器VPU IP收入占比合计约72%。

芯原提供芯片设计平台即服务（Silicon Platform as a Service, SiPaaS），即从无制造 (Fabless) 到轻设计 (Design-lite)。从2016到2019，4年4代产品成功流片与量产，第一代从规格定义到流片16个月，后两代从规格确定到流片9个月，首次流片即量产。

此外，芯原还提供一站式设计服务。芯原拥有14nm/10nm/7nm/5nm FinFET和28nm/22nm FD-SOI工艺节点芯片的成功流片经验，同时已有5nm SoC一次流片成功，多个一站式服务项目正在执行，可提供包含软件支持的整体解决方案，设计能力获得全球知名企业客户的认可，且晶圆厂中立。