边缘AI服务器引发新浪潮：从云端到边缘的转型

近年来，在AIoT数据量快速成长、硬件效能提升、绿色低碳意识抬头等趋势影响下，边缘AI应用的系统架构也出现改变。随着越来越多企业将AI模型训练由云端转移至边缘端，边缘AI服务器（Edge AI Server）的市场需求快速扩大。

过往，企业大多会先在云端进行AI模型训练，再将训练好的模型部署到边缘端，由边缘装置进行模型推论，并定期将终端数据及预测结果传回云端。如今，随着硬件技术更新迭代，边缘装置的运算量能愈来愈强，可以满足AI模型训练的运算需求，再加上AIoT数据量快速成长，大幅增加数据由边缘端传输到云端的成本，致使企业开始思索「在边缘端进行AI模型训练的可行性」。对此，研华整合软硬体及服务打造完整的边缘AI服务器解决方案，协助企业资金更有效率地导入AI技术。

AI模型训练在云端还是边缘？

研华嵌入式物联网事业群产品经理郭祐伸建议，企业可以根据AI应用类型与AI模型参数大小、数据量、数据的机密等级等因素，决定是要在云端或边缘端进行AI模型训练。如果AI模型参数较大，边缘端的运算能力不足，导致进行AI模型微调训练所耗费的时间过长，就比较适合放在云端高速运算。另外，若企业用来训练AI模型的数据属于重要机密，便不适合上传到云端，又或者AI模型微调训练的数据太大致使传输至云端的成本过高，就可以通过边缘端设备进行AI数据预处理（Data Mining）或AI微调模型训练（Finetune）。

以生成式AI应用为例，企业除了发展客服机器人来服务客户，也开始结合知识管理系统、机台维修手册等数据用来优化员工作业效率，如：加快资料检索速度、协助新进工程师快速进入工作等。由于内部资料有机密性，通常不适合上传到云端，企业便可在边缘端部署边缘AI服务器来进行大型语言模型（LLM）微调训练。

另一方面，当企业微调训练生成式AI（GenAI）的大型语言模型（LLM）时，会消耗相当大量的內存（VRAM），若VRAM內存容量不足，将产生无法进行LLM模型微调训练的问题，最终需要再额外添购更多专用显示卡来扩充VRAM容量，对企业而言是高成本的负担。因此，如何降低不断成长的生成式AI模型参数所需的VRAM扩充成本并兼顾数据安全保密性便是生成式AI应用能否快速普及的关键。

硬件、软件、服务，三大面向打造整体解决方案

为满足企业在边缘端进行AI模型训练与推论的需求，研华除了研发AIR-500系列边缘AI服务器，提供高频高效能的硬件设备，更结合软件与服务，从三大面向打造一站式边缘AI应用解决方案，一次满足企业的各种需求，加速企业导入AI应用。

多种硬件规格，满足多产业的AI应用需求

AIR-500系列是针对边缘端高性能AI推理与特定大小参数AI模型微调训练的应用需求而设计，除了满足工控市场基本要求的系统EMC测试与安规认证，亦提供10年长供货保证。此外，针对AI高速运算时产生的热能，研华特别加强散热设计，确保在环境温度40℃以内稳定运作，避免超过AI加速卡的最高工作温度，同时提供适合应用在被动式散热AI加速卡专用的散热风扇模块，让企业无论采用哪一种AI加速卡，都不必担心会有过热而降频的问题，确保设备运作性能最大化。

郭佑伸产品经理指出，AIR-500系列产品提供510、520及530三种规格。其中AIR-520是研华首度将服务器等级芯片平台导入至边缘系统，它能额外扩充最多4张单槽显卡或2张双槽显卡，具备相当强大的AI运算能力，整合群联“aiDAPTIV+”技术，最高可以支持大型语言模型LLaMA2 70B的地端微调训练，满足企业在边缘端进行AI模型训练的需求。

群联独家专利的AI人工智慧运算方案“aiDAPTIV+”，是通过群联独创整合SSD的AI运算构架，将大型AI模型做结构性拆分，并将模型参数随应用时间序列与SSD协同运行，以达到在有限的GPU与VRAM资源下，最大化可执行的AI模型，能发挥既有硬件构架下的最大效益。

AIR-530可进行大量高速的数据传输，通过NVIDIA SmartNIC芯片可将网络频宽拉高至200 GbE，适合高速数据串流的AI应用，例如：医疗内视镜系统、布建多台监控摄像机的场域等。AIR-510提供丰富的I/O接口，适合需要整合多元装置的AI应用，例如半导体设备的光学检测机、物流业的包裹分检机等。

结合软件与服务，加速企业导入

AI应用软件方面，研华也针对AI应用需求代理相关软件，如：Intel针对模型训练的辅助工具Intel Geti、NVIDIA针对AI算法开发的最佳化服务NVIDIA AI Enterprise，可协助企业打造完整的Edge AI应用环境。

服务方面更是涵盖全方面。首先，研华在全球各地设立的服务中心，可以根据在地客户需求提供服务，如弹性调整设备规格。其次，研华提供完整技术支持，如企业可向研华购买CPU、DRAM、SSD、显卡等周边元件，也可以由研华协助安装Window、Ubuntu等操作系统，让企业收到设备后插电就能使用。再者，研华一直与芯片商紧密合作，可以在第一线提供客户技术顾问服务，如今更成为台湾IPC产业第一家获得NVIDIA AI Enterprise软件平台认证的全球经销商，研华计划培育近200名边缘AI应用专家，期能建立更强大的技术支持，从更多方面协助客户导入AI应用。

展望未来，AIR-500系列产品的发展将依循研华“产业驱动”（Sector-Driven）策略，依照各产业的特殊需求开发相关功能并直接内嵌于产品之中，甚至推出产业专用机，让各行各业都能快速部署AI应用，大步迈向AIoT的新时代。

相关产品现已上市，如需了解更多产品和服务相关信息，欢迎拨打研华嵌入式服务专线400-001-9088。