NVIDIA 发布全新交换机,全面优化万亿参数级 GPU 计算和 AI 基础设施

发布者:EE小广播最新更新时间:2024-03-19 来源: EEWORLD关键字:NVIDIA  交换机  GPU  AI  基础设施 手机看文章 扫描二维码
随时随地手机看文章

NVIDIA 发布全新交换机,全面优化万亿参数级 GPU 计算和 AI 基础设施


● NVIDIA Quantum-X800 InfiniBand 网络,打造性能最强大的 AI 专用基础设施

● NVIDIA Spectrum-X800 以太网络,数据中心必备的优化 AI 网络

● NVIDIA 软件实现了跨  Blackwell GPU、新交换机和 BlueField-3 SuperNIC 的分布式计算,大幅提升了 AI、数据处理、高性能计算和云工作负载的性能


 image.png?imageView2/2/w/1000


美国加利福尼亚州圣何塞 —— GTC —— 太平洋时间 2024 年 3 月 18 日 —— NVIDIA 发布专为大规模 AI 量身订制的全新网络交换机 - X800 系列。


NVIDIA Quantum-X800 InfiniBand 网络和 NVIDIA Spectrum™-X800 以太网络是全球首批高达 800Gb/s 端到端吞吐量的网络平台,将计算和 AI 工作负载的网络性能提升到了一个新的水平,与其配套软件强强联手可进一步加速各种数据中心中的 AI、云、数据处理和高性能计算(HPC)应用,包括基于最新的 NVIDIA Blackwell 架构产品的数据中心。


NVIDIA 网络高级副总裁 Gilad Shainer 表示:“NVIDIA 网络平台是 AI 超级计算基础设施实现大规模可扩展的核心。基于 NVIDIA X800 交换机的端到端网络平台,使新型 AI 基础设施轻松运行万亿参数级生成式 AI 业务。”


Quantum InfiniBand 和 Spectrum-X 以太网的早期用户包括微软 Azure 、Oracle Cloud Infrastructure 和 Coreweave 等。


微软 Azure AI 基础设施副总裁 Nidhi Chappell 表示:“AI 是一个将数据转化为知识的强大工具,支撑这种转化的基础就是数据中心演进成为了高性能的 AI 引擎,这个演进又对网络基础设施提出了更大的需求。通过与 NVIDIA 网络解决方案的全新整合,微软 Azure云将持续构建我们的基础设施,推动 AI 云走向新的台阶。”


树立极致性能的新标杆


Quantum-X800 平台树立了 AI 专用基础设施极致性能的新标杆,该平台包含了 NVIDIA Quantum Q3400 交换机和 NVIDIA ConnectXⓇ-8 SuperNIC,二者互连达到了业界领先的端到端 800Gb/s 吞吐量,交换带宽容量较上一代产品提高了 5 倍,网络计算能力更是凭借 NVIDIA 的 SHARP™ 技术(SHARPv4)提高了 9 倍,达到了 14.4Tflops。


Spectrum-X800 平台为 AI 云和企业级基础设施带来优化的网络性能。借助 800Gb/s 的 Spectrum SN5600 交换机和 NVIDIA BlueField-3 SuperNIC,Spectrum-X800 平台为多租户生成式 AI 云和大型企业级用户提供各种至关重要的先进功能。


Spectrum-X800 通过优化网络性能,加快 AI 工作负载的处理、分析和执行速度,进而缩短 AI 解决方案的开发、部署和上市时间。Spectrum-X800 专为多租户环境打造,实现了每个租户的 AI 工作负载的性能隔离,使业务性能能够持续保持在最佳状态,提升客户满意度和服务质量。


NVIDIA 软件助一臂之力


NVIDIA 提供面向万亿参数级 AI 模型性能优化的网络加速通信库、软件开发套件和管理软件等全套软件方案。


其中的 NVIDIA 集合通信库(NCCL)可将 GPU 的并行计算任务扩展到 Quantum-X800 网络,利用其基于 SHARPv4 的强大网络计算能力和对 FP8 的支持,为大模型训练和生成式 AI 提供超强的性能。


NVIDIA 的全栈软件方案带来了先进的可编程性,使数据中心网络变得更加灵活、可靠和灵敏,既提高了整体运营效率,又满足了现代应用和服务的需求。


生态里程碑


全球多家头部基础设施供应商和系统厂商将在明年开始提供基于 Quantum-X800 和Spectrum-X800 的网络平台,包括 Aivres、DDN、戴尔科技、Eviden、Hitachi Vantara、慧与、联想、超微和 VAST Data 等。


关键字:NVIDIA  交换机  GPU  AI  基础设施 引用地址:NVIDIA 发布全新交换机,全面优化万亿参数级 GPU 计算和 AI 基础设施

上一篇:NVIDIA Blackwell 平台发布,赋能计算新时代
下一篇:NVIDIA 发布全新交换机,全面优化万亿参数级 GPU 计算和 AI 基础设施

推荐阅读最新更新时间:2026-03-19 17:39

NVIDIA AI GPU供不应求,顶级H100代工大单富士康抢下9成
ChatGPT全球爆红,相关供应链表示,NVIDIA几乎垄断目前最红的AI GPU市场,获益最大,其次为独拿晶圆代工订单的台积电。 而A100/A800/H100的系统代工为纬创及富士康,虽然量能与营收贡献难以抵销疲弱的手机、PC等消费性电子,但至少为寒冬注入一股暖流,2023年下半没那麽冷。 NVIDIA预估2Q23营收持续成长 NVIDIA不仅游戏GPU库存清得快,更受惠生成式AI应用喷发,全面迎来可望是成立以来最为强大且长期的成长动能。 3月GTC大会时,黄仁勋就信心表示,NVIDIA的技术是发展AI的基础,在生成式AI革命的初期就参与其中。早在2016年将交付第一台DGX AI超级电脑交给OpenAI
[半导体设计/制造]
<font color='red'>NVIDIA</font> <font color='red'>AI</font> <font color='red'>GPU</font>供不应求,顶级H100代工大单富士康抢下9成
NVIDIA利用AI来设计和开发GPU 最新Hopper已拥有1.3万个电路实例
在过去几年时间里,NVIDIA 深耕 AI 领域,他们的 GPU 不仅成为 HPC 的首选,也成为包括 AI 和深度学习生态系统在内的数据中心的首选。在最新公布的开发者博文中,NVIDIA 宣布正利用 AI 来设计和开发 GPU,其最新的 Hopper GPU 拥有将近 13000 个电路实例,而这些实例完全由 AI 创建。 计算机芯片中的算术电路是使用逻辑门网络(如 NAND、NOR 和 XOR)和电线构成的。理想的电路应具有以下特点: ● 小:较小的区域,以便更多电路可以安装在芯片上。 ● 快速:降低延迟以提高芯片的性能。 ● 消耗更少的功率:芯片的功耗更低。 NVIDIA 使用这种方法设计了近 13000 个 AI
[家用电子]
谷歌开发出第三代AI芯片 有望取代英伟达图形处理器
  图注:谷歌CEO皮查伊发布第三代AI芯片    凤凰网科技讯 据CNBC网站北京时间5月9日报道,谷歌公司在周二宣布,公司已开发出第三代人工智能(AI)专用芯片。    最新张量处理单元(TPU)有助于谷歌改进AI应用,在录音过程中识别言语,在照片和视频中发现目标,在书面文本中洞察潜在情绪。而且,它还能够取代英伟达公司的图形处理单元(GPU)。    而且,如果新版TPU 3.0能够像其前代芯片,它还便于第三方开发者通过谷歌公共云服务使用,可能有助于谷歌与亚马逊公司、微软公司竞争。本周早些时候,微软宣布为其Azure云服务推出专用芯片。    TPU 3.0    谷歌CEO桑达尔·皮查伊(Sundar Pichai
[手机便携]
NVIDIAAI研究人员开放GPU云端服务
NGC进一步导入NVIDIA TensorRT推论加速器、ONNX相容模式并支援MXNet 1.0 辉达(NVIDIA)宣布,采用桌上型GPU的AI研究人员即日起可透过NVIDIA TITAN获取 NVIDIA GPU云端(NGC)的强大运算效能,并宣布扩充NGC功能,将新软体与其他重要功能导入容器中,为研究人员提供范围更广、功能更强的工具组合,协助推展AI与高效能运算的研究与发展。 NVIDIA Pascal架构TITAN GPU的使用者可免费注册NGC帐号并获得完整涵盖针对深度学习和HPC所进行GPU最佳化的软体与工具。其他支援的运算平台也包括NVIDIA DGX-1与DGX Station以及在Amazon EC2上以N
[半导体设计/制造]
NVIDIA发布AI云容器注册加速深度学习Volta GPU登录Amazon Web服务
NVIDIA (纳斯达克代码: NVDA )今日宣布 NVIDIA® GPU Cloud (NGC) AI 容器注册已正式上线,可为全球 AI 开发人员提供服务。 只需短短几步,NGC 即可帮助开发人员免费访问完备易用、经全面优化的深度学习软件堆栈,从而开始深度学习开发。 Amazon Elastic Compute Cloud( Amazon EC2 )P3 实例刚刚宣布全面部署 NVIDIA® V100 GPU ,该实例的用户现在可即刻获取此基于云计算的服务。NVIDIA 计划不久将向其他云平台提供该支持服务。 完成 NGC 帐户的 注册 之后,开发人员便可下载并优化各类 深度学习框架 的集成化软件堆栈、 NVI
[物联网]
GPU释放人工智能全新潜力 英伟达何以成为AI大赢家
  为什么一家显卡公司忽然在人工智能领域有了巨大影响力?一家图形解决方案的供应商与人工智能行业又能有多少瓜葛?下面就随嵌入式小编一起来了解一下相关内容吧。 GPU释放人工智能全新潜力 英伟达何以成为AI大赢家    ◆ GPU对深度学习的助推力   到今天,人工智能研究已经有六十多年的时间。从最简单的文字对话,到电脑程序战胜人类国际象棋大师,人工智能在竖立了一个里程碑之后似乎就进入了平台期,再无标志性的成绩出现。然而最近两三年,计算机的智能水平突然得到了明显提升:识别图片和语音正确率超过人类,自动驾驶汽车开始上路,参加智力问答竞赛获得冠军,甚至曾经被认为无法战胜人类的围棋领域,人工智能也成绩斐然。这些成绩的背后,都离不开
[嵌入式]
如何在NVIDIA Blackwell GPU上优化DeepSeek R1吞吐量
前言 开源 DeepSeek R1 模型的创新架构包含多头潜在注意力机制 (MLA) 和大型稀疏混合专家模型 (MoE),其显著提升了大语言模型 (LLM) 的推理效率。但要充分发挥这种创新架构的潜力,软硬件的协同优化也至关重要。本文将深入解析 NVIDIA 在基于 Blkwell 的nsorRT-LLM框架内为 DeepSeek R1 吞吐量优化场景 (TPS / GPU) 开发的优化策略。文内将详细阐述各项优化措施的设计思路。另一篇关于降低延迟的博客(见下)已详细解释了 TensorRT-LLM 如何通过提升 R1 性能实现最佳 TPS / USER。 这些优化措施显著提升了 DeepSeek R1 在 Blackwe
[机器人]
消息称英伟达 B300 GPU 经重新流片,算力提升 50%
12 月 27 日消息,外媒 SemiAnalysis 表示,英伟达计划明年推出的 B300 Tensor Core GPU 对设计进行了调整,将在台积电 4NP 定制节点上重新流片,整体来看可较 B200 GPU 提升 50% 算力。 ▲ 英伟达现有 Blackwell 架构 GPU 报道透露,B300 GPU 的功耗将较 B200 提升 200W(IT之家注:即 GB300 Superchip“超级芯片”上每个 GPU 可达 1400W,B300 HGX 平台上每个 GPU SXM 模块可达 1200W);同时该 GPU 也将从架构和系统级改进中得到性能增强,如超级芯片内部支持动态重分配 GPU 和 CPU 的功耗。 而在
[半导体设计/制造]
小广播
最新网络通信文章
厂商技术中心

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

 
机器人开发圈

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 综合资讯 其他技术 下一代网络 短距离无线 基站与设施 RF技术 光通讯 标准与协议 物联网与云计算 有线宽带

索引文件: 1 

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2026 EEWORLD.com.cn, Inc. All rights reserved