大学生期末作业建设网站,企业网页设计案例,百度站点提交工具,建设心理网站的背景资料来源#xff1a;火山引擎-开发者社区 近日#xff0c;火山引擎基于部分云服务器实例规格邀测发布 vRDMA 特性#xff0c;提供云上 VPC 内大规模 RDMA 加速能力#xff0c;可兼容传统 HPC 应用、AI 应用以及传统 TCP/IP 应用#xff0c;降低大众化场景的适配门槛#…资料来源火山引擎-开发者社区 近日火山引擎基于部分云服务器实例规格邀测发布 vRDMA 特性提供云上 VPC 内大规模 RDMA 加速能力可兼容传统 HPC 应用、AI 应用以及传统 TCP/IP 应用降低大众化场景的适配门槛让更多的应用可以体验到更好的上云性能。 传统的 TCP/IP 传输在传输数据时需要经过多层协议的封装和解封且需要通过内核进行处理涉及多次数据复制和上下文切换存在较多的局限性无法满足对网络性能要求极为严苛的场景如高性能计算、模型推理、机器学习、大数据传输等领域。 RDMA 技术的出现以及被广泛应用得益于其相较于传统的 TCP 网络通信协议的显著优势。RDMA 打破了传统的分层架构允许应用程序直接访问远程计算机的内存无需经过操作系统内核和协议栈的多次数据拷贝和处理实现了内存到内存的直接数据传输大大减少了数据处理的中间环节延迟可降低至微秒级。 火山引擎过去已在高性能计算 GPU 型实例上提供 RDMA 通信能力对 RDMA 使用场景也进行了诸多产品支持详情可见
在机器学习平台上通过 RDMA 网络加速训练https://www.volcengine.com/docs/6459/96563在 VKE 集群中使用 RDMA 资源https://www.volcengine.com/docs/6460/1125782 但是RDMA 依赖于网络的无损特性、运维成本与使用成本较高且传统的网络隔离机制将 RDMA 通信限制在单一集群内导致应用范围受限。因此出于对成本效益及适配多样化场景的考虑如何“使 RDMA 协议运行在云上 VPC 内同时具备无限接近物理网络的性能表现”成为火山引擎的演进方向vRDMA 应运而生。 什么是 vRDMA vRDMA 是火山引擎自研的云上弹性 RDMA 网络将 RDMA 技术应用到了 VPC 网络中。与传统需配备单独硬件网卡的 RDMA 不同vRDMA 依附于 VPC 内的弹性网卡 ENI。用户仅需为实例挂载开启了 vRDMA 的弹性网卡便可在不改变原有业务组网的情况下激活 RDMA 通信能力且无需额外付费。 vRDMA 底层搭配全栈自研的拥塞控制 CCCongestion Control算法可以容忍 VPC 网络中的延迟、丢包等问题在有损的网络环境中依然有良好的性能表现。同时可以复用 VPC 网络的隔离性进行安全通信在享有传统 RDMA 网络高吞吐、低延迟特性的同时突破集群限制支持更高的弹性扩展实现秒级的大规模 RDMA 组网。 当前vRDMA 已在部分实例规格上启动邀测。用户使用支持的公共镜像或自行安装火山引擎提供的 vRDMA 驱动即可使用。ECS 实例可通过开启了 vRDMA 的弹性网卡同时进行 RDMA 与 TCP/IP 协议通信二者共享实例网络带宽。 技术优势
高性能vRDMA 将 RDMA 技术应用到 VPC 网络中使弹性网卡具有 RDMA 特性低 CPU 负载、低网络延迟。您可以在云网络环境中体验到 vRDMA 带来的出色性能获取与物理 RDMA 一致的性能体验。共享 VPC 网络vRDMA 功能完全复用 VPC 网络可以在原来的业务组网架构下直接启用 RDMA 功能无需再区分 VPC 弹性网卡与 RDMA 网卡使用更加灵活便捷。兼容性支持标准的 Verbs 以及大部分 Infiniband 通信语义支持业内主流通信库及中间件无需对原有的应用程序进行大规模的修改降低技术升级和迁移成本。弹性扩展不同于传统的 RDMA 需要单独的硬件网卡vRDMA 依附于弹性网卡您可以随时创建支持 vRDMA 属性的弹性网卡并绑定到实例轻松实现弹性扩展满足不同场景下对网络功能的动态需求。隔离性vRDMA 能够与传统 TCP/IP 共享实例带宽。通过对交换机共享缓存的合理配置以及队列配置实现了 vRDMA 和 TCP/IP 在交换机上的 buffer 和流量隔离。通过 vQos 和多级 Meter 能力支持 vRDMA 和 TCP/IP 出入向的流量细粒度隔离。大规模组网传统 RDMA 基于无损网络规模部署成本高且困难。vRDMA 仅依赖有损的以太网络同时结合自研的拥塞控制 CC 算法、网卡上的 TX window 和 Adaptive retransmission 的特性在大规模、跨集群、长距离通信场景下能够提供高性能的网络服务。
性能表现 得益于自研高性能拥塞控制算法、自研高性能 vSwitch 等软硬件一体化技术栈火山引擎 ECS 实例的 vRDMA 带宽最高可达 320Gbps极限时延可低至 5us每秒消息数最高可达 50M。 平均时延和长尾时延性能是衡量云网络的重要指标之一直接影响了网络通信的实时性和响应性对于分布式文件系统、大模型推理、HPC 超算等业务场景尤为重要。vRDMA 的平均传输延迟仅为基于 Kernel TCP/IP 的1/5平均传输时延可降低 80%长尾传输时延可降低 99%。 单连接吞吐是指在网络通信过程中单个连接在单位时间内传输的数据量。对于分布式文件系统、大模型训练等大象流业务场景尤为重要。vRDMA 单 QP 的带宽对比基于 Kernel TCP/IP 单连接带宽可提升至 300%。 最佳实践 vRDMA 能够大幅降低大规模集群网络互联带来的网络通信延迟大幅提升分布式计算的性能和性价比可以在多领域多业务场景中得到应用
分布式存储受 GPU 计算集群的软硬件故障等客观因素影响大模型训练中断后基于 checkpoint 的恢复依赖高性能的分布式存储服务。计算节点与存储服务之间可以通过 vRDMA 实现高性能通信同时 VPC 网络也可以为模型算法、用户数据、训练数据等提供安全隔离的能力。在分布式文件系统存算通信场景下vRDMA 对比 Kernel TCP/IP 全透读场景读带宽可提升 35%全命中场景读带宽可提升 60%。大模型推理大模型 PD 分离推理架构中由于 Prefilling 阶段与 Decoding 阶段分别属于计算密集型与访存密集型一般可选用不同的机型。PD 异构集群之间使用 vRDMA 通信可以加速 KV Cache 传输充分利用不同 GPU 的特点实现高效、快速的模型推理提升推理系统整体的吞吐并降低延迟。在 LLM 大模型推理场景Second Token 以及 TPOT 长尾时延vRDMA 对比 Kernel TCP/IP 可下降 50%。高性能计算越来越多的HPC类业务逐步从自建数据中心迁移到公有云如工业仿真场景在依赖 RDMA 协议进行高带宽、低延时通信的同时可以借助 vRDMA 提升部署的灵活性并降低资源使用成本。在传统 HPC 高性能计算场景LS-DYNA 和 Star-CCM 的 2 节点线性度vRDMA 对比 Kernel TCP/IP 可提升 30%并且可支持更大节点数的并行计算能力。 结语 火山引擎 vRDMA 相关技术的论文已经被 ACM SIGCOMM 2025 主会接收SIGCOMM 是 ACM 组织在通信网络领域的旗舰型会议位列网络通信领域会议之首对论文的质量和数量要求极高要求具有基础性贡献、领导性影响和坚实系统背景通常录用率低于 20%。此外火山引擎自研拥塞控制算法论文已经被 CCF A 类会议 ATC 2025 主会接受ATC 是计算机系统领域的顶级会议ATC 2025 会议录用率低于 16%。更多关于火山引擎 vRDMA、自研拥塞控制算法的技术细节我们将会持续披露。 未来火山引擎会将 vRDMA 建设为云上高性能网络通信的通用能力逐步覆盖到更多云服务器实例规格。同时持续完善 vRDMA 生态建设结合火山引擎自研传输层优化技术、自研高性能集合通信库不断探索未来 RDMA on VPC 演进路线让 RDMA 网络从支撑小众的 AI 与 HPC 类应用走向支持通用类计算场景持续提升火山引擎的网络技术竞争力。
