怎样辨别网站,最近发生的重大军事新闻,wordpress在线视频,无极官方网编者按#xff1a;英伟达2024 GTC 大会上周在美国加州召开#xff0c;星辰天合 CTO 王豪迈在大会现场参与了 GPU 与存储相关的最新技术讨论#xff0c;继上一篇《GTC 2024 火线评论#xff1a;GPU 的高效存储利用》之后#xff0c;这是他发回的第二篇评论文章。 上一篇文章…编者按英伟达2024 GTC 大会上周在美国加州召开星辰天合 CTO 王豪迈在大会现场参与了 GPU 与存储相关的最新技术讨论继上一篇《GTC 2024 火线评论GPU 的高效存储利用》之后这是他发回的第二篇评论文章。 上一篇文章已经提到随着 AI 集群规模的提升数据集的大幅增长势必要面对集群资源的高效利用和安全问题其中关键之一就是计算资源对于共享资源如共享文件存储的安全访问和保护。相比于传统 CPU 集群的共享存储和安全访问GPU 集群在面对类似问题的挑战是安全性能。安全访问并不能牺牲性能特别是在当下刚发布的新一代 GPU 算力和网络平台下存储带宽面对进一步提高的要求吃紧的内存带宽和网络传输将进一步承压。 nbsp;
高性能存储安全访问的挑战
在讨论安全问题前可能还要先牵扯算力集群和存储的网络方案。
众所周知Nvidia 在 AI 数据中心推崇两个概念一个是 AI Factory另一个是 AI Cloud前者类似于超级计算机的概念适合单应用场景并推荐 Infiniband 组网方案后者面临多租户和多样化的计算任务因此推荐以太网方案。在这个分类下我们会将以上存储安全访问问题缩小到更广泛 AI Cloud 场景上因为这类场景相比而言更急迫的需要解决。
nbsp; 特别是在当下 GPU 芯片昂贵成本下即使在非 GPU 虚拟化场景算力共享和灵活调度都是降低 AI 任务成本的重要手段但算力平台如何向用户提供安全的数据访问和隔离手段是其中的重中之重。
因此AI 算力集群需要在
足够性能
下解决控制面和数据面的安全访问挑战 控制面路径的关键操作安全性管理和配置网络、系统的操作权限和策略的分配漏洞和安全缺陷管理等等数据面的授权访问和外部攻击数据泄漏、篡改、服务拒绝等攻击
nbsp;DPU 作为存储访问的信任代理
在以太网组网的 AI Cloud 场景下Nvidia 提出了引入 DPU 方案来解决上述问题通过 DPU 提供的代理访问来隔离非信任的主机和可信基础设施确保 AI Cloud 的数据安全。 DPU 是一种专用硬件加速器通常包含 CPU、内存和网络接口能够在不增加主机侧处理器负担的情况下执行数据处理任务包括 Nvidia、Intel、AMD、Marvell 在内的芯片厂商都推出了 DPU 产品。DPU 在安全性上通常可以带来几个好处
隔离和专用处理能力DPU 可以作为一个隔离层将存储和网络操作与主机的 CPU 分离开。这意味着即使主机受到安全威胁攻击者也难以直接接触到数据传输和存储操作。减少攻击面DPU 可以控制访问存储资源的路径允许更精细的访问控制策略并且限制了潜在的攻击向量。由于主 CPU 不直接处理数据流攻击者需先破坏 DPU才能对数据进行篡改或未授权访问这大大增加了攻击难度。内置安全功能许多 DPU 都配备了加密和其他安全功能如内联数据加密、秘密保护和防火墙服务。这些功能可以在硬件层面提供保护而不是依赖于可能被破坏的软件。细粒度的控制DPU 可以实现对数据访问的精细管理包括访问控制、监控和日志记录使系统管理员能够更好地监控和响应安全事件。提供零信任架构在 DPU 代理的帮助下可以实施零信任安全模型它假定内部网络也不可信需要严格验证所有请求这增强了对潜在内部威胁。 值得一提的是在 Nvidia 发布的《下一代 AI 的新一代网络》白皮书中提到在 400/800Gb 的网络中即使无损网络环境中都很难避免在 AI 的突发流量中性能不受影响。因此在以太网路线上业界会期望借助于 DPU 算力来实现 RDMA 的拥塞控制而不是依赖交换机或者 ECN 机制。因此 DPU 可能会是超高以太网网络的必需。 回到计算节点的 GPU 应用对于文件存储访问这个问题存储客户端目前主要有两种选择
用户态客户端cuFile(GDS)/S3/SQL/..内核态客户端Posix/VFS
而引入 DPU 来实现安全访问可以利用业界已有的虚拟化场景的文件协议实现 virtio-fsvirtio-fs 已经有长达十年的发展历程它可以在这里提供从 Host 到 DPU 的文件代理通道使得文件存储客户端可以完全运行于 DPU 操作系统。这样的变化可以用下图来更清晰展示其中红色的访问路径表示不安全的绿色表示通过 DPU 的代理访问 nbsp;零拷贝问题
从技术角度来讲引入额外的 DPU 来实现文件存储访问肯定带来额外开销具体来说有这两个问题
客户端缓存在 AI 高性能的存储场景客户端的内存缓存是必备选择在当前的大部分 AI 任务中对于存储的访问成本相对计算延迟仍然较高缓存命中率非常关键上一篇提到的 SCADA 实际上就是希望在中间建立通用的框架。但就目前而言数据在计算节点上的缓存主要由存储客户端提供例如 GPFS 在内核态实现了自有的缓存机制Lustre 则更多依赖于 Linux Page Cache 机制。如果将存储客户端运行在 DPU 后之前 Host 侧 CPU/GPU 的庞大内存也无法被数据缓存利用DPU 内置的内存相对较小则势必导致缓存命中率降低性能大幅下降。因此DPU 代理方案需要进一步解决该问题。额外的拷贝成本在客户端直接访问存储的路径中通常采用 RDMA 来实现数据零拷贝。增加 DPU 代理访问后会增加一次 Host 内存到 DPU 的拷贝。
在这里Nvidia 正式提出了 DPU Secure Storage Zero Copy 项目通过引入 Cross-function mkey(RDMA mkey) 允许 DPU 使用来自 Host 地址空间的地址减少了从 Host 到 DPU 的拷贝。整个数据传输仍由 DPU 中的服务来实现只有受信任的 DPU 服务才能访问 Cross-function mkey实际上就是由存储客户端来维护整个 IO 过程都不会将存储后端暴露给 Host确保潜在的安全风险最小化。
进一步来说Host 的内存可以被用来做文件数据缓存无需受 DPU 引入的影响也避免了 Double Buffer 问题 nbsp;DOCAnbsp;SNAP virtio-fs
DPU Secure Storage Zero Copy 会通过 DOCA virtfs-fs SDK 来交付过去 DOCA 已经提供了 SNAP NVME 能力即可以通过 DPU 来实现 NVMe over Fabric 的卸载DOCA SNAP virtfs 会成为新的文件存储访问卸载能力。
DPU 中的 VirtioFS 服务会基于 SPDK(https://spdk.io/) 开发提供面向不同的文件存储供应商实现统一的抽象运行在 DPU 中面向 Host 的 virtio-fs 内核驱动承接请求并为不同供应商的文件存储客户端根据需要去执行对应请求未来文件存储供应商可以通过以下方式对接
用户态文件客户端如果文件存储直接支持用户态的文件客户端库SNAP virtio-fs 可以直接通过库链接方式集成使用。NFS over RDMA如果文件存储提供标准的 NFS over RDMA 支持则 SNAP virtio-fs 会直接通过 DPU OS 的 NFS 内核客户端访问DPU OS 中的 NFS 内核客户端会修改来支持零拷贝。内核态文件客户端如果文件存储支持内核态客户端则可以在 DPU OS 上安装SNAP virtio-fs 可以执行 POSIX 调用。从 DPU OS Kernel 可以支持将 mkey 传递给 POSIX read()/write() 实现零拷贝。
目前 DPU Secure Storage 项目也需要得到文件存储厂商和 Linux Upstream 的支持文件存储厂商需要尽快考虑将存储客户端迁移到合适的 DPU 运行环境并作为 SPDK virtio-fs 的后端为了实现零拷贝需要能够支持利用 SPDK 的 memory domain API 来获得 mkey 对应的 Host 内存空间。而为了在 Host OS 上需要进一步加强 virtio-fs 的性能比如实现多队列能力支持 GPU 内存等。
nbsp;XSKY 参与情况
对于国内领先的分布式存储厂商来说我们同样认为不仅是 Nvidia BlueField 系列产品可以提供这样的方式这样的需求应该可以在普遍的 DPU 产品中实现并被利用有效的提高 DPU 在存储协议上的多样化支持并带来共享文件存储的安全性所需。
我们也会尽快评估在基于新一代全共享架构XSEA的全闪存文件存储提供面向 AI Cloud 场景的 DPU 访问客户端能力拥抱快速变化的 AI 基础设施进化。在多样化的 GPU 存储类型的利用上不管是块存储的 NVMe 卷作为节点内的高速缓存还是共享文件存储作为 CPU/GPU 内存的全局缓存存储最终通过基于对象存储的数据湖来统一治理这些存储类型的需求和定位都跟 XSKY 的产品定位和路线图高度符合。
nbsp;
