沈阳网站建设团队,郑州建材公司网站建设,如何在本地搭建wordpress,wordpress按月归档随着数据量的增加和技术的进步#xff0c;对于高效、可靠的存储解决方案的需求日益增长。传统的基于块的SSD虽然具有成本效益和持久性的优点#xff0c;但在处理写密集型和更新密集型工作负载时存在局限性。
NAND闪存的特点是数据只能按页#xff08;例如4KiB#xff09;写…随着数据量的增加和技术的进步对于高效、可靠的存储解决方案的需求日益增长。传统的基于块的SSD虽然具有成本效益和持久性的优点但在处理写密集型和更新密集型工作负载时存在局限性。
NAND闪存的特点是数据只能按页例如4KiB写入不支持原地更新必须以块为单位进行擦除。然而块接口的局限性在于需要通过垃圾收集GC来支持4KiB的原地更新而且无法感知擦除行为导致不可控的垃圾收集引发不稳定延迟。这些问题在缓存工作负载中尤为突出因为它们通常是写密集型和更新密集型的并倾向于高容量利用率。 持久缓存Persistent Cache是指一种用于存储频繁访问的数据并能在系统重启后仍然保留这些数据的缓存机制。持久缓存结合了缓存的快速访问特性和非易失性存储的持久性使得数据能够在系统断电后仍然得以保存从而提高了数据的可靠性和系统的整体性能。随着固态存储技术的进步特别是ZNS SSDs等新型存储技术的发展持久缓存的应用范围将进一步扩大为各种高性能计算场景提供支持。
扩展阅读 ZNS SSDF2FS文件系统如何降低GC开销 为什么QLC NAND才是ZNS SSD最大的赢家 字节跳动ZNS SSD应用案例解析 NVMe SSDZNS与FDP对决你选谁
Zoned Namespace SSDsZNS SSDs作为一种新兴技术旨在克服传统SSD在某些场景下的局限性特别是在持久缓存系统中的应用。ZNS SSDs通过提供一种新接口来克服传统SSD的一些限制尤其是在某些应用场景下。具体来说ZNS SSDs能够减少内部垃圾收集过程中的写放大WA这有助于延长SSD的寿命并避免因额外的数据移动而导致的吞吐量降低和不稳定延迟。此外与相同成本的传统SSD相比ZNS SSDs可以提供更大的存储容量。 闪存缓存被广泛应用于各种场景例如Meta的CacheLib就是一个典型的例子。闪存缓存通常将缓存项组织成大的段例如Region并通过文件或直接使用原始设备来减少I/O开销和降低写放大Write Amplification, WA缓存空间几乎总是被充分利用。此外使用缓存时大量的随机更新会加剧写放大现象进而影响性能。ZNS SSDs为持久缓存系统提供了许多潜在的好处包括更大的存储空间、更低的尾部延迟和更少的写放大。这些特点使得ZNS SSDs成为持久缓存系统的一个极具吸引力的选择。
当前持久缓存引擎的局限性 基于文件系统的持久缓存这类引擎通常使用文件系统作为底层存储这在很大程度上简化了缓存管理但文件系统的设计并不适合ZNS SSDs的要求。文件系统中的原地更新会导致写放大增加垃圾回收的频率从而影响SSD的性能和寿命。 基于标准SSD的持久缓存这类引擎直接使用标准SSD作为存储介质虽然可以减少文件系统的开销但仍然存在不兼容ZNS SSDs的问题。标准SSD通常不支持ZNS SSDs的Zone管理功能导致无法充分利用ZNS SSDs的优势。
设计垃圾回收机制的挑战 写放大传统SSD中的垃圾回收过程往往导致写放大即为了更新一小部分数据需要写入更多数据。在ZNS SSDs中由于只支持顺序写入需要重新考虑如何在不增加写放大的情况下执行更新操作。 缓存性能在设计垃圾回收机制时需要考虑如何不影响缓存的读写性能。高效的垃圾回收策略应该尽可能减少对缓存操作的影响确保缓存服务的快速响应。 缓存命中率缓存命中率是衡量缓存系统性能的关键指标之一。设计垃圾回收机制时需要考虑如何通过合理的缓存替换策略来提高缓存命中率。
一、ZNS SSD作为持久缓存技术分析
面对ZNS SSDs作为持久缓存后端的挑战需要对现有的缓存引擎进行改进和优化以充分发挥ZNS SSDs的优势。这涉及到重新设计垃圾回收机制、磨损均衡策略等关键组件以实现更好的性能和更长的SSD寿命。通过这些改进ZNS SSDs可以为持久缓存系统提供更加高效、可靠和持久的存储解决方案。
为了探索利用ZNS SSDs作为持久缓存后端的可能性和权衡研究者提出了三种可能的设计方案 文件缓存使用兼容ZNS的文件系统实现完全透明化。 Zone缓存直接将缓存的SSD管理单元映射到固定大小的区域。 中间层缓存使用一个简单的中间层将区域接口转换为缓存管理单元的接口。
1.文件缓存
在考虑使用ZNS SSDs作为持久缓存后端时一种可能的方案是使用兼容ZNS的文件系统。这种方案旨在通过提供通用的文件接口来实现缓存功能但同时也带来了一些额外的开销和挑战。 文件系统缓存方案 (File-Cache) 文件系统使用兼容ZNS的文件系统例如F2FS来提供通用的文件接口。 缓存管理缓存项按照Region进行组织每个Region对应ZNS SSDs的一个或多个Zone。 数据组织每个Region包含多个Zone每个Zone大小固定例如16MiB。 I/O单位文件系统以4KiB为单位进行I/O操作。 元数据与数据分离文件系统将元数据和数据分开存储以减少写放大。 重用机制文件系统支持Zone的重用reclaim以便释放不再使用的空间。
技术细节与挑战 额外开销使用文件系统会引入额外的开销包括元数据管理、索引结构维护等。 文件系统构建需要额外的SSD来构建文件系统例如使用F2FS作为底层文件系统。 全透明性文件系统提供的全透明接口使得优化垃圾收集变得困难。 性能影响文件系统的额外开销可能会对缓存性能产生负面影响。 空间利用率文件系统的特性可能会导致空间利用率不如直接管理ZNS SSDs的方式高。
使用兼容ZNS的文件系统作为持久缓存的方案虽然简单且易于集成但对于追求高性能和低延迟的应用来说它可能不是最佳选择。额外的文件系统开销和限制的优化能力可能会影响缓存系统的整体性能。因此在选择使用兼容ZNS的文件系统之前应仔细考虑其适用性和潜在的性能影响。 2.Zone缓存
在考虑使用ZNS SSDs作为持久缓存后端时另一种可能的方案是直接使用ZNS SSDs的Zone接口并将缓存管理单元Region与Zone大小相匹配。这种方案旨在减少映射开销实现无垃圾回收的设计并消除写放大现象。 直接使用Zone接口 (Zone-Cache) 直接使用Zone接口直接使用ZNS SSDs的Zone接口进行缓存管理而不是通过文件系统或其他中间层可以减少映射缓存管理单元到物理存储的开销。 缓存管理单元与Zone匹配将缓存中的Region映射到ZNS SSDs的Zone上使得每个Region对应一个或多个Zone。 无垃圾回收设计由于ZNS SSDs的特性可以实现零写放大不需要进行内部垃圾回收。 无OP空间由于Zone的管理直接由应用程序控制不需要额外的预留空间OP来支持垃圾回收过程。
在考虑使用ZNS SSDs作为持久缓存后端时直接使用Zone接口并将缓存管理单元Region与Zone大小相匹配是一种可行的方案。然而较大的Region大小可能会导致更长的Region插入时间和更大的内存消耗。 更长的Region插入时间较大的Region大小意味着在插入新数据时需要更多的时间来完成整个Region的填充。这可能会影响缓存的响应时间。 更大的内存消耗较大的Region大小需要更多的内存来维护Region的状态信息例如Region的使用情况、位置信息等。这可能会增加缓存系统的内存负担。 直接使用ZNS SSDs的Zone接口作为持久缓存后端的方案减少了映射开销实现了无垃圾回收的设计并消除了写放大现象。这种方案对于追求高性能和低延迟的应用来说是一个很好的选择。然而需要注意的是较大的Region大小可能会导致更长的Region插入时间和更大的内存消耗这可能需要在实际应用中通过适当的Region大小选择来平衡性能和资源消耗。
3.中间层缓存
在考虑使用ZNS SSDs作为持久缓存后端时使用一个简单的中间层来提供区域接口是一种可行的方案。这种方案旨在通过中间层提供缓存管理单元Region与ZNS SSDs的Zone之间的适配同时允许Region具有合适的大小。 使用中间层提供区域接口 (Region-Cache) 使用中间层使用一个简单的中间层来提供区域接口该中间层专为缓存系统如CacheLib设计。通过中间层可以为Region设定一个合适的大小这样可以更好地适应缓存系统的需求。 缓存管理单元与Zone适配中间层负责将缓存中的Region映射到ZNS SSDs的Zone上使得每个Region可以具有一个合适的大小而不是严格匹配Zone的大小。 需要预留空间和垃圾收集尽管中间层提供了一个更灵活的接口但它仍然需要预留空间OP来支持垃圾回收过程并且需要实现垃圾回收机制来优化写放大。
中间层的存在可以提供更灵活的Region大小选择但同时也引入了额外的映射开销。此外预留空间和垃圾收集过程可能会对性能产生一定影响需要在设计时予以考虑。
二、实验结果分析
1.根据微观评估结果可以看出每种解决方案都有其独特的优势 Block-Cache这是一种使用常规SSD的传统缓存解决方案。它可以提供稳定的性能但由于需要进行垃圾回收可能会遇到写放大问题影响命中率。适用于需要稳定性能和不需要特别关注写放大问题的应用场景。 Zone-Cache由于其无垃圾回收的设计Zone-Cache能够获得最高的命中率。由于ZNS SSDs的特性一旦数据写入Zone后需要重置整个Zone才能再次使用这消除了内部垃圾回收的需要从而避免了写放大。适用于追求最高命中率的应用场景特别是那些对延迟敏感且希望避免垃圾收集带来的性能下降的应用。 Region-CacheRegion-Cache可以通过中间层提供缓存管理单元与ZNS SSDs之间的适配使得Region可以具有一个合适的大小。它可以提供与Block-Cache相似的高吞吐量但在命中率方面可能略逊于Zone-Cache。适用于需要高吞吐量和具有一定灵活性的应用场景通过中间层提供的适配可以在性能和资源消耗之间取得良好的平衡。 2.对RocksDB的评估作为二级缓存的不同设计方案
在RocksDB中作为二级缓存的不同设计方案的评估结果。这些评估重点关注了Region-Cache、Block-Cache以及Zone-Cache在吞吐量、延迟等方面的性能表现。 Region-Cache 延迟由于Region-Cache通过中间层提供缓存管理单元与ZNS SSDs之间的适配它可以有效地管理和调度数据从而实现较低的延迟。 吞吐量Region-Cache通过中间层提供的适配使得Region可以具有一个合适的大小这有助于提高数据的读写效率从而实现较高的吞吐量。 优势Region-Cache方案通过中间层提供的缓存管理单元与ZNS SSDs之间的适配不仅提供了较低的延迟还保持了较高的吞吐量。 Block-Cache 尾部延迟Block-Cache方案使用常规SSD作为缓存后端由于需要进行垃圾回收可能会遇到写放大问题导致较高的尾部延迟。 劣势Block-Cache方案在尾部延迟方面表现不佳特别是在p99的延迟上最高这可能是由于垃圾收集导致的写放大问题所引起的。 Zone-Cache 命中率Zone-Cache方案由于其无垃圾回收的设计可以实现最高的命中率。这有助于减少访问延迟并提高整体性能。 根据这些评估结果如果目标是在RocksDB中实现最低的延迟和最高的吞吐量则Region-Cache是最优的选择。然而如果应用程序对命中率有较高要求则Zone-Cache可能是一个更好的选择。
在本文中研究人员提出了三种可能的方案旨在使用ZNS SSDs作为持久缓存并对其进行了详细的分析与评估。与常规SSD相比ZNS SSDs可以作为更优秀的存储设备用于持久缓存。这一结论也在将ZNS SSD用作RocksDB的二级缓存时得到了验证。 Region-Cache在作为RocksDB的二级缓存时Region-Cache方案展现出了最低的延迟和最高的吞吐量。 Block-Cache相比之下Block-Cache方案虽然提供了稳定的性能但由于垃圾回收导致的写放大问题它的尾部延迟表现不佳。 Zone-CacheZone-Cache方案由于其无垃圾回收的设计可以实现最高的命中率这对于减少访问延迟和提高性能至关重要。
总之ZNS SSDs作为一种新型的存储设备具有独特的性能优势可以作为持久缓存的理想选择。未来的研究方向应该集中在改进Zone管理机制、开发更多优化的驱逐策略以及设计新型策略来实现设备-缓存-应用协同设计。这些研究将进一步提高ZNS SSDs在持久缓存应用场景中的性能和效率。
参考文献Yang, Chongzhuo, Zhang Cao, Chang Guo, Ming Zhao and Zhichao Cao. “Can ZNS SSDs be Better Storage Devices for Persistent Cache?” Proceedings of the 16th ACM Workshop on Hot Topics in Storage and File Systems (2024): n. pag. 如果您看完有所受益欢迎点击文章底部左下角“关注”并点击“分享”、“在看”非常感谢
精彩推荐: 太上老君的“三味真火”也可以提升3D NAND可靠性 FMS 2024多家厂商CXL技术方案总览 存储正式迈入超大容量SSD时代 FMS 2024: 带来哪些存储技术亮点 IEEE报告解读存储技术发展趋势分析 什么陶瓷也可以用来存储数据了 都说固态硬盘寿命短那么谁把使用寿命用完了吗 内存原生CRAM技术将会颠覆计算存储的未来 浅析SSD性能与NAND速率的关联 MCR DIMM如何解决内存带宽瓶颈 浅析MPS对PCIe系统稳定性的影响 CXL-GPU: 全球首款实现百ns以内的低延迟CXL解决方案 万字长文下一代系统内存数据加速接口SDXI解读 数据中心AI范式下的内存挑战与机遇 WDC西部数据闪存业务救赎之路会成功吗 属于PCIe 7.0的那道光来了 深度剖析AI存储架构的挑战与解决方案 CXL崛起2024启航2025年开启新时代 NVMe SSDZNS与FDP对决你选谁 浅析PCI配置空间 浅析PCIe系统性能 存储随笔《NVMe专题》大合集及PDF版正式发布
