湖北省平安建设网站,文创产品设计方法,wordpress编辑插件,国外的建筑设计案例网站产业数字化转型过程中产生着比过去任何一个时代都多的数据。在这样的背景下#xff0c;数据存储技术应该怎么发展#xff1f;11月7日#xff0c;在腾讯Techo开发者大会上#xff0c;来自科研领域的专家和腾讯云存储业务的工程师们共同揭开了云存储的发展趋势。
据IDC预测数据存储技术应该怎么发展11月7日在腾讯Techo开发者大会上来自科研领域的专家和腾讯云存储业务的工程师们共同揭开了云存储的发展趋势。
据IDC预测全球数据总量预计2020年达到44ZB440亿TB。随着IT信息系统的不断发展数据在各个行业的应用越来越广的同时云存储又该如何进化满足大数据时代的要求华中科技大学计算机学院教授、信息存储专委会常委、SNIA中国区专家委员会副主席谢长生在活动现场对存储行业的未来发展趋势进行了展望。 谢长生指出主流存储介质从磁介质到闪存介质转移的同时也驱动了接口协议的变化。存储行业未来将在纵向沿着Cache技术横向朝着分布式存储两个方向继续进化。此外包括智能存储、支撑AI的存储、交存内计算、计算型存储、类脑存储、区块链存储等在内的一些新兴存储技术也将迎来更大的发展际遇在存储的大数据时代发挥更大的作用。
万物上云时代云硬盘已经成为云的基础服务。腾讯技术工程事业群云硬盘专家工程师王银虎表示通过介质升级腾讯云云硬盘产品历经了普通云盘、高性能云盘、SSD云盘三大阶段。基于混合存储介质的高性能云盘性能指标达到了普通云盘的10倍延迟低于5ms高性能SSD云盘延迟甚至低于3ms。而腾讯云的下一代云硬盘——HSSD云盘则利用客户端卸载、存储卸载以及网络卸载的技术手段可实现更低的延时和高性能目前在平台侧已将延时降低到100微秒以下。
近年来随着云端数据的增长用户对云上数据产生价值的需求越来越强烈云端大数据处理的瓶颈正在逐渐凸显。虽然业界推出了大数据存储基于对象存储的方案提升了整体灵活性但云数据的延时较高整体大数据分析场景效率较低。在此背景下腾讯云基于对象存储研发了CHDFS。腾讯云腾讯云存储研发专家工程师严俊明表示腾讯云CHDFS融合了独立的元数据管理能力和对象存储的存储容量的能力拥有高效和云数据操作低延时的特性。目前腾讯云CHDFS的服务可用性已达99.9%数据持久性可以达到99.999999999%。
另一方面腾讯庞大的自有业务体系也为云存储产品和技术提供了绝佳的实践平台。
微信作为一款月活用户超过10亿的国民级应用系统每天读写量超过数万亿峰值时数据调用超过1亿次/秒的。在海量存储中做到高性能进而降低成本是其面临的最大挑战。微信事业群分布式存储工程师郑建军表示通过定制式开发的手段提升微信存储系统的基本能力使得微信的存储性能比传统模式提升了近1倍。为提升数据安全性微信还采用了多副本存储、实时校检、人工排查等方式并通过定期对齐数据副本、副本数据的跨地域容灾等手段确保数据的完整性。此外微信还通过快速拒绝策略、非租约的Paxos、大系统小做以及多副本冗余等方式确保存储服务在高峰期的可用性目前微信核心数据存储服务的可用性已经达到99.9999%的水平。
对于非常消耗存储资源的图片和音视频文件在微信和微信小程序内应用比例越来越高的问题腾讯云还在尝试用更多的技术创新去满足这些应用对存储的需求。腾讯技术工程事业群图片业务技术副总监孙云清表示腾讯云通过新的图片压缩技术和GPU加速技术几年时间已经节省了近1T的图片带宽腾讯云通过设置大容量、低成本且直接跳过了文件系统的缓存处理服务池大幅减少了应用读取图片和音视频档案时缓存的拷贝消耗再结合IO的方式提高并发速度大幅节省了系统性能并降低了内存的消耗。此外腾讯云还充分结合存储空间利用率优化、路由IP均衡、磁盘内存热文件缓存等手段全力挖掘系统性能潜力并充分利用腾讯云平台上其他闲置资源进行资源弹性调配不仅让业务变得透明也大幅降低了成本。
腾讯云和微信小程序团队联合打造的小程序·云开发也封装了云存储的能力提供快速上传和下载、CDN加速、服务端的对象管理和权限管理等底层云存储服务。腾讯云对象存储高级产品经理贺永红表示通过小程序云存储的结合小程序可以实现直接读写云存储资源服务端在管理资源同时还可同步进行AI处理。例如腾讯乘车码出行小程通过将城市数据迁移上云储存实现大业务小体积香格里拉智能入住小程序通过和云储存的结合实现了客户的快速便捷智能入住作业盒子小程序通过云存储的AI识别实现在线作批改。
贺永红介绍目前腾讯云在云存储的可用性、数据可靠性和QPS三大核心指标上分别已经达到99.95%99.9999999999%和30000的高水准在业界遥遥领先。
