企业是如何做电子商务网站,动画设计属于什么类专业,个人网站备注模板,想做电商怎么入手2023 年是 Databend 为用户和客户全面交付 Data Cloud 数据云平台的一年#xff0c;真正实现了「数据所在#xff0c;计算随行」的理念#xff0c;即将计算力带至数据之处#xff0c;致力于为用户交付更澎湃的算力。
Databend 自 2021 年开始研发#xff0c;「三年之期已… 2023 年是 Databend 为用户和客户全面交付 Data Cloud 数据云平台的一年真正实现了「数据所在计算随行」的理念即将计算力带至数据之处致力于为用户交付更澎湃的算力。
Databend 自 2021 年开始研发「三年之期已到」作为 Snowflake 的开源竞品Databend 会交出怎样的一份答卷呢让我们一起看看吧。
Large Scale直面规模化挑战
以往第一个 Part 是留给开源/社区的但是今年我们将第一个部分留给用户谈「规模化」。
一方面越来越多的用户信任并选择 Databend 应对生产环境中的海量数据分析场景我们已经服务于广告投放、医疗健康、AIGC、电信服务、快递物流、企业服务等多个行业为技术栈现代化、数据汇聚平台、数据归档、广告投放分析、 用户行为分析等多个场景贡献力量。 Databend 提供高性能低成本的查询解决方案支持标准 SQL 和自动索引减少研发运维的学习成本。Databend 在 DMALL 除了 TiDB、 MySQL 数据归档场景外又添加一新场景 日志归档与实时查询10 亿数据量级下常用查询均可做到秒级响应。Databend 能够基于对象存储提供高性能查询数据迁移成本低并且兼容原有协议和查询语句。使用 Databend 替换 CDH 某医药集团大表查询和历史归档数据关联查询场景下查询加载速度提升 2 倍存储成本降低为本地盘多副本模式的 1/15。 另一方面Databend 所处理的数据也在规模化凭借存算分离、算算分离、读写分离的能力直面业内顶级的数据分析场景。除了云和私有化部署之外也解锁了混合云的新姿势。 Databend 能够应对超大规模数据导入和分析场景结合读写分离策略在单表数据数万亿行、原始数据 超 10 PB 的场景下可以做到秒级写入、秒级读取。Databend 采用了存算分离的设计理念既增强系统的灵活性和扩展性又优化多租户环境下的读写分离策略显著提升性能、安全性和稳定性。万全网络中台架构从 Greenplum 成功迁移到 Databend查询性能增加了3.7倍数据导入性能提高了 1.5 倍数据导出速度提升了2.5倍存储效率增加了2倍同时 schema 维护的效率也提高了4倍。凭借 Databend 对存储和计算资源的优化在数据湖场景数据汇聚平台 中帮助用户实现按需按量付费模式。Databend 的数据压缩技术可以将用户数据压缩比提高至 8 - 15 倍同时结合高效的 ETL/ELT 工作流用户能够更便捷地完成数据的清洗和整理工作。 MoreConnectivity打破数据孤岛新范式
Databend 致力于打破数据孤岛帮助企业更合理地管理和利用现有的数据资源和计算资源。通过构建更加开放的数据生态和统一的数据管理抽象Databend 可以助力用户整合公有云、私有云和边缘设备自如地管理和处理超大规模数据。 在 2023 年Databend 的着眼点在于如何让数据更加高效流转让数据活起来、用起来。我们提供了一站式的 ETL 数据处理工作流
对接丰富的数据存储服务利用 Stage 打通数据中转链路支持接入丰富的数据源和数据格式提供数据清洗与转化能力让数据立等可用提供替换、合并、数据流等多样化数据更新方式保持数据新鲜度和可用性打造数据开放生态朋友圈帮助数据「引进来」和「走出去」 Databend 支持对 JSON 的高效查询处理利用 Databend Cloud 的高效数据摄入能力和丰富的可视化集成支持某 AIGC 初创公司的用户行为分析成本降低至原有方案的十分之一。Databend 支持混合云架构以优化私有化部署成本结合 Databend Cloud 的弹性计算能力某短视频内容产业客户采用混合云方案在环境规模和 IT 成本限制的前提下满足大规模数据分析的算力调度需求。 云数据库或者新一代数仓并不是 Databend 的最终目标我们希望通过构建 Connectivity Cloud Database 的范式为用户创造更具联通性的数字未来。
Crest of Innovation勇攀数据库之巅
没有持续投入创新和研发再好的理念也只是空中楼阁。前一部分讲述了理念接下来我们将介绍 Databend 在 2023 年迭代过程中取得的一些进展。
性能登顶与资源调度优化
TPC-H 是一款面向商品零售业的决策支持系统测试基准在 TPC-H SF100 测试中我们利用 22 条查询和接近 6 亿行数据综合评估 Snowflake 和 Databend Cloud 的性能与成本。Databend Cloud 以不到一半的成本实现了更高性能有关测试详情与复现方式请参考 TPC-H Benchmark: Databend Cloud vs. Snowflake | Databend 。 ClickBench 是 ClickHouse 发起的分析型数据库性能测试排行榜收录了Snowflake、ClickHouse 等 50 多个主流分析型数据库的测试结果采用公开标准来衡量数据库的性能。2023 年 3 月在三种不同机型测试中Databend 的导入性能均获得第一名Hot Run 查询下我们有一个机型是第一名其他两个机型分别是第二第三名。 数据采集自 benchmark.clickhouse.com 2023 年 03 月
此外Databend 的 Python 绑定的出色性能和高效资源调度能力也得到用户认可以是少数几个提供 Python API 且能够在资源有限条件下完成复杂查询的 SQL 数据分析工具之一。
迭代更贴心的一站式 Lakehouse
2023 年Databend 的形态更加贴近 Lakehouse 我们提供一站式的数据分析解决方案覆盖数据全生命周期并特别增强以下能力
更强劲的数据处理能力支持在导入数据过程中进行数据清洗MERGE INTO 和 ATTACH TABLE保证数据始终就绪。更完备的类型和函数支持 丰富的 JSON 处理函数和 GEO 地理位置函数。更自如的数据源集成提供 CONNECTION 复用访问凭据支持 Delta Table 和 Iceberg 表引擎。更全面的安全策略和权限模型涵盖网络、密码、用户访问控制等。
此外Databend 也正式推出企业版以提供更丰富的高级特性助力用户业务成功
计算列Computed Columns 通过表达式从其他列计算生成数据的列使用计算列可以将表达式的数据存储下来加快查询速度同时可以简复杂的查询表达式。VACUUM TABLE 从表中永久删除历史数据文件来释放存储空间有助于优化系统性能。聚合索引通过预计算与索引聚合技术聚合索引可以满足高性能查询支持自定义索引支持业务的不同需要。数据脱敏基于角色的数据掩码策略保护您的敏感信息在提供默认安全的同时保证数据的可用性满足业务合规需求。Serverless Background Service 自动发现数据写入之后需要压缩、重排序、清理的表无需其他服务也无需手动操作自动触发对应表的维护工作降低维护负担。 Databend 目前支持的企业级特性可以访问下方链接获取 Enterprise Features | Databend 用户业务从 Snowflake 转换到 Databend / Databend Cloud 几乎没有迁移和使用成本。 我们也提供了详细的特性对照表可以访问 Databend vs. Snowflake Features and Capabilities · Issue #13059 · datafuselabs/databend · GitHub 获取。 AIRD探索大模型驱动的产研工作流
今年最火的关键词莫过于生成式 AI Databend 也是最早一批投入精力探索大模型与数据库结合的项目。我们在 Databend 中内置了 AI 函数支持通过 SQL 调用 OpenAI 兼容 API 、创建了开源的知识库问答方案 AskBend 。 随着 Databend 开源社区的快速发展新功能的持续增加和现有功能的优化提出了新的测试挑战。除了原有的严格且丰富的测试方案之外我们还引入了 GPT-4 作为质量保障的一个关键环节帮助我们执行正确性和优化器层面的测试智能挖掘潜在的 bug 确保稳定性。 目前我们开源了一套由 GPT-4 驱动的数据生成和结果集校验方案可以访问 GitHub - datafuselabs/wizard: A GPT4 powered tool for detecting bugs in Databend 获取其中包括
双缝探测模型比较当前 PR 版本与主分支main版本的结果集来进行验证。结果集正确性模型对照其他数仓方案确保 Databend 的结果集的正确性。
除此之外Databend 的工作流中也包含丰富的 AI 基础设施文档团队可以借助 GPT-4 改善文档质量、进行多语言支持并且提供更符合业务需要的用例大幅解放生产力。
Beyond Code构建更棒的社区 (采集自 ossinsight.io 数据更新略有延迟)
开源是 Databend 团队不变的初心。在过去一年里Databend 主 Repo
新增约 1900 star star 总数量达到 6963 。新增 PR 约 3700 个总 PR 数量达到 9100 。解决 Issue 1100 余个累计已解决 Issue 接近 4200 个。新增 33 位贡献者在特性支持、功能完善、文档等多个不同方面贡献力量。总计提交次数突破 30000 。
Databend 团队在 2023 年也积极举办和参与各项技术分享活动共话技术创新
举办 7 场线上 Data Infra 分享和 1 场线下的 Rust Tuesday参与包括 InfoQ、3306π、Rust 中文社区等伙伴举办的多场分享活动
除了贡献者社区和合作伙伴社区的不断发展之外2023 年的重要变化是Databend 的用户社区得到进一步的壮大我们的缘分从代码开始又在代码之上建立了更加广泛和深刻的联系。感谢大家的一路支持与陪伴我们期望与大家有更多机会共同畅聊数字未来。
Crafting the Future展望 2024
对于 Databend 团队而言2023 年是一个重要的里程碑我们直面了规模化挑战获得了客户的认可与信赖。
2024 年我们的目标是基于 Databend通过 SQL 交付包括 CPU 和 GPU 资源在内的更多算力Compute Where Data Lives: Swift, Smart, Seamless服务于更多数据科学场景让算力更加触手可及 。 当前 Databend 的 2024 年开源产品路线图正在讨论中也欢迎大家关注和参与Databend Roadmap for 2024 (Discussion) · Issue #14167 · datafuselabs/databend · GitHub
