法制建设网站,旅行社,国企集团门户网站建设方案,舟山网站建设设计系列导读 如《“数据要素”三年行动计划#xff08;2024—2026年#xff09;》指出#xff0c;工业制造是“数据要素”的关键领域之一。如何发挥海量数据资源、丰富应用场景等多重优势#xff0c;以数据流引领技术流、资金流、人才流、物资流#xff0c;对于制造企业而言是… 系列导读 如《“数据要素×”三年行动计划2024—2026年》指出工业制造是“数据要素×”的关键领域之一。如何发挥海量数据资源、丰富应用场景等多重优势以数据流引领技术流、资金流、人才流、物资流对于制造企业而言是挑战更是机会。 奇点云梳理了与制造业多个细分领域客户的合作实践逐篇呈现。 本篇以光纤通信企业为例分享数据基础设施的“国产替代”实践。 背景打破封锁数据能力必须自主可控
光纤通信是我国重要基建科技发展受全球瞩目。企业在打破海外垄断、以自主研发填补空白的同时近年也开始将IT、DT等核心系统切换为信创环境逐步实现国产替代建设自主可控的数据能力。
“数据能力建设不仅是转型升级、降本增效的‘秘密武器’帮助我们在激烈的市场竞争中脱颖而出更是我们进一步保障供应链和数据资产安全的重要举措。”业内领先的某光纤企业曾在采访中表示。 以本篇分享的客户为例客户在数年前已完成数据平台建设并将数据实践从试点逐步拓展到了各个业务域。然而因被美列入“实体名单”原平台供应商IBM“断供”——客户可以继续使用产品但IBM不再提供版本更新、漏洞修复及其他技术支持。
对于企业而言数据正对经营决策、生产管控发挥关键作用数据基础设施的稳定、可靠、安全之重要性也不言而喻。因此客户立即着手构建自主可控的数据基建培育自有的数据能力。 难点海量数据迁移掣肘
产品需支持信创、安全可控
数据平台产品适配信创环境只能算达到“准入门槛”。要确保“客户可控”数据平台还需要满足
· 产品足够稳定、可靠能支撑越来越大量级的数据存算并具备扩展能力来满足不同阶段的数据业务需求。
· 采用可信开源技术同时供应商需要具备开源技术运维的能力时刻关注技术演进第一时间修复开源组件可能出现的漏洞。
· 具备数据安全合规相关能力包括敏感数据识别、数据分类分级、风险监控等等保障数据资产安全的同时为未来的数据要素流通做好准备。 迁移海量数据的同时保障数据业务不受影响
如前文所述客户在数年前已经完成数据平台建设积累了几十家子公司、几十个业务域的数据数据量以TB为单位覆盖数十个数据项目、数千个任务。不仅数据量极大任务依赖关系也非常复杂。
将原有比较完整的数据建模体系铲平重建显然是对数据资产的浪费。
因此“替代”厂商不仅需要完成新平台的部署还应完成历史数据的平滑、无损、准确、安全迁移同时数据业务保持正常运行不因替换而搁置或中断。
大数据是有“重量”的远不如拷贝单个文件那么简单这也是许多企业在切换数据基建产品、进行国产替代的关键顾虑之一。 解决方案自动化工具专业团队保障高效平滑迁移
奇点云数据云平台DataSimba是中立安全、稳定易用的数据云平台从集成、研发、运维、治理到服务为企业提供数据全生命周期运营管控的必备能力且已完成从IT基础设施、基础软件到应用软件的全产业链信创产品兼容性互认证。
下文简单介绍从旧平台切换到DataSimba的实践过程。
数据平台分层规划支持多角色数据运营
客户面临典型的多子公司、多业务领域、多项目并行场景。除了总部的数据团队还有各单位、应用供应商会在平台上进行数据开发未来还可能接入上下游伙伴企业。
因此在前期奇点云项目组从客户实际业务场景出发制定了数据平台分层和项目划分策略以保障平台的可维护性、可扩展性提升后续各角色数据运营协作的效率。
具体如下
· ODS数据源层负责原始数据的存储和管理。按系统名称进行拆分有问题可快速定位到对应的业务系统。
· CDM公共模型层负责数据的清洗、转换、整合和计算按业务领域构建面向分析的业务过程通用模型。实际拆分为销售域、财务域、生产域、质量域、公共域等项目项目间支持数据权限的逻辑隔离并行开发互不影响。
· ADS应用模型层负责构建面向具体业务场景的分析模型。引用CDM数据根据实际业务场景创建项目如财务财报项目、财务管报项目等。 盘点数据资产制定迁移方案
在迁移的准备期奇点云项目团队对现有数据和第一阶段迁移的数百个任务进行了盘点经过血缘分析、资源评估、影响评估等前置分析明确了迁移对象和策略。 奇点云大数据业务迁移流程
上图为奇点云标准的大数据业务迁移流程。
其中以迁移分析阶段的数据盘点为例梳理数据源表清单、迁移任务清单、表结构、数据量以及任务上下游依赖最终形成完整的待迁移元数据资产清单。
在最后的数据验证环节则需考虑一致性、准确性、性能和功能验证设计详细的测试用例和执行方案。 借助自动化迁移工具实现平滑迁移
在迁移过程中项目团队采用DataSimba内置的自动化工具在数据预处理清洗、格式转换、批量迁移转化、数据校验等多个环节显著减少繁琐的人工操作。以其中两项功能为例
· 快速建表利用DataSimba的数据集成功能完成对项目中500张表的批量建表。
· 作业导入DataSimba的作业批量导入功能可以将预定义好的任务包含任务名称、对应的项目以及依赖项等信息快速导入平台。本次迁移项目组快速导入了盘点好的数百个任务清单改变原本创建任务、配置DAG必须依赖传统手工的情况效率大大提升。 价值好的国产放心“替代”
在本次实践中项目组遇到的最大挑战是项目周期短而业务复杂度高作业任务多涉及到各分子公司的大量数据业务。因此在完成产品选型和平台规划后更重要的是基于业务情况制定可行的迁移规划高效完成平滑迁移同时保障数据业务不中断。
项目组采用自动化迁移代替“手工搬运”相较传统方案耗时缩短了50%节约了“替代”的时间成本。
“替代”后的新数据平台DataSimba完全自主可控支撑各分子公司、合作伙伴完成数据开发与运营。以生产域为例基于新平台完成了对工厂海量IoT数据的实时采集、存算结合算法模型辅助现场质量检测优化生产工艺保障光纤产品质量。
