建立门户网站的步骤,安阳企业网站优化外包,手机网站建设怎样,企业网站cms背景 美团是数据驱动的技术公司#xff0c; 非常重视使用数据的效率。为了达到这个目标#xff0c;我们将数据以开放平台的形式开放给需求方。例如#xff0c;帮助需求方开发报表的报表开放平台#xff0c;帮助需求方获取数据的自助查询平台#xff0c;让需求方参与数据建… 背景 美团是数据驱动的技术公司 非常重视使用数据的效率。为了达到这个目标我们将数据以开放平台的形式开放给需求方。例如帮助需求方开发报表的报表开放平台帮助需求方获取数据的自助查询平台让需求方参与数据建设的ETL开放平台和调度管理服务。在这些开放平台上需求方填写必要的配置平台负责根据这些配置产生需要的报表导出数据或者产生ETL流程并通过调度有序执行。通过这种方式简化用户使用数据的流程提高用户使用数据的效率。 开放平台的使用导致产生了大量的不同类型的配置。起初每个服务独立保存和管理自己的配置。随着开放平台的发展与开放力度的增加开放平台对配置的管理遇到了各种各样的问题。主要体现在 可能由于用户误修改或者误删除了配置导致了运行问题。希望能够追溯配置的变更历史更好的找到提醒并修复类似的问题。在开放平台上用户可以自行测试不同的配置。但是用户如果需要将自己的配置上线成为在线报表或者添加到调度参与数据仓库数据清洗就需要确保用户的配置的质量。必须经过数据组的审核以保证系统的健壮性与逻辑的准确性。每个开放服务的业务都与开放配置有关。这些配置的管理需求十分相似。每个服务都自行维护配置会增加开发成本和维护成本。针对遇到的问题我们首先详细的分析了需求: 统一管理和存储配置。支持不同服务器上的不同语言编写的服务将配置统一存储和管理并可以按照需求调用。从而避免不同服务重复开发增加开发成本和维护成本。配置隔离。不同的开放平台的配置互相之间是独立的统一管理和存储但是互相之间需要互不干扰。版本控制。记录配置的历史变更。通过对比不同版本可以追查修改人修改原因修改时间等。在用户出现误操作时也可以有效的回滚尽量的降低修复成本从而降低出错的成本提高对用户错误修改的容忍度。审核功能。通过审核对可能影响到系统正常运行的主要配置进行变更管理。每次变更都必须经过审核。审核通过的变更才会被提交到系统中参与系统的正常运行。可视化页面。为了方便测试管理和运维需要有方便的页面支持浏览配置列表查看和修改系统中已经存在的配置等。以上需求为必须满足的需求。为了能够更方便的使用还希望该解决方案能够在配置审核通过时通知使用该配置的服务使其知晓该变更。 为了满足上述需求我们决定开发定制的统一集中管理配置的配置管理服务命名为ConfHub意为“配置的中心枢纽”。 配置规划 集中管理配置时不同应用之间的隔离就显得非常重要。同时应用对配置也有分类需求。所以需要对配置进行规划。 规划的基本思路是首先把配置按照应用进行分类。每个配置属于一个应用每个应用下可以有很多配置。在应用下设置命名空间用来满足应用内的配置分类需求。规划方案如下图 这种配置规划的方式避免了配置冲突。 版本管理 版本管理可以带来很多好处比如 错误修改时进行回滚。在有用户恶意修改时可以迅速修复。执行异常时根据最近版本修改的内容定位系统错误的原因。最基本的版本管理如下图 这种基本的版本管理方案可以存储配置的历史变更。但实际使用中并不能满足需求。 在实际的配置使用时配置需要最终进入生产环境如报表开发平台的配置产生报表供分析人员使用ETL开放平台的配置加入调度定时处理数据等。这些生产环境的配置的改动需要经过数据组审核。但在开发过程中配置需要不停的变更。所以希望版本管理能支持在既不影响线上实际使用的配置的前提下能够随意修改测试使用的配置。为了解决这种需求我们对版本管理的逻辑进行了修改。如下图所示 在用户需要修改配置时在测试环境版本中增加新的版本。测试时使用最新的测试环境版本的配置进行测试。当用户需要更新生产环境中使用的配置时向数据组提交上线申请系统会自动的将最新的测试环境版本和最新的生产环境版本的配置进行对比并将对比结果发给相应负责人审核。审核通过的配置会被添加到生产环境版本中。 通过这种版本管理方法既保证了生产环境版本是严格受控的又能保证用户可以自由的测试。 审核 为了保证生产环境运行的配置的质量生产环境的配置的变更都必须进行审核。在这一点上我们使用“人工审核系统辅助”的方案。人工审核确保配置质量系统辅助尽量减少审核人的工作量。 审核过程流程图如下 为了提高审核的效率减少人工审核工作量用户在开放平台即配置的使用方提交配置变更申请。配置使用方会首先对配置进行基本校验校验通过的配置变更才会提交到配置管理系统。 目前ConfHub满足了现有开放平台的配置管理需求有效的支持各个开放平台的发展。 后续ConfHub主要发展方向是 部分开放平台对配置管理有特殊的需求。在提供大体相同的配置管理方式后ConfHub也需要提供一些更精细更定制的配置管理方式。开放的方式不止有开放平台一种而各种不同的开放方式都有需要管理的配置。管理其他开放方式的配置也是ConfHub的目标。
