个人网站 怎么设计,代注册公司要多少钱,平阴网络营销是什么,搭建电商网站编辑手记#xff1a;随着Oracle12.2的发布#xff0c;Sharding技术也逐渐变得越来越强大#xff0c;关于Sharding,你所关心的问题的答案#xff0c;可能都在这里。注#xff1a;本文来自Oracle FAQ文档翻译相关阅读#xff1a;什么是Oracle ShardingOracle Sharding是为O…编辑手记随着Oracle12.2的发布Sharding技术也逐渐变得越来越强大关于Sharding,你所关心的问题的答案可能都在这里。注本文来自Oracle FAQ文档翻译相关阅读什么是Oracle ShardingOracle Sharding是为OLTP应用程序定制设计的一种可扩展、支持高可用功能的架构能够在不具有共享硬件或软件的Oracle数据库池中分发和复制数据。 数据库池作为单个逻辑数据库呈现给应用程序应用程序通过在池中添加额外的数据库(分片)可以在任何平台上弹性扩展(数据事务和用户)到任何级别 使用Oracle数据库12.2.0.1的第一个版本支持扩展到1000个分片。1、Oracle Sharding 的优势与使用类似的可伸缩性方法的本地部署相比Oracle Sharding提供了卓越的运行时性能和更简单的生命周期管理还提供了企业DBMS的优势包括关系模式SQL和其他编程接口支持复杂数据类型在线模式更改多核可扩展性高级安全性压缩高可用性ACID属性一致性 阅读使用JSON的开发人员敏捷性等等。Oracle分片使用水平分区在分片之间分布数据通过分片分割数据库表以便每个分片包含具有相同列但行的不同子集的表。从数据库管理员的角度来看SDB由可以集中或单独管理的多个数据库组成。从应用程序开发人员的角度来看SDB看起来像一个单一的数据库分片的数量和跨越它们的数据的分布对数据库应用程序是完全透明的。 应用程序发出的SQL语句不引用分片也不取决于分片数及其配置。2、Oracle Sharding 架构设计上的考虑OLTP应用程序必须明确地为Sharding架构设计以便实现可扩展性和可用性的好处。 这不同于基于Oracle RAC的HA架构RAC中可扩展性和可用性对应用程序是透明的。 使用分片数据库的应用程序必须具有明确定义的数据模型和数据分发策略(一致的哈希范围列表或组合)主要通过分片键访问数据。 分片键的示例包括customer_idaccount_nocountry_id等。Oracle Sharding还支持数据放置策略(机架和地理位置感知)以及所有部署模型内部部署模式和公共云或混合云。对性能要求较高的事务必须是通常访问10行或100行的单分片事务。例如查找和更新客户的记帐记录查找和更新订户的文档等。在用于高性能事务的分片之间没有通信或协调。当然还支持多分片操作和非分片键访问但可能会对性能产生影响。这种交易包括简单的聚合报告等 - 通常小于总工作量的10。3、Oracle Sharding 高可用、可扩展性的实现在上述的设计考虑的基础上在分片数据库架构上运行的应用程序可以实现更高级别的可伸缩性和可用性。Sharding 数据库的性能会随着池中分片的增加而线性增长因为每个分片之间是彼此独立的。每个分片通常使用本地存储、闪存和内存为客户进行性能优化提供了相对低的成本。第一个版本的Oracle Sharding旨在扩展到1,000个分片。分片之间彼此独立意味着一个分片的中断或性能较差不会影响在其他分片上执行的事务的可用性或性能。单个分片的高可用性(HA)由数据库复制的自动部署提供。默认配置是具有自动数据库故障转移的单向Data Guard物理复制其实现起来非常简单。还可以自动部署Active Data Guard(复制打开只读)或Oracle GoldenGate(双向复制所有副本均为打开读写)。碎片可以在数据中心内和跨数据中心进行复制复制是使用Oracle Sharding支持的数据放置策略的数据中心和机架感知实现的当然也可以手动配置Oracle RAC以提供Shard HA。碎片是由一组称为Shard Director的复制侦听器作为路由器的前端。 Oracle客户端(JDBCOCI和ODP.net)和Oracle通用连接池(UCP)已得到增强可识别连接字符串中指定的分片键并通过控制每个分片允许的最大连接数确保可用性。连接层中的分片路由缓存(由分片的初始请求填充)用于将请求直接路由到数据所在的分片以实现最佳运行时性能。如果对分片数据库进行任何更改(例如自动重新平衡或添加/删除分片)则会自动刷新分片路由缓存。为什么Oracle Sharding受到广泛关注Oracle Sharding是响应客户对数据库架构的需求可以提供线性可扩展性和完全故障隔离的组合而无需共享存储或损害Oracle数据库的企业质量严格的一致性SQL的全部功能开发人员敏捷性 具有JSON安全性高可用性备份和恢复生命周期管理等。Oracle Sharding不仅仅将Oracle的企业质量扩展到分片式数据库架构 并且通过使用自动化来简化生命周期管理高级分区方法来解决各种各样的场景案例以及数据相关的路由以实现卓越的运行时性能。 与竞争性分片解决方案或定制部署相比这些功能为客户提供了显着的优势。1、Oracle Sharding 在12.2版本中的新特性Oracle 12.2在Sharding方面增加了许多新的优势具有完全故障隔离的线性可扩展性。用于Oracle分区的OLTP应用程序可以在任何平台上弹性扩展(数据事务和用户)到任何级别只需在额外的独立服务器上部署新的分片。由于计划外中断或计划维护而导致的碎片不可用或减速只影响该碎片的用户但不会影响其他碎片用户的应用程序的可用性或性能。每个分片可以运行不同版本的Oracle数据库只要应用程序与最早运行的版本向后兼容即可 - 从而在执行数据库维护时轻松维护应用程序的可用性。全球数据分布为消费者带来数据和数据主权以满足数据隐私法规。多生命周期管理任务的自动化简化这些任务包括自动创建分片和复制系统管理分区单一命令部署和细粒度重新平衡。使用智能、数据相关的路由实现卓越的运行时性能。在不牺牲企业RDBMS功能的情况下实现分片的所有优点。包括关系模式SQL和其他编程接口复杂数据类型在线模式更改多核可扩展性高级安全性压缩高可用性 ACID属性一致性读取开发人员与JSON的敏捷性等。2、设计Oracle Sharding 的意义Oracle Sharding使用用于部署和管理分片式数据库架构的全面解决方案来替代本地的分片方法。 Oracle分片提供了跨分片分布表分区的新自动化自动部署分片式数据库包括HA和数据保护的复制高性能路由负载平衡和完整的生命周期管理。Oracle Sharding还针对分片用例显式优化了Oracle数据库经过时间验证的企业功能。 包括Oracle分区、Data Guard、Active Data Guard、GoldenGate、JDBC / OCI / ODP.NET连接池、DBCA、OEM、Oracle RAC等。应用程序使用Oracle Sharding需要什么条件并非所有应用程序都可以利用分片数据库。 Oracle Sharding适用于为分片式数据库架构显式设计的OLTP应用程序。需满足以下条件应用程序必须有一个明确定义的数据模型和数据分布策略(散列范围列表或复合)主要通过某个键访问数据。 密钥的示例包括客户ID帐户号country_id等。所有需要高性能的事务必须是单分片事务。这些事务为高性能路由提供了一个分片键通常访问10或100行。 例如查找和更新客户的记帐记录查找和更新订户的文档等支持多分片操作或非分片键访问但性能会降低。 这种交易包括简单的聚合报告等 - 通常小于总工作量的10。Oracle Sharding与其他高可用架构的对比1、Oracle Sharding 与RACOracle RAC和Active Data Guard的组合为OLTP和分析应用程序提供了透明的横向扩展和可用性并且可以满足99 的用例需求。 使用Oracle RAC所有事务可以对数据库中的任何数据起作用没有必要分区数据或关注多分片操作的性能所有RAC实例共享对同一物理数据库的直接访问。Oracle Sharding牺牲了透明性为定制设计的OLTP应用程序提供了巨大的可扩展性和高可用性。 使用Oracle Sharding应用程序被设计为使更新事务对单个分片中的数据起作用。 跨越多个分片的事务不会受益于与单分片事务相同的性能和可伸缩性。Q:在什么场景下使用Oracle Sharding 而不是RAC有以下两种情况1、当Oracle Enterprise Architect或客户决定Oracle RAC无法解决当前或未来的可扩展性和可用性要求时Oracle Sharding会成为首选解决方案2、当应用程序被明确地设计用于分片数据库时。注意分片和Oracle RAC不是互斥的。分片可以使用Oracle RAC或RAC One节点代替复制HA。第一个版本的Oracle Sharding的唯一注意事项是RAC必须手动配置; Oracle Sharding不提供使用DEPLOY命令自动部署RAC配置就像Data Guard / Active Data Guard和Oracle GoldenGate一样。正在考虑在将来的版本中自动部署RAC配置。2、Oracle Sharding 与多租户Oracle多租户是SaaS和其他数据库应用程序的整合解决方案; Oracle Sharding是高容量OLTP系统的可扩展性和高可用性解决方案。Oracle Multitenant支持用于SaaS应用程序的DBaaS以及私有、公共和开发/测试云。它提供了将数据库联合在一起成为逻辑数据库的基础设施以实现对应用程序透明的所有数据的高性能查询。 Oracle Multitenant通过为Oracle数据库提供最高的整合密度以及将多个集成为一体的简单性为降低资本和运营成本提供了独特的优势。Oracle Sharding为定制设计的OLTP应用程序提供了巨大的可扩展性和高可用性。更新事务必须指定分片密钥并对单个分片中的数据执行操作以便受益于分片式数据库架构承诺的高性能和可用性。支持多分片操作或非分片键访问但性能降低。这样的事务包括简单的聚合报告等 - 理想地小于分片数据库的总工作负载的10。Q:Oracle Sharding是否支持多租户Oracle Sharding(12.2.0.1)的初始版本不支持Oracle Multitenant。 计划在将来的版本中支持单租户容器数据库支持多租户容器数据库。有同时包含Oracle Sharding和多租户的场景案例吗有 当提供对Oracle Multitenant的分区支持时每个分片将是一个PDB并且将受益于Multitenant提供任何其他PDB的敏捷性的相同优势。 示例包括简单地通过从其当前CDB拔出并将其插入到更高版本的CDB中来简化多租户架构中的分片。迁移到Oracle Cloud和从Oracle Cloud迁移的简单性。 可以拔除作为PDB的内部部署分片然后插入Oracle云。碎片的PDB克隆。3、Oracle Sharding 与Oracle MAAOracle Sharding是Oracle MAA的自然演进旨在解决针对定制开发的OLTP应用程序的大规模可扩展性和完全故障隔离的特殊用例。 适用于Oracle数据库的所有Oracle MAA原则也适用于包含SDB的各个分片。 将扩展Oracle MAA最佳实践以解决SDB配置和管理的任何独特注意事项。4、Oracle Sharding 如何与Oracle集成系统相关Oracle Sharding是与大多数其他功能一样的硬件平台属于Oracle MAA可扩展性和可用性解决方案的保护范围。Oracle Sharding将受益于底层硬件平台提供的数据库工作负载的任何优势。 这意味着Oracle集成系统提供的数据库性能可用性和可管理性的所有常见优点也会使在此类系统上运行的分片数据库受益。Oracle Sharding背后的技术实现1、数据在分片之间如何分配Oracle Sharding使用水平分区来跨分片(离散物理数据库)分割数据库表以便每个分片包含具有相同列但行的不同子集的表。跨分片的分区的分布在表空间级别完成。分片表的每个分区驻留在单独的表空间中每个表空间与特定分片相关联。每个分片上的表分区与非分片Oracle数据库中使用的常规分区没有区别。即使表的分区驻留在多个数据库中对应用程序开发人员来说表的外观和行为与单个数据库中的常规分区表完全相同。应用程序发出的SQL语句从不引用分片也不依赖于分片数及其配置。Oracle Sharding提供了几种可选的分区方法可以自动或由用户确定数据的分布或两者的组合。2、Oracle支持哪些类型的分片方法Oracle Sharding支持三种分片方法系统管理用户定义和复合分片。系统管理的分片不要求用户指定数据到分片的映射。使用按照一致性哈希分区自动在分片中分布数据。分区算法均匀且随机地在分片之间分布数据。这种分布旨在消除热点并在整个碎片上提供均匀的性能。当向SDB添加或从SDB中删除分片时Oracle Sharding会自动维护平衡的数据分布。系统管理的分片使用为Oracle Sharding优化的一致性哈希分区策略。系统管理的分片是最常用的分片形式。用户定义的分片允许用户明确指定数据到各个分片的映射。当由于性能法规或其他原因某些数据需要存储在特定分片上并且用户需要对分片之间的数据移动进行完全控制时使用。用户定义的分片的另一个优点是在分片的计划或计划外中断的情况下用户准确地知道什么数据不可用。用户定义的分片的缺点是用户需要监视和维护跨分片的数据和工作负载的平衡分布。用户定义的分片使用范围或列表分区策略。复合分片是用户定义和系统管理的分片的组合在需要时提供这两种方法的优点。使用复合分片数据首先按列表或范围分区然后通过一致的散列进一步分区。这两个级别的分片使得可以将数据映射到一组分片然后自动保持该组分片上的数据的平衡分布。3、如何在单个分片上包含多个事务对于许多应用程序可以通过将水平分区与跨所有分片的少量只读或读取主表的复制结合来实现高百分比的单分片操作。对于通常与分片表一起访问的相对较小的表完整表的复制是一个不错的选择。在每个分片中具有相同内容的表称为重复表。Oracle Sharding使用物化视图复制来同步重复表的内容。每个分片上的重复表由只读物化视图表示。物化视图的主表位于称为碎片目录的特殊数据库中。所有分片上的物化视图都将以可配置的频率自动刷新。 CREATE DUPLICATED TABLE自动创建主表物化视图和物化视图复制所需的其他对象。4、应用程序如何知道它在运行时必须连接到哪个分片应用程序必须指定一个分片键以使用分片式数据库架构实现高性能。例如网上银行应用程序可以设计为使用当用户作为分片键登录时生成的customer_id。当处理数据库事务时应用程序将分片键传递到连接层Oracle JDBCOCI和ODP.net客户端能够识别连接字符串中指定的分段键以实现高性能数据相关的路由。连接层中的分片路由缓存用于将请求直接路由到数据所在的分片。用于JDBC客户端的Oracle通用连接池(UCP)还能够识别连接URL中指定的分片键。分片路由缓存用于将连接直接路由到数据所在的分片。 Oracle UCP还支持非Oracle应用程序客户端(如Apache TomcatWebSphere等)与Oracle Sharding一起使用。例如UCP分片路由缓存包含分片键范围到分片的映射。当应用程序通过分片键检出连接时UCP从其路由缓存中查找其上存在此键的相应分片。如果池中有匹配的连接可用则UCP通过应用其内部连接选择算法来返回到这些分片中的一个的连接。如果没有匹配的连接则通过将具有分片关键字的请求转发到Shard Director来创建新的连接。在第一次连接到分片时连接池检索分片中的所有键范围并将它们添加到其路由缓存中以便后续连接直接转到分片(即绕过Shard Director)。如果分片不可用客户端连接将自动重定向到HA的分片副本。5、如果重新平衡数据或添加/删除碎片则路由缓存如何更新所有重新平衡和添加/删除分片操作都由SDB管理层(Shard Catalog和Shard Director)执行。在所有这些操作期间SDB保持可用并在线。一旦重新平衡完成分片路由高速缓存将失效并在下次将连接路由到分片时自动刷新。6、如何在多个shard之间重新平衡工作负载在以下情况下需要跨分片的数据迁移当一个或多个分片添加到SDB或从SDB中删除时当跨分片的数据或工作负载分布存在偏差时在由分片数量变化触发的分片之间重新分布数据的过程称为重新分片。自动重新分片可以在SDB上提供统一的数据分布。要理解这是如何完成的有必要了解如何在碎片上物理分区数据。跨分片的分区分布通过在驻留在不同分片上的表空间中创建分区来实现。为了最小化多分片连接的数量表族中所有表的相应分区总是存储在同一分片中。分片表的每个分区存储在单独的表空间中。因此表空间是SDB中的数据分布的物理单位。分片之间的数据迁移单位是块。块是一组表空间用于存储表系列中所有表的相应分区。块包含来自表系列的每个表的单个分区。这保证来自不同分片表的相关数据一起移动。在创建SDB时指定每个分片中的块数。图1显示了一个具有3个块的碎片。每个块都包含一组包含来自多个分片表的相关数据的分区。还显示了驻留在所有分片上存在的非分片表空间(Stockitems)中的重复表。当向SDB添加或从SDB中删除分片时会迁移多个块以保持跨分片的数据和工作负载的均衡分布。 根据分片方法重新分片自动发生或由用户指示。当发生数据或工作负载倾斜时特定块也可以从一个碎片移动到另一个碎片而碎片数量没有任何变化。在这种情况下块迁移由DBA启动以消除热点。或者Oracle Sharding也支持在线拆分一个块。当块变得太大时或者只有一部分块必须迁移到另一个块时需要拆分。RMAN增量备份可传输表空间和Oracle Notification Service技术用于将块迁移对应用程序可用性的影响降至最低。块在块迁移期间保持联机。当存储在块中的数据仅可用于只读访问时有一段很短的时间(几秒钟)。迁移组块的过程由管理员自动启动。启用FAN的客户端在块即将在源分片中变为只读时以及在完成块迁移时在目标分片中完全可用时接收通知。当客户端接收到“chunk read-only”事件时它们可以重复连接尝试直到块移动完成或访问源块中的只读块。在后一种情况下尝试写入块将导致运行时错误。7、分片如何提供线性可伸缩性线性可扩展性通过消除碎片之间的任何依赖性来实现。 每个分片是独立的Oracle数据库不共享任何硬件或软件。 需要高性能和可扩展性的事务只访问单个分片中包含的数据。 设计用于Oracle分区的OLTP应用程序可以在任何平台上弹性扩展(数据事务和用户)到任何级别只需在额外的独立服务器上部署新的分片。 每个分片通常使用本地存储器闪存和存储器提供以相对低的成本进一步优化性能的机会。通过应用程序提供的分片键和Oracle客户端(JDBCOCI和ODP.net)及Oracle通用连接池(UCP)支持的高性能数据相关路由将工作负载定向到相应的分片。 分片键的示例包括customer_idaccount_nocountry_id等。8、分片如何实现故障隔离根据定义每个分片是独立的Oracle数据库不与其他分片共享硬件或软件。一个或多个碎片的中断或减速不会影响其他碎片上应用程序的可用性。在分片级别用于HA的复制在分片经历中断时快速恢复可用性。同样一个分片的计划维护不会影响其他分片的可用性。另外分片导向器和分片目录数据库的其他组件也有助于消除单点故障。碎片导向器是一个非常轻量级的进程不包括Oracle数据库实例。冗余碎片引导器部署在每个区域内部署碎片以确保对SDB的连续应用程序访问。分片目录数据库使用Oracle Data Guard复制和自动故障转移来提供高可用性。目录数据库对运行时连接的路由没有影响 - 客户端连接使用分片路由缓存来实现高性能数据相关的路由。在Data Guard自动故障转移期间目录数据库的瞬时不可用性仅导致碎片维护操作或多分片查询的短暂中断。9、如何为分片数据库实施高可用性和灾难恢复用于任何Oracle数据库的所有常用Oracle高可用性解决方案也用于为分片式数据库提供HA备份和恢复以及灾难恢复。具有自动数据库故障转移的Data Guard是用于计划外中断和计划维护的默认HA配置并自动为每个分片部署管理员可以自动部署Active Data Guard(所有分片副本以只读方式打开)或Oracle GoldenGate双向复制用于分片HA管理员可以手动配置用于分片HA的Oracle RACOracle恢复管理器(RMAN)和闪回在提供分片级别的备份和基于时间点的恢复零数据丢失恢复设备提供高效的企业备份和恢复。恢复设备可以执行实时备份从而保护SDB中的每个事务。每个分片的其他远程副本由Data GuardActive Data Guard或Oracle GoldenGate维护并为站点中断提供实时灾难恢复和数据保护。基于版本的重新定义在部署修改后端数据库对象的应用程序的新版本时提供了对分片的在线修补。云上支持Oracle Sharding吗Oracle数据库云服务(PaaS)目前不提供用于部署分片数据库的整体自动化但 使用Oracle数据库云服务自动部署Oracle Sharding将会在2017年被列入计划计划支持混合云和全部云部署模型以及单数据中心和多数据中心部署。然后Oracle Sharded数据库可以使用cookbook部署在Oracle Cloud(DBCS实例)上。Q如何为Oracle Cloud(PaaS)授权Oracle Sharding使用DBCS EE和DBCS EE高性能(HP)仅限使用三个主分片。 (待机分片数量没有限制)使用DBCS EE极端性能(EP)和Exadata云服务(ECS)对主分片或备用分片数量没有限制。有任何疑问可以加入云和恩墨大讲堂跟讲师面对面交流。加入云和恩墨大讲堂微信群参与讨论学习
