网站做收付款接口,山东专业的制作网站,重庆佳天下装饰公司电话,创建网站的流程etcd 数据库由 CoreOS 公司创建。 https://github.com/etcd-io/etcd api信息 https://etcd.io/docs/v3.5/dev-guide/api_reference_v3/ etcdctl --help etcd 最初由 CoreOS 公司开发#xff0c;作为其核心项目之一。 CoreOS 成立于 2013 年#xff0c;专注于容器化技术#…etcd 数据库由 CoreOS 公司创建。 https://github.com/etcd-io/etcd api信息 https://etcd.io/docs/v3.5/dev-guide/api_reference_v3/ etcdctl --help etcd 最初由 CoreOS 公司开发作为其核心项目之一。 CoreOS 成立于 2013 年专注于容器化技术如 Linux 容器、rkt 容器运行时和分布式系统基础设施。 2018 年CoreOS 被 Red Hat 收购后 Red Hat 又并入 IBM 轻量级、高可用的键值存储用于存储分布式系统的关键元数据如服务发现、配置管理。 具有强一致性、高可靠性和易用性。
ETCD 是一个高可用的分布式键值key-value数据库可用于服务发现。
etcd 存储了 K8s 集群的所有状态如 Pod 定义、Service 配置、节点信息是控制平面的“大脑”。 基于 Raft 共识算法提供强一致性、高可用性支持 watch 机制实现实时数据同步。 K8S API 服务器接收到请求后会验证请求格式和内容。通过验证的请求会被存储到 etcdKubernetes 的分布式数据库中。 对象创建一旦存储在 etcd 中Pod 就被正式创建标记为 Pending 状态。 Raft 算法
https://www.youtube.com/watch?vYbZ3zDzDnrwfeatureyoutu.be 角色 Leader选举Leader election 日志复制Log replication 安全性Safety 日志压缩Log compaction Raft将系统中的角色分为领导者Leader、跟从者Follower和候选者Candidate Leader接受客户端请求并向Follower同步请求日志当日志同步到大多数节点上后告诉Follower提交日志。 Follower接受并持久化Leader同步的日志在Leader告之日志可以提交之后提交日志。 CandidateLeader选举过程中的临时角色。
Raft 任意时刻最多只有一个Leader正常工作期间只有Leader和Followers。 Raft算法将时间分为一个个的周期term 选举Leader之后Leader会在整个周期内管理整个集群 如果Leader选举失败该term就会因为没有Leader而结束。 没有服务器赢得多数的选票Leader选举失败等待选举时间超时后发起下一次选举。 leader会定期发送心跳根据唯一Term标识进行通信 选举超时随机化节点在超时时间内未收到leader心跳会发起选举但超时时间随机化如150ms-300ms确保大多数情况下只有一个节点率先发起选举。 Follower将其当前term加一然后转换为Candidate。 它首先给自己投票并且给集群中的其他服务器发送 RequestVote RPC。 当旧leader恢复时它会发现当前Term已超过自己的Term立即切换为Follower状态并接受新leader的日志。 如果旧leader在失联期间提交了部分日志新leader会通过日志复制机制AppendEntries RPC强制旧leader回退冲突日志确保全局一致性。 日志冲突处理如果旧leader在失联期间提交了部分日志新leader会通过日志复制机制AppendEntries RPC强制旧leader回退冲突日志确保全局一致性。 Raft要求leader必须获得超过半数的节点确认quorum才能提交日志。即使网络分区导致部分节点隔离只有拥有多数节点的分区能选举新leader另一分区无法形成有效选举。 Raft保证新leader一定包含所有已提交的日志通过RequestVote阶段的日志完整性检查避免日志分叉。 如果leader突然崩溃导致缺少了一条followers的条目,则Leader为了使Followers的日志同自己的一致Leader需要找到Followers同它的日志一致的地方然后覆盖Followers在该位置之后的条目。 当 leader 和 follower 日志冲突的时候leader 将校验 follower 最后一条日志是否和 leader 匹配如果不匹配将递减查询直到匹配匹配后删除冲突的日志。这样就实现了主从日志的一致性。 Leader会通过RPC向follower发出日志复制等待所有的follower复制完成这个过程是阻塞的。 老的leader里面没提交的数据会回滚然后同步新leader的数据。 持久化
etcd 通过 WAL Snapshot 的组合 日志会定期压缩带有快照功能 Leader 节点会保留所有未提交的日志条目但已提交的日志会在以下条件触发压缩 已接收10000条日志条目或者超过5分钟 日志保留策略快照生成后所有早于该快照的日志会被标记为可删除。
每个节点上的kubelet定期向API Server上报节点状态如CPU、内存、磁盘使用情况API Server将这些信息写入etcd。 当创建Pod时API Server将Pod的元数据如名称、标签、容器镜像等写入etcd。
调度器从etcd读取节点状态和Pod元数据基于算法如资源匹配、亲和性规则选择最佳节点并将调度结果写回etcd。
etcd使用Raft算法保证强一致性确保所有节点看到的数据视图一致。这对调度器的决策至关重要避免“裂脑”问题。 etcd通过多版本控制系统MVCC保存键值的所有历史变更 默认保留最近1000个版本旧版本会被合并到历史文件。 MVCC版本号递增每次修改操作如 PUT、DELETE均触发全局版本号加1支持数据追溯和并发控制。 启动参数作用 建议通过 etcdctl endpoint status 或监控工具如 Prometheus观察版本号和存储使用情况结合业务需求调整参数配置。
空间问题 –auto-compaction-retention 作用设置自动压缩Auto-Compaction的保留策略控制旧版本数据的保留时间。 原理ETCD会定期清理低于指定保留时间的旧版本数据释放存储空间。 配置示例 –auto-compaction-retention1h保留最近1小时内的数据自动压缩更早的版本。 若未配置此参数默认禁用自动压缩需手动执行 compact 命令。 –auto-compaction-mode定义压缩模式可选 periodic基于时间或 revision基于版本号。 示例–auto-compaction-modeperiodic --auto-compaction-retention5m 表示每5分钟压缩一次旧数据。 –quota-backend-bytes 作用设置后端存储Backend Storage的配额限制数据库的最大大小。 原理当数据库大小超过配额时ETCD会触发警报或自动压缩操作。 配置示例 –quota-backend-bytes8589934592限制数据库大小为8GB默认值通常为2GB。 若未配置此参数使用默认配额可能因版本不同而有所差异。 参考文档https://cloud.tencent.com/developer/article/2182442?areaSource102001.19traceIdNJua_dMWh91JYgM2Cm7jT
RPC Raft 算法中服务器节点之间通信使用远程过程调用RPC RequestVote RPC候选人在选举期间发起。
AppendEntries RPC领导人发起的一种心跳机制复制日志也在该命令中完成。
InstallSnapshot RPC: 领导者使用该RPC来发送快照给太落后的追随者。
外部etcd关联 在 kubeadm 配置中指定外部 etcd kubeadm init --config kubeadm-config.yaml # kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
etcd:external:endpoints:- https://etcd-node1:2379- https://etcd-node2:2379- https://etcd-node3:2379caFile: /etc/ssl/etcd/ca.crtcertFile: /etc/ssl/etcd/client.crtkeyFile: /etc/ssl/etcd/client.key静态pod
# etcd-pod.yaml
apiVersion: v1
kind: Pod
metadata:name: etcdnamespace: kube-system
spec:containers:- name: etcdimage: quay.io/coreos/etcd:v3.5.9command:- etcd- --advertise-client-urlshttp://0.0.0.0:2379- --listen-client-urlshttp://0.0.0.0:2379hostNetwork: truevolumes:- name: etcd-datahostPath:path: /var/lib/etcdkubectl apply -f etcd-pod.yaml网络相关 Calico Source Code https://github.com/projectcalico/calico
