k8s学习-etcd简单使用

k8s学习-etcd简单使用

介绍

etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现。

特点

简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单

安全：支持SSL证书验证

快速：根据官方提供的benchmark数据，单实例支持每秒2k+读操作

可靠：采用raft算法，实现分布式系统数据的可用性和一致性

概念术语

Raft：etcd所采用的保证分布式系统强一致性的算法。Node：一个Raft状态机实例。Member： 一个etcd实例。它管理着一个Node，并且可以为客户端请求提供服务。Cluster：由多个Member构成可以协同工作的etcd集群。Peer：对同一个etcd集群中另外一个Member的称呼。Client： 向etcd集群发送HTTP请求的客户端。WAL：预写式日志，etcd用于持久化存储的日志格式。snapshot：etcd防止WAL文件过多而设置的快照，存储etcd数据状态。Proxy：etcd的一种模式，为etcd集群提供反向代理服务。Leader：Raft算法中通过竞选而产生的处理所有数据提交的节点。Follower：竞选失败的节点作为Raft中的从属节点，为算法提供强一致性保证。Candidate：当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始竞选。Term：某个节点成为Leader到下一次竞选时间，称为一个Term。Index：数据项编号。Raft中通过Term和Index来定位数据。

数据读写顺序

为了保证数据的强一致性，etcd集群中所有的数据流向都是一个方向，从 Leader （主节点）流向 Follower，也就是所有 Follower 的数据必须与 Leader 保持一致，如果不一致会被覆盖。

用户对于etcd集群所有节点进行读写

读取：由于集群所有节点数据是强一致性的，读取可以从集群中随便哪个节点进行读取数据写入：etcd集群有leader，如果写入往leader写入，可以直接写入，然后然后Leader节点会把写入分发给所有Follower，如果往follower写入，然后Leader节点会把写入分发给所有Follower

leader选举

假设三个节点的集群，三个节点上均运行Timer（每个Timer持续时间是随机的），Raft算法使用随机Timer来初始化Leader选举流程，第一个节点率先完成了Timer，随后它就会向其他两个节点发送成为Leader的请求，其他节点接收到请求后会以投票回应然后第一个节点被选举为Leader。

成为Leader后，该节点会以固定时间间隔向其他节点发送通知，确保自己仍是Leader。有些情况下当Follower们收不到Leader的通知后，比如说Leader节点宕机或者失去了连接，其他节点会重复之前选举过程选举出新的Leader。

判断数据是否写入

etcd认为写入请求被Leader节点处理并分发给了多数节点后，就是一个成功的写入。假设总节点数是N，那么多数系欸但Qutorum=N/2+1. 在集群中推荐的最少的节点数量是3个，因为1和2个节点的容错节点数量都是0，一旦有一个节点宕机，那么整个集群就不能正常工作了。

架构以及解析

架构图

架构解析

etcd主要分为四个部分。

HTTP Server：用于处理用户发送的API请求，以及其他etcd节点的同步与心跳信息请求store：用于处理etcd支持的各类功能的事务，包括数据索引，节点状态变更，监控与反馈，事件处理与执行等。是etcd对用户提供的大多数API功能的具体实现。Ralft：强一致性算法的具体实现，是etcd的核心。WAL： Write Ahead Log,预写式日志，是etcd的数据存储的方式。除了在内存中存所有的数据的状态以及节点的索引之外，etcd就通过WAL进行持久化存储。WAL中，所有的数据提交前都会事先记录日志。Snapshot是为了防止数据过多而进行的状态快照 Entry表示存储的具体的日志内容

通常，一个用户的请求发送过来，会由HTTP server转发给store进行具体的事物处理，如果涉及到节点的需改，则交给ralft模块进行状态的变更，日志的记录，然后再同步给别的etcd节点以确认数据提交，最后进行数据的提交，再次同步。

应用场景

服务注册与发现

etcd可以用于服务的注册与发现

前后端业务注册发现

中间件以及再后端服务etcd注册，前端和中间件可以很轻松的从etcd中发现相关服务器然后服务器之间根据调用关系相关绑定调用。

多组后端服务器注册发现

后端多个无状态相同副本的app可以同事注册到etcd中，前端可以通过haproxy从etcd中获取到后端的ip和端口组，然后请求进行转发，可以用来故障转移屏蔽后端以及后端多组app实例。

消息发布与订阅

etcd可以充当消息中间件，生产者可以往etcd中注册topic并发送消息，消费者可以从etcd中订阅消息topic,来获取生产者发送到etcd中的消息。

负载均衡

后端多组相同的服务提供者可以经自己服务注册到etcd中，etcd并且会与注册的服务进行监控检查，服务请求这首先从etcd中获取到可用的服务提供者真正的ip:port,然后对多组服务发送请求，etcd在其中充当了负载均衡的功能。

部署通知与协调

当etcd watch服务发现丢失，会通知服务检查控制器向etcd发送启动服务，etcd通知服务进行相应操作当服务完成work会讲状态更新至etcd，etcd对应会通知用户

分布式锁

当有多个竞争者node节点的时候，etcd作为总控，在分布式集群中与一个节点成功分配lock

分布式队列

根据每个node来创建对应的node队列，根据不同的队列可以在etcd中找到对应的competitor

集群监控与Leader选举

etcd可以根据ralf算法在多个node节点来选举出leader

配置

安装配置，参考官方文档。

​​Install | etcd​​

配置文件

配置文件说明,

[root@etcd-0-8 app]# cat /etc/etcd/etcd.conf#[Member]#ETCD_CORS=""ETCD_DATA_DIR="/data/app/etcd/" # etcd数据存储目录，建议存储在数据盘#ETCD_WAL_DIR=""ETCD_LISTEN_PEER_URLS=" # 与同伴的通讯地址，和其他节点同伴的通讯地址 ETCD_LISTEN_CLIENT_URLS=" # 对外提供服务的地址#ETCD_MAX_SNAPSHOTS="5" # etcd最大快照保存数#ETCD_MAX_WALS="5" # etcd 最大walsETCD_NAME="etcd-0-8" # etcd节点名称，集群内需要唯一#ETCD_SNAPSHOT_COUNT="100000" # 指定有多少事务（transaction）被提交时，触发截取快照保存到磁盘#ETCD_HEARTBEAT_INTERVAL="100" # leader 多久发送一次心跳到 followers。默认值是 100ms#ETCD_ELECTION_TIMEOUT="1000" # 重新投票的超时时间，如果 follow 在该时间间隔没有收到心跳包，会触发重新投票，默认为 1000 ms#ETCD_QUOTA_BACKEND_BYTES="0"#ETCD_MAX_REQUEST_BYTES="1572864"#ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"#ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"#ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"##[Clustering]ETCD_INITIAL_ADVERTISE_PEER_URLS=" # 该节点同伴监听地址，这个值会告诉集群中其他节点ETCD_ADVERTISE_CLIENT_URLS=" # 对外公告的该节点客户端监听地址，这个值会告诉集群中其他节点#ETCD_DISCOVERY=""#ETCD_DISCOVERY_FALLBACK="proxy"#ETCD_DISCOVERY_PROXY=""#ETCD_DISCOVERY_SRV=""ETCD_INITIAL_CLUSTER="etcd-0-8= # 集群中所有节点的信 ETCD_INITIAL_CLUSTER_TOKEN="etcd-token" # 创建集群的 token，这个值每个集群保持唯一。这样的话，如果你要重新创建集群，即使配置和之前一样，也会再次生成新的集群和节点 uuid；否则会导致多个集群之间的冲突，造成未知的错误ETCD_INITIAL_CLUSTER_STATE="new"#ETCD_STRICT_RECONFIG_CHECK="true" # 新建集群的时候，这个值为 new；假如已经存在的集群，这个值为 existing#ETCD_ENABLE_V2="true"##[Proxy]#ETCD_PROXY="off"#ETCD_PROXY_FAILURE_WAIT="5000"#ETCD_PROXY_REFRESH_INTERVAL="30000"#ETCD_PROXY_DIAL_TIMEOUT="1000"#ETCD_PROXY_WRITE_TIMEOUT="5000"#ETCD_PROXY_READ_TIMEOUT="0"##[Security]#ETCD_CERT_FILE=""#ETCD_KEY_FILE=""#ETCD_CLIENT_CERT_AUTH="false"#ETCD_TRUSTED_CA_FILE=""#ETCD_AUTO_TLS="false"#ETCD_PEER_CERT_FILE=""#ETCD_PEER_KEY_FILE=""#ETCD_PEER_CLIENT_CERT_AUTH="false"#ETCD_PEER_TRUSTED_CA_FILE=""#ETCD_PEER_AUTO_TLS="false"##[Logging]#ETCD_DEBUG="false"#ETCD_LOG_PACKAGE_LEVELS=""#ETCD_LOG_OUTPUT="default"##[Unsafe]#ETCD_FORCE_NEW_CLUSTER="false"##[Version]#ETCD_VERSION="false"#ETCD_AUTO_COMPACTION_RETENTION="0"##[Profiling]#ETCD_ENABLE_PPROF="false"#ETCD_METRICS="basic"##[Auth]#ETCD_AUTH_TOKEN="simple"

应用举例

# 设置一个key值[root@etcd-0-8 ~]# etcdctl set /msg "hello k8s"hello k8s# 获取key的值[root@etcd-0-8 ~]# etcdctl get /msghello k8s# 获取key值的详细信息[root@etcd-0-8 ~]# etcdctl -o extended get /msgKey: /msgCreated-Index: 12Modified-Index: 12TTL: 0Index: 12hello k8s# 获取不存在的key回报错[root@etcd-0-8 ~]# etcdctl get /xxzxError: 100: Key not found (/xxzx) [12]# 设置key的ttl，过期后会被自动删除[root@etcd-0-8 ~]# etcdctl set /testkey "tmp key test" --ttl 5tmp key test[root@etcd-0-8 ~]# etcdctl get /testkeyError: 100: Key not found (/testkey) [14]# key 替换操作[root@etcd-0-8 ~]# etcdctl get /msghello k8s[root@etcd-0-8 ~]# etcdctl set --swap-with-value "hello k8s" /msg "goodbye"goodbye[root@etcd-0-8 ~]# etcdctl get /msggoodbye# mk 仅当key不存在时创建(set对同一个key会覆盖)[root@etcd-0-8 ~]# etcdctl get /msggoodbye[root@etcd-0-8 ~]# etcdctl mk /msg "mktest"Error: 105: Key already exists (/msg) [18][root@etcd-0-8 ~]# etcdctl mk /msg1 "mktest"mktest# 创建自排序的key[root@etcd-0-8 ~]# etcdctl mk --in-order /queue s1s1[root@etcd-0-8 ~]# etcdctl mk --in-order /queue s2s2[root@etcd-0-8 ~]# etcdctl ls --sort /queue/queue/00000000000000000021/queue/00000000000000000022[root@etcd-0-8 ~]# etcdctl get /queue/00000000000000000021s1# 更新key值[root@etcd-0-8 ~]# etcdctl update /msg1 "update test"update test[root@etcd-0-8 ~]# etcdctl get /msg1update test# 更新key的ttl及值[root@etcd-0-8 ~]# etcdctl update --ttl 5 /msg "aaa"aaa# 创建目录[root@etcd-0-8 ~]# etcdctl mkdir /testdir# 删除空目录[root@etcd-0-8 ~]# etcdctl mkdir /test1[root@etcd-0-8 ~]# etcdctl rmdir /test1# 删除非空目录[root@etcd-0-8 ~]# etcdctl get /testdir/testdir: is a directory[root@etcd-0-8 ~]#[root@etcd-0-8 ~]# etcdctl rm --recursive /testdir# 列出目录内容[root@etcd-0-8 ~]# etcdctl ls //tmp/msg1/queue[root@etcd-0-8 ~]# etcdctl ls /tmp/tmp/a/tmp/b# 递归列出目录的内容[root@etcd-0-8 ~]# etcdctl ls --recursive //msg1/queue/queue/00000000000000000021/queue/00000000000000000022/tmp/tmp/b/tmp/a# 监听key，当key发生改变的时候打印出变化[root@etcd-0-8 ~]# etcdctl watch /msg1xxx[root@VM_0_17_centos ~]# etcdctl update /msg1 "xxx"xxx# 监听某个目录，当目录中任何 node 改变的时候，都会打印出来[root@etcd-0-8 ~]# etcdctl watch --recursive /[update] /msg1xxx[root@VM_0_17_centos ~]# etcdctl update /msg1 "xxx"xxx# 一直监听，除非 `CTL + C` 导致退出监听[root@etcd-0-8 ~]# etcdctl watch --forever /# 监听目录，当发生变化时执行一条命令[root@etcd-0-8 ~]# etcdctl exec-watch --recursive / -- sh -c "echo change"change# backup[root@etcd-0-14 ~]# etcdctl backup --data-dir /data/app/etcd --backup-dir /root/etcd_backup2019-12-04 10:25:16.113237 I | ignoring EntryConfChange raft entry2019-12-04 10:25:16.113268 I | ignoring EntryConfChange raft entry2019-12-04 10:25:16.113272 I | ignoring EntryConfChange raft entry2019-12-04 10:25:16.113293 I | ignoring member attribute update on /0/members/2d2e457c6a1a76cb/attributes2019-12-04 10:25:16.113299 I | ignoring member attribute update on /0/members/d2d2e9fc758e6790/attributes2019-12-04 10:25:16.113305 I | ignoring member attribute update on /0/members/56e0b6dad4c53d42/attributes2019-12-04 10:25:16.113310 I | ignoring member attribute update on /0/members/56e0b6dad4c53d42/attributes2019-12-04 10:25:16.113314 I | ignoring member attribute update on /0/members/2d2e457c6a1a76cb/attributes2019-12-04 10:25:16.113319 I | ignoring member attribute update on /0/members/d2d2e9fc758e6790/attributes2019-12-04 10:25:16.113384 I | ignoring member attribute update on /0/members/56e0b6dad4c53d42/attributes# 使用v3版本[root@etcd-0-14 ~]# export ETCDCTL_API=3[root@etcd-0-14 ~]# etcdctl --endpoints="snapshot save mysnapshot.dbSnapshot saved at mysnapshot.db[root@etcd-0-14 ~]# etcdctl snapshot status mysnapshot.db -w json{"hash":928285884,"revision":0,"totalKey":5,"totalSize":20480}

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。