ACK One 构建应用系统的两地三中心容灾方案
ACK One 构建应用系统的两地三中心容灾方案
作者：宇汇，壮怀，先河
概述
两地三中心是指在两个城市部署三个业务处理中心，即：生产中心、同城容灾中心、异地容灾中心。在一个城市部署 2 套环境形成同城双中心，同时处理业务并通过高速链路实现数据同步，可切换运行。在另一城市部署1套环境做异地灾备中心，做数据备份，当双中心同时故障时，异地灾备中心可切换处理业务。两地三中心容灾方案可以极大程度的保证业务的连续运行。
使用 ACK One 的多集群管理应用分发功能，可以帮助企业统一管理 3 个 K8s 集群，实现应用在 3 个 K8s 集群快速部署升级，同时实现应用在 3 个 K8s 集群上的差异化配置。配合使用 GTM（全局流量管理）可以实现在故障发生时业务流量在 3 个 K8s 集群的自动切换。对 RDS 数据层面的数据复制，本实践不做具体介绍，可参考 DTS 数据传输服务。
方案架构
前提条件
开启多集群管理主控实例[1]
通过管理关联集群[2]，添加 3 个 K8s 集群到主控实例中，构建两地三中心。本实践中，作为示例，在北京部署 2 个 K8s 集群（cluster1-beijing 和 cluster2-beijing），在杭州部署 1 个 K8s 集群（cluster1-hangzhou）。
创建 GTM 实例[3]
应用部署
通过 ACK One 主控实例的应用分发功能[4]，在 3 个 K8s 集群中分发应用。对比传统的脚本部署，使用 ACK One 的应用分发可获得如下收益。
本实践中，示例应用为 web 应用，包含 K8s Deployment/Service/Ingress/Configmap 资源，Service/Ingress 对外暴露服务，Deployment 读取 Configmap 中的配置参数。通过创建应用分发规则，将应用分发到 3 个 K8s 集群，包括 2 个北京集群，1 个杭州集群，实现两地三中心。分发过程中对 deployment 和 configmap 资源做差异化配置，以适应不用地点的集群，同时分发过程实现人工审核的灰度控制，限制错误的爆炸半径。
1. 执行一下命令创建命名空间 demo。
kubectl create namespace demo
2. 使用以下内容，创建 app-meta.yaml 文件。
apiVersion: apps/v1kind: Deploymentmetadata: labels: app: web-demo name: web-demo namespace: demospec: replicas: 5 selector: matchLabels: app: web-demo template: metadata: labels: app: web-demo spec: containers: - image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/web-demo:0.4.0 name: web-demo env: - name: ENV_NAME value: cluster1-beijing volumeMounts: - name: config-file mountPath: "/config-file" readOnly: true volumes: - name: config-file configMap: items: - key: config.json path: config.json name: web-demo---apiVersion: v1kind: Servicemetadata: name: web-demo namespace: demo labels: app: web-demospec: selector: app: web-demo ports: - protocol: TCP port: 80 targetPort: 8080---apiVersion: networking.k8s.io/v1kind: Ingressmetadata: name: web-demo namespace: demo labels: app: web-demospec: rules: - host: web-demo.example.com paths: - path: / pathType: Prefix backend: service: name: web-demo port: number: 80---apiVersion: v1kind: ConfigMapmetadata: name: web-demo namespace: demo labels: app: web-demodata: config.json: | { database-host: "beijing-db.pg.aliyun.com" }
3. 执行以下命令，在主控实例上部署应用 web-demo。注意：在主控实例上创建 kube 资源并不会下发到子集群，此 kube 资源作为原数据，被后续 Application（步骤 4b）中引用。
kubectl apply -f app-meta.yaml
4. 创建应用分发规则。
a. 执行以下命令，查看主控实例管理的关联集群，确定应用的分发目标
kubectl amc get managedcluster
预期输出：
Name Alias HubAcceptedmanagedcluster-cxxx cluster1-hangzhou truemanagedcluster-cxxx cluster2-beijing truemanagedcluster-cxxx cluster1-beijing true
b. 使用以下内容，创建应用分发规则 app.yaml。替换示例中的和 managedcluster-cxxx 为实际待发布集群名称。分发规则定义的最佳实践在注释中说明。
在 app.yaml 中，包含以下资源类型：Policy (type:topology) 分发目标，Policy (type: override)差异化规则， Workflow 工作流，Application 应用。具体可参考：应用复制分发[5]、应用分发差异化配置[6]和应用集群间灰度分发[7]。
apiVersion: core.oam.dev/v1alpha1kind: Policymetadata: name: cluster1-beijing namespace: demotype: topologyproperties: clusters: ["
5. 执行以下命令，在主控实例上部署分发规则 app.yaml。
kubectl apply -f app.yaml
6. 查看应用的部署状态。
kubectl get app web-demo -n demo
预期输出，workflowSuspending 表示部署暂停
NAME COMPONENT TYPE PHASE HEALTHY STATUS AGEweb-demo deployment ref-objects workflowSuspending true 47h
7. 查看应用在各个集群上的运行状态
kubectl amc get deployment web-demo -n demo -m all
预期输出：
Run on ManagedCluster managedcluster-cxxx (cluster1-hangzhou)No resources found in demo namespace #第一次新部署应用，工作流还没有开始部署cluster1-hangzhouRun on ManagedCluster managedcluster-cxxx (cluster2-beijing)No resources found in demo namespace #第一次新部署应用，工作流还没有开始部署cluster2-beijiing，等待人工审核Run on ManagedCluster managedcluster-cxxx (cluster1-beijing)NAME READY UP-TO-DATE AVAILABLE AGEweb-demo 5/5 5 5 47h #Deployment在cluster1-beijing集群上运行正常
8. 人工审核通过，部署集群 cluster2-beijing，cluster1-hangzhou。
kubectl amc workflow resume web-demo -n demoSuccessfully resume workflow: web-demo
9. 查看应用的部署状态。
kubectl get app web-demo -n demo
预期输出，running 表示应用运行正常
NAME COMPONENT TYPE PHASE HEALTHY STATUS AGEweb-demo deployment ref-objects running true 47h
10. 查看应用在各个集群上的运行状态
kubectl amc get deployment web-demo -n demo -m all
预期输出：
Run on ManagedCluster managedcluster-cxxx (cluster1-hangzhou)NAME READY UP-TO-DATE AVAILABLE AGEweb-demo 1/1 1 1 47hRun on ManagedCluster managedcluster-cxxx (cluster2-beijing)NAME READY UP-TO-DATE AVAILABLE AGEweb-demo 5/5 5 5 2dRun on ManagedCluster managedcluster-cxxx (cluster1-beijing)NAME READY UP-TO-DATE AVAILABLE AGEweb-demo 5/5 5 5 47h
11. 查看应用在各个集群上的 Ingress 状态
kubectl amc get ingress -n demo -m all
预期结果，每个集群的 Ingress 运行正常，公网 IP 分配成功。
Run on ManagedCluster managedcluster-cxxx (cluster1-hangzhou)NAME CLASS HOSTS ADDRESS PORTS AGEweb-demo nginx web-demo.example.com 47.xxx.xxx.xxx 80 47hRun on ManagedCluster managedcluster-cxxx (cluster2-beijing)NAME CLASS HOSTS ADDRESS PORTS AGEweb-demo nginx web-demo.example.com 123.xxx.xxx.xxx 80 2dRun on ManagedCluster managedcluster-cxxx (cluster1-beijing)NAME CLASS HOSTS ADDRESS PORTS AGEweb-demo nginx web-demo.example.com 182.xxx.xxx.xxx 80 2d
流量管理
通过配置全局流量管理，自动检测应用运行状态，并在异常发生时，自动切换流量到监控集群。
1. 配置全局流量管理实例，web-demo.example.com 为示例应用的域名，请替换为实际应用的域名，并设置 DNS 解析到全局流量管理的 CNAME 接入域名。
2. 在已创建的 GTM 示例中，创建 2 个地址池：
pool-beijing：包含 2 个北京集群的 Ingress IP 地址，负载均衡策略为返回全部地址，实现北京 2 个集群的负载均衡。Ingress IP 地址可通过在主控实例上运行 “kubectl amc get ingress -n demo -m all” 获取。pool-hangzhou：包含 1 个杭州集群的 Ingress IP 地址。
3. 在地址池中开启健康检查，检查失败的地址将从地址池中移除，不再接收流量。
4. 配置访问策略，设置主地址池为北京地址池，备地址池为杭州地址池。正常流量都有北京集群应用处理，当所有北京集群应用不可用时，自动切换到杭州集群应用处理。
部署验证
1. 正常情况，所有有流量都有北京的 2 个集群上的应用处理，每个集群各处理 50% 流量。
for i in {1..50}; do curl web-demo.example.com; sleep 3; doneThis is env cluster1-beijing !Config file is { database-host: "beijing-db.pg.aliyun.com"}This is env cluster1-beijing !Config file is { database-host: "beijing-db.pg.aliyun.com"}This is env cluster2-beijing !Config file is { database-host: "beijing-db.pg.aliyun.com"}This is env cluster1-beijing !Config file is { database-host: "beijing-db.pg.aliyun.com"}This is env cluster2-beijing !Config file is { database-host: "beijing-db.pg.aliyun.com"}This is env cluster2-beijing !Config file is { database-host: "beijing-db.pg.aliyun.com"}
2. 当集群 cluster1-beijing 上的应用异常时，GTM 将所有的流量路由到 cluster2-bejing 集群处理。
for i in {1..50}; do curl web-demo.example.com; sleep 3; done...
503 Service Temporarily Unavailable
3. 当集群 cluster1-beijing 和 cluster2-beijing 上的应用同时异常时，GTM 将流量路由到 cluster1-hangzhou 集群处理。
for i in {1..50}; do curl web-demo.example.com; sleep 3; done