kubernetes——二进制单节点部署

kubernetes——二进制单节点部署

@toc

一、常见的k8s部署方式

1.Mini kube Minikube是一个工具，可以在本地快速运行一个单节点微型K8s，仅用于学习预览K8s的一些特性使用 部署地址: Kubeadmin也是一个工具，提供kubeadm init和kubeadm join，用于快速部署K8S集群，相对简单 生产首选，从官方下载发行版的二进制包，手动部署每个组件和自签TLS证书，组成K8s集群，新手推荐 https://github.com/kubernetes/kubernetes/releases

二、Kubernetes二进制部署（单节点）

#关闭防火墙和安全功能 systemctl stop firewalld systemctl disable firewalld setenforce 0 #关闭swap swapoff -a sed -ir 's/.*swap.*/#&/' /etc/fstab #设置主机名 hostnamectl set-hostname master01 hostnamectl set-hostname node01 hostnamectl set-hostname node02 #添加hosts cat >> /etc/hosts << EOF 192.168.30.12 master01 192.168.30.14 node01 192.168.30.16 node02 EOF #将桥接的ipv4流量传递到iptables的链 cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system #时间同步 yum install ntpdate -y ntpdate time.windows.com

部署etcd集群(这里就不在单独的服务器上部署，直接部署在各节点上，节省资源)

1.etcd目前默认使用2379端口提供HTTP API服务，2380端口和peer通信(这两个端口已经被TAMA(互联网数字分配机构)官方预留给etced)。即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯 2.etcd在生产环境中一般推荐集群方式部署。由于etcd的leader选举机制，要求至少为3台或以上的奇数台 3.etcd作为服务发现系统，有以下的特点: • 简单 安装配置简单，而且提供了HTTP API进行交互，使用也很简单 • 安全: 支持SSL证书验证 • 快速: 单实例支持每秒2k+读操作 • 可靠: 采用raft算法实现分布式系统数据的可用性和一致性 ========================================================== ##准备签发证书环境 CFSSL是CloudFlare公司开源的一款PKI/TLS工具。CESSL 包含一个命令行工具和一个用于签名、验证和捆绑TLS证书的HTTP API服务。使用Go语言编写。 CFSSL使用配置文件生成证书，因此自签之前，需要生成它识别的json 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。 CFSSL用来为etcd提供TLS证书，它支持签三种类型的证书: 1、client证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如kube-apiserver 访问etcd; 2、server证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如etcd对外提供服务: 3、peer证书，相互之间连接时使用的证书，如etcd节点之间进行验证和通信。 这里全部都使用同一套证书认证。

在master01节点上操作

下载证书制作工具

curl -L -o /usr/local/bin/cfssl curl -L -o /usr/local/bin/cfssljson curl -L -o /usr/local/bin/cfssl-certinfo chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo chmod +x /usr/local/bin/cfssl* ========================================================== cfssl: 证书签发的工具命令 cfssljson: 将cfssl 生成的证书( json格式)变为文件承载式证书 cfssl-certinfo:验证证书的信息 cfssl-certinfo -cert <证书名称> ==========================================================

利用etcd-cert.sh生成CA证书、etcd服务器证书以及私钥

1.创建k8s.工作目录 mkdir /opt/k8s cd /opt/k8s/ 2.mkdir /opt/k8s/etcd-cert #创建用于生成CA证书、etcd服务器证书以及私钥的目录 cd /opt/k8s/etcd-cert vim etcd-cert.sh ---------------------------------------------------------- cat > ca-config.json < ca-csr.json < server-csr.json <

解压etcd包

#etcd二进制包地址: https://github.com/etcd-io/etcd/releases 1.上传etcd-v3.3.10-1inux-amd64.tar.gz 到/opt/k8s/目录中，解压etcd 压缩包 2.cd /opt/k8s/ tar zxvf etcd-v3.3.10-linux-amd64.tar.gz 3.1s etcd-v3.3.10-linux-amd64 Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md ========================================================== etcd就是etcd服务的启动命令，后面可跟各种启动参数 etcdct1主要为etcd服务提供了命令行操作 ==========================================================

mkdir -p /opt/etcd/{cfg,bin,ssl} mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/etcd/bin/ mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/ cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/

cd /opt/k8s vim etcd.sh ---------------------------------------------------------- #!/bin/bash #以下为使用格式：etcd名称 当前etcd的IP地址+完整的集群名称和地址 # example: ./etcd.sh etcd01 192.168.30.12 etcd02=https://192.168.30.14:2380,etcd03=https://192.168.30.16:2380 ETCD_NAME=$1 #位置变量1：etcd节点名称 ETCD_IP=$2 #位置变量2：节点地址 ETCD_CLUSTER=$3 #位置变量3：集群 WORK_DIR=/opt/etcd #指定工作目录 cat <$WORK_DIR/cfg/etcd #在指定工作目录创建ETCD的配置文件 #[Member] ETCD_NAME="${ETCD_NAME}" #etcd名称 ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS=" #etcd IP地址：2380端口。用于集群之间通讯 ETCD_LISTEN_CLIENT_URLS=" #etcd IP地址：2379端口，用于开放给外部客户端通讯 #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ETCD_IP}:2380" ETCD_ADVERTISE_CLIENT_URLS=" #对外提供的url使用https的协议进行访问 ETCD_INITIAL_CLUSTER="etcd01= #多路访问 ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" #tokens 令牌环名称：etcd-cluster ETCD_INITIAL_CLUSTER_STATE="new" #状态，重新创建 EOF cat </usr/lib/systemd/system/etcd.service #定义ectd的启动脚本 [Unit] #基本项 Description=Etcd Server #类似为 etcd 服务 After=network.target #vu癌症 After=network-online.target Wants=network-online.target [Service] #服务项 Type=notify EnvironmentFile=${WORK_DIR}/cfg/etcd #etcd文件位置 ExecStart=${WORK_DIR}/bin/etcd \ #准启动状态及以下的参数 --name=\${ETCD_NAME} \ --data-dir=\${ETCD_DATA_DIR} \ --listen-peer-urls=\${ETCD_LISTEN_PEER_URLS} \ --listen-client-urls=\${ETCD_LISTEN_CLIENT_URLS},\ --advertise-client-urls=\${ETCD_ADVERTISE_CLIENT_URLS} \ #以下为群集内部的设定 --initial-advertise-peer-urls=\${ETCD_INITIAL_ADVERTISE_PEER_URLS} \ --initial-cluster=\${ETCD_INITIAL_CLUSTER} \ --initial-cluster-token=\${ETCD_INITIAL_CLUSTER_TOKEN} \ #群集内部通信，也是使用的令牌，为了保证安全（防范中间人窃取） --initial-cluster-state=new \ --cert-file=${WORK_DIR}/ssl/server.pem \ #证书相关参数 --key-file=${WORK_DIR}/ssl/server-key.pem \ --peer-cert-file=${WORK_DIR}/ssl/server.pem \ --peer-key-file=${WORK_DIR}/ssl/server-key.pem \ --trusted-ca-file=${WORK_DIR}/ssl/ca.pem \ --peer-trusted-ca-file=${WORK_DIR}/ssl/ca.pem Restart=on-failure LimitNOFILE=65536 #开放最多的端口号 [Install] WantedBy=multi-user.target #进行启动 EOF systemctl daemon-reload #参数重载 systemctl enable etcd systemctl restart etcd ---------------------------------------------------------- chmod +x etcd.sh 主机master01：./etcd.sh etcd01 192.168.30.12 etcd02= #执行脚本 另外打开一个终端窗口查看etcd进程是否正常 ps -ef | grep etcd //把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点 scp -r /opt/etcd/ root@192.168.30.14:/opt/ scp -r /opt/etcd/ root@192.168.30.16:/opt/ //把etcd服务管理文件拷贝到另外两个etcd集群节点 scp /usr/lib/systemd/system/etcd.service root@192.168.30.14:/usr/lib/systemd/system/ scp /usr/lib/systemd/system/etcd.service root@192.168.30.16:/usr/lib/systemd/system/ 修改vim /opt/etcd/cfg/etcd文件，每一台主机都有自己的etc编号和ip，除了集群那行一致，其他都要修改成本机ip和etc编号 再次systemctl daemon-reload #参数重载 systemctl enable etcd systemctl restart etcd

1.ln -s /opt/etcd/bin/etcd* /usr/local/bin 2.检查etcd群集状态 cd /opt/etcd/ssl etcdctl \ --ca-file=ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="\ cluster-health ========================================================== --cert-file:识别HTTPS端使用sSL证书文件 --key-file: 使用此SSL密钥文件标识HTTPS客户端 -ca-file:使用此CA证书验证启用https的服务器的证书 --endpoints:集群中以逗号分隔的机器地址列表 cluster-health:检查etcd集群的运行状况 ========================================================== 3.切换到etcd3版本查看集群节点状态和成员列表 export ETCDCTL_API=3 #v2和v3命令略有不同，etcd2 和etcd3也是不兼容的，默认是v2版本 etcdctl --write-out=table endpoint status etcdctl --write-out=table member list export ETCDCTL_API=2 #再切回v2版本

yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install -y docker-ce docker-ce-cli containerd.io systemctl start docker.service systemctl enable docker.service

三、flannel网络配置

K8S中Pod网络通信的方式

1.Pod内容器与容器之间的通信：在同一个Pod内的容器(Pod内的容器是不会跨宿主机的)共享同一个网络命令空间，相当于它们在网一台机器上一样，可以用localhost地址访间彼此的端口2.同一个Node内Pod之间的通信：每个Pod 都有一个真实的全局IP地址，同一个Node 内的不同Pod之间可以直接采用对方Pod的IP地址进行通信，Pod1与Pod2都是通过veth连接到同一个docker0网桥，网段相同，所以它们之间可以直接通信3.不同Node上Pod之间的通信：Pod地址与docker0在同一网段，dockor0网段与宿主机网卡是两个不同的网段，且不同Nodo之间的通信贝能通过宿主机的物理网卡进行

不同Node上Pod之间的通信介绍

要想实现不同Node上Pod之间的通信，就必须想办法通过主机的物理网卡IP地址进行寻址和通信。因此要满足两个条件:1.Pod的IP不能冲突:2.将Pod的IP和所在的Node的IP关联起来，通过这个关联让不同Node上Pod之间直接通过内网IP地址通信。

1.Overlay Network: 叠加网络，在二层或者三层基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路隧道连接起来(类似于VPN) 2.VXLAN: 将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址 3.Flannel: Flannel的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址,Flannel是Overlay 网络的一种，也是将TCP 源数据包封装在另一种网络 包里而进行路由转发和通信，目前己经支持UDP、VXLAN、AwS VPC等数据转发方式 4.ETCD之Flannel提供说明: 存储管理Flanne1可分配的IP地址段资源；监控ETCD中每个Pod 的实际地址，并在内存中建立维护Pod节点路由表

Flannel工作原理

node1上的pod1要和node2上的pod1进行通信

1.数据从node1上的Pod1源容器中发出，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡；2.在flannel0网卡有个flanneld服务把podip封装到udp中（里面封装的是源pod IP和目的pod IP);3.根据在etcd保存的路由表信息，通过物理网卡发送给目的node2节点，数据包到达目标node2节点会被flanneld服务来进行解封装暴露出udp里的podIP;4.最后根据目的podIP经flannel0虚拟网卡和docker0虚拟网卡转发到目的pod中，最后完成通信

配置flannel网络

master01节点上操作

//添加flannel网络配置信息，写入分配的子网段到etcd 中，供flannel使用 cd /opt/etcd/ssl /opt/etcd/bin/etcdctl \ --ca-file=ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="\ set /coreos.com/network/config '{"Network": "172.17.0.0/16"，"Backend": {"Type": "vxlan"}}' //查看写入的信息 /opt/etcd/bin/etcdctl \ --ca-file=ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="\ get /coreos.com/network/config --------------------------------------------------------- set /coreos.com/network/confiq添加一条网络配置记求，这个配置将用于flannel分配给每个docker的虛拟IP地址段 get got /coreos.com/octwork/config获取网络配置记录，后面不用再跟参数了 Network:用于指定Flane1地址池 Backend:用于指定数据包以什么方式转发，默认为udp模式，Backend为vxlan比起预设的udp性能相对好一些

1.将flanne1-v0.10.0-1inux-amd64.tar.gz到/opt目录中，解压flannel压缩包 cd /opt tar zxvf flannel-v0.10.0-linux-amd64.tar.gz flanneld #flanneld为主要的执行文件 mk-docker-opts.sh #mk-docker-opts.sh脚本用于生成Docker启动参数 README.md

利用脚本启动flanneld服务，开启flannel网络功能 cd /opt vim flannel.sh ========================================================== ========================================================== #!/bin/bash --------------定义etcd集群的端点IP地址和对外提供服务的2379端口 ETCD_ENDPOINTS=${1:-" #${var:-string}：若变量var为空，则用在命令行中用string来替换；否则变量var不为空时>，则用变量var的值来替换，这里的1代表的是位置变量$1 --------------#创建flanneld配置文件 cat > /opt/kubernetes/cfg/flanneld < /usr/lib/systemd/system/flanneld.service <文件的路径，docker启动时候引用此配置 ---------------启动flanneld服务 systemctl daemon-reload systemctl enable flanneld systemctl restart flanneld ========================================================== ========================================================== chmod +x flannel.sh ./flannel.sh cat /run/flannel/subnet.env flanne1启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env，包含了docker要使用flannel通讯的相关参数 cat /run/flannel/subnet.env DOCKER_OPT_BIP="--bip=172.17.85.1/24" DOCKER_OPT_IPMASQ="--ip-masq= false" DOCKER_OPT_MTU="--mtu=1450" DOCKER_NETWORK_OPTIONS=" --bip=172.17.85.1/24 --ip-masq=false --mtu=1450" ------------------------------------------------ --bi: 指定docker 启动时的子网 --ip-masq: 设置ipmasq=false 关闭snat 伪装策略 --mtu=1450:mtu要留出50字节给外层的vxlan封包的额外开销使用 Flannel启动过程解析: 1、从etcd中获取network的配置信息 2、划分subnet， 并在etcd中进行注册 3、将子网信息记录到/run/flannel/subnet.env中

5.修改docker服务管理文件，配置docker连接flannel vim /lib/systemd/system/docker.service [Service] Type=notify # the default is not to use systemd for cgroups because the delegate issues stillt # exists and systemd currently dges not support the cgroup feature set requi red # for containers run by docker EnvironmentFile=/run/flannel/subnet.env #添加 ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock #修改 ExecReload=/bin/kill -s HUP $MAINPID TimeoutSec=0 RestartSec=2 Restart=always

6.重启docker服务 systemctl daemon-reload systemctl restart docker ifconfig #查看flannel网络

7.测试ping通对方docker0网卡 证明flannel起到路由作用 ping 172.17.38.1 docker run -it centos:7 /bin/bash #node1和node2都运行该命令 yum install net-tools -y #node1和node2都运行该命令 ifconfig //再次测试ping通两个node中的centos:7容器

上传master.zip和k8s-cert.sh到/opt/k8s目录中，解压master.zip压缩包

cd /opt/k8s/ unzip master.zip apiserver.sh scheduler.sh controller-manager.sh chmod +x * .sh

mkdir -p /opt/kubernetes/{cfg,bin,ssl}

mkdir /opt/k8s/k8s-cert mv /opt/k8s/k8s-cert.sh /opt/k8s/k8s-cert cd /opt/k8s/k8s-cert/ vim k8s-cert.sh ========================================================== #!/bin/bash #配置证书生成策略，让 CA 软件知道颁发有什么功能的证书，生成用来签发其他组件证书的根证书 cat > ca-config.json < ca-csr.json < apiserver-csr.json < admin-csr.json < kube-proxy-csr.json <

cp ca*pem apiserver*pem /opt/kubernetes/ssl/

cd /opt/k8s/ tar zxvf kubernetes-server-linux-amd64.tar.gz

cd /opt/k8s/kubernetes/server/bin cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/ ln -s /opt/kubernetes/bin/* /usr/local/bin/

相当于在集群内创建了一个这个用户，接下来就可以用RBAC 给他授权 1.head -c 16 /dev/urandom | od -An -t x | tr -d ' ' #获取随机数前16个字节内容，以十六进制格式输出，并删除其中空格 结果是：0f5bcf92ea0419148ac450d7a0e87c2a 2.cd /opt/k8s/ vim token.sh ========================================================== #!/bin/bash #生成token.csv 文件，按照Token序列号,用户名,UID,用户组的格式生成 cat > /opt/kubernetes/cfg/token.csv <

二进制文件、token、证书都准备好 cd /opt/k8s/ ./apiserver.sh 192.168.30.12 #开启apiserver服务 ps aux | grep kube-apiserver

k8s通过kube- apiserver这个进程提供服务，该进程运行在单个master节点上。默认有两个端口6443和8080 //安全端口6443用于接收HTTPS请求，用于基于Token文件或客户端证书等认证 netstat -natp | grep 6443 //本地端口8080用于接收HTTP请求，非认证或授权的HTTP请求通过该端口访问APIServer netstat -natp | grep 8080 //查看版本信息(必须保证apiserver启动正常，不然无法查询到server的版本信息) kubectl version

1.启动scheduler服务 cd /opt/k8s/ vim scheduler.sh ========================================================== !/bin/bash #创建 kube-scheduler 启动参数配置文件 MASTER_ADDRESS=$1 cat >/opt/kubernetes/cfg/kube-scheduler <涉及数据的读写和多个etcd之间数据的同步，对数据的一致性要求严格，所以使用较复杂的 raft 算>法来选择用于提交数据的主节点。而 apiserver 作为集群入口，本身是无状态的web服务器，多个 apiserver 服务之间直接负载请求并不需要做选主。Controller-Manager 和 Scheduler 作为任务类型>的组件，比如 controller-manager 内置的 k8s 各种资源对象的控制器实时的 watch apiserver 获>取对象最新的变化事件做期望状态和实际状态调整，调度器watch未绑定节点的pod做节点选择，显然>多个这些任务同时工作是完全没有必要的，所以 controller-manager 和 scheduler 也是需要选主的 ，但是选主逻辑和 etcd 不一样的，这里只需要保证从多个 controller-manager 和 scheduler 之间 选出一个 leader 进入工作状态即可，而无需考虑它们之间的数据一致和同步。 #创建 kube-scheduler.service 服务管理文件 cat >/usr/lib/systemd/system/kube-scheduler.service </opt/kubernetes/cfg/kube-controller-manager </usr/lib/systemd/system/kube-controller-manager.service <

将主节点上kubelet、kube-proxy拷贝到node节点

======在master1 节点上操作====== //把kubelet、 kube-proxy拷贝到node 节点 cd /opt/k8s/kubernetes/server/bin scp kubelet kube-proxy root0192.168.30.14:/opt/kubernetes/bin/ scp kubelet kube-proxy root@192.168.30.16:/opt/kubernetes/bin/

//上传node.zip到/opt目录中，解压node.zip压缩包，获得kubelet.sh、proxy.sh cd /opt/ unzip node.zip

创建用于生成kubelet的配置文件的目录

mkdir /opt/k8s/kubeconfig

#kubeconfig.sh文件包含集群参数(CA证书、API Server地址)，客户端参数(上面生成的证书和私钥)，集群context上下文参数(集群名称、用户名)。Kubenetes组件(如kubelet、kube-proxy) 通过启动时指定不同的kubeconfig文件可以切换到不同的集群，连接到apiserver cd /opt/k8s/kubeconfig vim kubeconfig.sh ========================================================== #!/bin/bash #example: kubeconfig 192.168.30.12 /opt/k8s/k8s-cert/ #创建bootstrap.kubeconfig文件 #该文件中内置了 token.csv 中用户的 Token，以及 apiserver CA 证书；kubelet 首次启动会加载>此文件，使用 apiserver CA 证书建立与 apiserver 的 TLS 通讯，使用其中的用户 Token 作为身份 标识向 apiserver 发起 CSR 请求 BOOTSTRAP_TOKEN=$(awk -F ',' '{print $1}' /opt/kubernetes/cfg/token.csv) APISERVER=$1 SSL_DIR=$2 export KUBE_APISERVER="https://$APISERVER:6443" # 设置集群参数 kubectl config set-cluster kubernetes \ --certificate-authority=$SSL_DIR/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=bootstrap.kubeconfig #--embed-certs=true：表示将ca.pem证书写入到生成的bootstrap.kubeconfig文件中 # 设置客户端认证参数，kubelet 使用 bootstrap token 认证 kubectl config set-credentials kubelet-bootstrap \ --token=${BOOTSTRAP_TOKEN} \ --kubeconfig=bootstrap.kubeconfig # 设置上下文参数 kubectl config set-context default \ --cluster=kubernetes \ --user=kubelet-bootstrap \ --kubeconfig=bootstrap.kubeconfig # 使用上下文参数生成 bootstrap.kubeconfig 文件 kubectl config use-context default --kubeconfig=bootstrap.kubeconfig #---------------------- #创建kube-proxy.kubeconfig文件 # 设置集群参数 kubectl config set-cluster kubernetes \ --certificate-authority=$SSL_DIR/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=kube-proxy.kubeconfig # 设置客户端认证参数，kube-proxy 使用 TLS 证书认证 kubectl config set-credentials kube-proxy \ --client-certificate=$SSL_DIR/kube-proxy.pem \ --client-key=$SSL_DIR/kube-proxy-key.pem \ --embed-certs=true \ --kubeconfig=kube-proxy.kubeconfig # 设置上下文参数 kubectl config set-context default \ --cluster=kubernetes \ --user=kube-proxy \ --kubeconfig=kube-proxy.kubeconfig # 使用上下文参数生成 kube-proxy.kubeconfig 文件 kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig ========================================================== chmod +x kubeconfig.sh

cd /opt/k8s/kubeconfig scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.30.14:/opt/kubernetes/cfg/ scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.30.16:/opt/kubernetes/cfg/

RBAC授权，将预设用户kubelet-bootatrap 与内置的ClusterRole system:node-bootatrapper 绑定到一起，使其能够发起CSR请求 命令：kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap ---------------------------------------------------------- kubelet采用TLS Bootstrapping 机制，自 动完成到kube -apiserver的注册，在node节点量较大或者后期自动扩容时非常有用。 Master apiserver 启用TLS 认证后，node 节点kubelet 组件想要加入集群，必须使用CA签发的有效证书才能与apiserver 通信，当node节点很多时，签署证书是一件很繁琐的事情。因此Kubernetes 引入了TLS bootstraping 机制来自动颁发客户端证书，kubelet会以一个低权限用户自动向apiserver 申请证书，kubelet 的证书由apiserver 动态签署。 kubelet首次启动通过加载bootstrap.kubeconfig中的用户Token 和apiserver CA证书发起首次CSR请求，这个Token被预先内置在apiserver 节点的token.csv 中，其身份为kubelet-bootstrap 用户和system: kubelet- bootstrap用户组:想要首次CSR请求能成功(即不会被apiserver 401拒绝)，则需要先创建一个ClusterRoleBinding， 将kubelet-bootstrap 用户和system:node - bootstrapper内置ClusterRole 绑定(通过kubectl get clusterroles 可查询)，使其能够发起CSR认证请求。 TLS bootstrapping 时的证书实际是由kube-controller-manager组件来签署的，也就是说证书有效期是kube-controller-manager组件控制的; kube-controller-manager 组件提供了一个--experimental-cluster-signing-duration 参数来设置签署的证书有效时间:默认为8760h0m0s， 将其改为87600h0m0s， 即10年后再进行TLS bootstrapping 签署证书即可。 也就是说kubelet 首次访问API Server 时，是使用token 做认证，通过后，Controller Manager 会为kubelet生成一个证书，以后的访问都是用证书做认证了。

//查看角色: kubectl get clusterroles | grep system:node-bootstrapper //查看已授权的角色: kubectl get clusterrolebinding

使用kubelet.sh脚本启动kubelet服务

cd /opt/ vim kubelet.sh ========================================================== #!/bin/bash NODE_ADDRESS=$1 DNS_SERVER_IP=${2:-"10.0.0.2"} #创建 kubelet 启动参数配置文件 cat >/opt/kubernetes/cfg/kubelet <会启动一个这样的容器，每个pod之间相互通信需要Pause的支持，启动Pause需要Pause基础镜像 #---------------------- #创建kubelet配置文件（该文件实际上就是一个yml文件，语法非常严格，不能出现tab键，冒 号后面必须要有空格，每行结尾也不能有空格） cat >/opt/kubernetes/cfg/kubelet.config <该值。 #---------------------- #创建 kubelet.service 服务管理文件 cat >/usr/lib/systemd/system/kubelet.service <

1.检查kubelet服务启动 ps aux | grep kubelet 2.此时还没有生成证书 ls /opt/kubernetes/ssl/

检查到node1节点的kubelet发起的CSR请求

#Pending表示等待集群给该节点签发证书 命令：kubectl get csr

命令：kubectl certificate approve 具体NAME kubectl certificate approve node-csr-RouehCYPboEYvsNQDEzv-IGJyrAbZlRTkTqklqj2v8Y kubectl get csr #再次查看CSR请求状态，Approved, Issued表示已授权CSR请求并签发证书

kubectl get nodes

查看有无生成证书和kubelet.kubeconfig文件

ls /opt/kubernetes/cfg/kubelet.kubeconfig ls /opt/kubernetes/ssl/

for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

cd /opt/ vim proxy.sh ========================================================== #!/bin/bash NODE_ADDRESS=$1 #创建 kube-proxy 启动参数配置文件 cat >/opt/kubernetes/cfg/kube-proxy </usr/lib/systemd/system/kube-proxy.service <

1.在node1节点上将kubelet.sh、proxy.sh文件拷贝到node2节点 cd /opt/ scp kubelet.sh proxy.sh root@192.168.30.16:/opt/

2.使用kubelet.sh脚本启动kubelet服务 cd /opt/ chmod +x kubelet.sh ./kubelet.sh 192.168.30.16

3.在master1节点上操作,检查到node2节点的kubelet 发起的CSR请求，Pending 表示等待集群给该节点签发证书. kubectl get csr

4.通过CSR请求 kubectl certificate approve node-csr-QRmSFoLh1q2SWX5XDBdR9AC2i5T9FZLoA8QiMd0y_no kubectl get csr #再次查看CSR请求状态，Approved, Issued表示已授权CSR请求并签发证书

5.查看群集节点状态，成功加入node2节点 kubectl get nodes

6.在node2节点加载ip_vs模块 for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

7.使用proxy.sh脚本启动proxy服务 cd /opt/ chmod +x proxy.sh ./proxy.sh 192.168.30.16 systemctl status kube-proxy.service

四、创建pod测试

================在master01主节点创建pod=================== 1.创建nginx的pod kubectl create deployment nginx --image=nginx 2.获取所有创建的pod kubectl get pod 3.查看某个pod kubectl describe pod +具体pod名字 4..查看具体某个pod kubectl get pod -o wide ================在node1节点上测试pod的ip================== 命令：curl pod的ip

vim admin.sh #在主节点上编写 ========================================================== #!/bin/bash mkdir /root/.kube KUBE_CONFIG="/root/.kube/config" KUBE_APISERVER="https://192.168.30.12:6443" cd /opt/k8s/k8s-cert/ kubectl config set-cluster kubernetes \ --certificate-authority=/opt/kubernetes/ssl/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=${KUBE_CONFIG} kubectl config set-credentials cluster-admin \ --client-certificate=./admin.pem \ --client-key=./admin-key.pem \ --embed-certs=true \ --kubeconfig=${KUBE_CONFIG} kubectl config set-context default \ --cluster=kubernetes \ --user=cluster-admin \ --kubeconfig=${KUBE_CONFIG} kubectl config use-context default --kubeconfig=${KUBE_CONFIG} ========================================================= chmod +x admin.sh ./admin.sh

五、总结

k8s集群单节点搭建：1.etcd2.flannel3.master（apiserver、scheduler、controller-manager）4.node（kubelet、kube-proxy）

etcd

1.准备cfssl证书生成工具 2.生成证书 3.准备etcd二进制包 4.生成etcd的配置文件和服务管理文件 5.启动etcd 6.把etcd1的配置文件，可执行文件，证书，etcd服务管理文件复制到 etcd2、etcd3节点上 7.etcd2、etcd3修改配置文件 8.启动etcd，加入集群 9.验证etcd集群状态

flannel

1.使用etcdctl 2.在etcd中添加flannel的网段和转发模式upd、vxlan 3.准备flannel安装包 4.生成docker网络配置参数并启动flannel服务 5.修改docker启动参数，使docker0网卡和flannel网卡保持在一个网段里 6.验证node之间的容器通信是否正常 ========================================================== 1.组件之间的通信，端口内部2380，外部2379 2.master:apiserver <—> controller-manager、scheduler 同一个节点上，127.0.0.1:8080不需要证书(http) 3.node:kubelet、kube-proxy <----> apiserver(6443)

master

1.创建工作目录 2.生成证书 3.准备k8s软件包 4.生成bootstrap token认证文件 5.启动apiserver 6.启动controller-manager、scheduler 7.验证master组件状态

node

1.在master节点上准备kubelet和kube-proxy加入k8s群集所要使用的 kubeconfig文件，并传给nodes节点 2.kubeconfig加入k8s集群需要的ca证书，tls证书和私有，bootstrap 的token信息 ，master的 apiserver IP+端口（6443） 3.node节点启动 kubelet ，node节点的kubelet会向master的apiserver发起CSR认证请求 在master节点上通过CSR 认证，node会自动生成证书，以后的node的kubelet访问都会通过这个证书做认证 4.node节点上加载ipvs模块 5.启动kube-proxy

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。