Ubuntu通过kubeadm快速搭建k8s集群

Ubuntu通过kubeadm快速搭建k8s集群

前言

本文是在Ubuntu 18.04 LTS系统上通过kubeadm快速搭建k8s集群，系统使用虚拟机安装，首先安装一台虚拟机（master节点），然后进行环境初始化配置，配置完成后直接克隆出两台工作节点。

环境准备

服务器规划好以后，下面开始对环境进行初始化配置，在克隆虚拟机这一节之前所有操作都是在控制节点（192.168.229.200）上进行的，因为环境的配置都是一样的，现在一个服务器上配置完后直接克隆，可以方便快速完成集群的搭建。

配置静态IP

网络配置

cd /etc/netplan #修改yaml文件，名称前缀也可能是其他数字 sudo vi 00-network-manager-all.yaml

配置内容如下，主要修改IP地址和网关地址，需要注意网卡的名称是否跟自己网卡的名称一致

#配置如下 network: version: 2 renderer: NetworkManager ethernets: ens33: #网卡名称通过ifconfig查看 dhcp4: no #dhcp4关闭 dhcp6: no #dhcp6关闭 addresses: [192.168.229.200/24] #设置IP掩码 gateway4: 192.168.229.2 #设置网关 nameservers: addresses: [114.114.114.114] #设置dns

修改生效

sudo netplan apply ifconfig

安装ssh服务

#查看是否启动ssh服务 ps -ef|grep ssh #如果没有安装则安装 sudo apt-get install openssh-server #查看ssh服务状态 systemctl status sshd

安装并启动ssh服务后，便可以使用ssh工具远程连接了，不用再忍受虚拟机超级难用的命令行窗口了，起飞吧！

设置hostname

修改/etc/hostname文件，设置当前服务器的hostname

sudo hostnamectl set-hostname k8s-master200 && bash

添加hosts

修改/etc/hosts，添加各个服务器的host

192.168.229.200 k8s-master200 192.168.229.205 k8s-node205 192.168.229.206 k8s-node206

配置时间同步

#查询上海时区 timedatectl list-timezones|grep Shanghai #设置上海时区 sudo timedatectl set-timezone Asia/Shanghai #安装ntpdate sudo apt-get install ntpdate #跟网络时间同步 sudo ntpdate cn.pool.ntp.org #添加计划自动同步时间-1分钟同步一次 sudo vi /etc/crontab * */1 * * * root ntpdate -s cn.pool.ntp.org #重启计划服务 sudo service cron restart

修改系统镜像源

Ubuntu国内镜像源有很多，下面列举几个常用的，大家根据实际情况自己选择。

阿里镜像源

# 阿里镜像源 deb bionic main restricted universe multiverse deb-src bionic main restricted universe multiverse deb bionic-security main restricted universe multiverse deb-src bionic-security main restricted universe multiverse deb bionic-updates main restricted universe multiverse deb-src bionic-updates main restricted universe multiverse deb bionic-proposed main restricted universe multiverse deb-src bionic-proposed main restricted universe multiverse deb bionic-backports main restricted universe multiverse deb-src bionic-backports main restricted universe multiverse

中科大镜像源

# 中科大镜像源 deb bionic main restricted universe multiverse deb-src bionic main restricted universe multiverse deb bionic-updates main restricted universe multiverse deb-src bionic-updates main restricted universe multiverse deb bionic-backports main restricted universe multiverse deb-src bionic-backports main restricted universe multiverse deb bionic-security main restricted universe multiverse deb-src bionic-security main restricted universe multiverse deb bionic-proposed main restricted universe multiverse deb-src bionic-proposed main restricted universe multiverse

清华镜像源

# 清华镜像源 deb bionic main restricted universe multiverse deb-src bionic main restricted universe multiverse deb bionic-updates main restricted universe multiverse deb-src bionic-updates main restricted universe multiverse deb bionic-backports main restricted universe multiverse deb-src bionic-backports main restricted universe multiverse deb bionic-security main restricted universe multiverse deb-src bionic-security main restricted universe multiverse deb bionic-proposed main restricted universe multiverse deb-src bionic-proposed main restricted universe multiverse

修改镜像源

#备份原镜像 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak #复制上面一个镜像进来即可 sudo vi /etc/apt/sources.list #更新系统源 sudo apt-get upgrade #更新软件包 sudo apt-get update

安装docker

安装最新版本

# 安装所需依赖 sudo apt-get -y install apt-transport-ca-certificates curl software-properties-common # 安装 GPG 证书 curl -fsSL | sudo apt-key add - # 新增软件源信息 sudo add-apt-repository "deb [arch=amd64] $(lsb_release -cs) stable" # 再次更新软件源 sudo apt-get -y update # 安装docker最新版 sudo apt-get -y install docker-ce

安装指定版本

如果不想安装最新版本，需要安装指定版本，可以先查看docker有哪些版本，然后指定版本号进行安装，操作如下：

#查看docker版本 sudo apt-cache madison docker-ce

#列出如下版本信息 docker-ce | 5:20.10.6~3-0~ubuntu-bionic | bionic/stable amd64 Packages docker-ce | 5:20.10.5~3-0~ubuntu-bionic | bionic/stable amd64 Packages docker-ce | 5:20.10.4~3-0~ubuntu-bionic | bionic/stable amd64 Packages docker-ce | 5:20.10.3~3-0~ubuntu-bionic | bionic/stable amd64 Packages docker-ce | 5:20.10.2~3-0~ubuntu-bionic | bionic/stable amd64 Packages docker-ce | 5:20.10.1~3-0~ubuntu-bionic | bionic/stable amd64 Packages docker-ce | 5:20.10.0~3-0~ubuntu-bionic | bionic/stable amd64 Packages ...............................

#指定版本安装 sudo apt-get install -y docker-ce=5:19.03.9~3-0~ubuntu-bionic

查看docker信息

sudo docker version sudo docker info

修改docker配置

{ "registry-mirrors": ["https://替换为自己的阿里云.mirror.aliyuncs.com"], "insecure-registries": ["192.168.229.100:5000"], "exec-opts": ["native.cgroupdriver=systemd"] }

sudo systemctl enable docker sudo systemctl daemon-reload sudo systemctl restart docker

docker权限问题

在Ubuntu系统中，由于都是通过普通用户进行操作，需要权限的操作都需要加上sudo很不方便，可以通过如下方式设置

#检查是否有docker group sudo groupadd docker #将当前用户加到 docker group 中 sudo usermod -aG docker $USER #最后运行如下命令，如果还不能使用，就需要注销下当前用户再重新登录或者直接重启 newgrp docker

安装k8s准备

关闭交换分区

#临时关闭 sudo swapoff -a #永久关闭-注释掉最后一行的swap sudo vi /etc/fstab

安装依赖

sudo apt-get install -y apt-transport-| sudo apt-key add -

添加k8s源

sudo vi /etc/apt/sources.list #在最后一行新增如下源 deb kubernetes-xenial main

直接在/etc/apt/sources.list里添加apt-get update

安装kubeadm

安装最新版本

#安装最新版本 sudo apt-get install -y kubelet kubeadm kubectl

安装指定版本

#查看有哪些版本 sudo apt-cache madison kubeadm #安装指定版本 sudo apt-get install -y kubelet=1.20.6-00 kubeadm=1.20.6-00 kubectl=1.20.6-00

查看安装信息

kubeadm version

启动kubelet

sudo systemctl start kubelet sudo systemctl enable kubelet systemctl status kubelet

配置预检查

在安装之前需要注意，kubeadm init 命令在执行具体的安装过程之前，会做一系列的系统预检查，以确保主机环境符合安装要求，如果检查失败，就直接终止，不在进行init操作。因此我们可以通过kubeadm init phase preflight命令执行预检查操作，确保系统就绪后再进行init操作，如果检查结果提示我的CPU和内存小于最低要求，我们就可以根据提示进行修改，预检查命令如下：

kubeadm init phase preflight

准备k8s镜像

kubeadm config images list

当前版本k8s需要的镜像如下所示：

k8s.gcr.io/kube-apiserver:v1.20.15 k8s.gcr.io/kube-controller-manager:v1.20.15 k8s.gcr.io/kube-scheduler:v1.20.15 k8s.gcr.io/kube-proxy:v1.20.15 k8s.gcr.io/pause:3.2 k8s.gcr.io/etcd:3.4.13-0 k8s.gcr.io/coredns:1.7.0

编写pullk8s.sh脚本，用来从国内镜像仓库下载所需的k8s镜像，然后再tag成k8s.gcr.io的镜像，脚本内容如下：

for i in `kubeadm config images list`; do imageName=${i#k8s.gcr.io/} #echo $imageName docker pull registry.aliyuncs.com/google_containers/$imageName docker tag registry.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName docker rmi registry.aliyuncs.com/google_containers/$imageName done;

拉取镜像

sudo chmod +x pullk8s.sh ./pullk8s.sh

克隆虚拟机

分别克隆虚拟机k8s-node205和k8s-node206，然后设置静态IP以及hostname，IP设置参加第一节，这里不再赘述

#修改k8s-node205的hostname sudo hostnamectl set-hostname k8s-node205 && bash #修改k8s-node206的hostname sudo hostnamectl set-hostname k8s-node206 && bash

配置免密登录

#在master200执行 ssh-keygen #一路回车，不输入密码 ssh-copy-id k8s-node205 ssh-copy-id k8s-node206 #在k8s-node205执行 ssh-keygen #一路回车，不输入密码 ssh-copy-id k8s-master200 ssh-copy-id k8s-node206 #在k8s-node206执行 ssh-keygen #一路回车，不输入密码 ssh-copy-id k8s-master200 ssh-copy-id k8s-node205

初始化k8s集群

初始化集群

在master节点k8s-master200初始化k8s集群，操作如下

sudo kubeadm init --kubernetes-version v1.20.6 --apiserver-advertise-address=192.168.229.200 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.10.0.0/16 --image-repository registry.aliyuncs.com/google_containers --ignore-preflight-errors=SystemVerification

初始化成功

Your Kubernetes control-plane has initialized successfully! To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config Alternatively, if you are the root user, you can run: export KUBECONFIG=/etc/kubernetes/admin.conf You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ Then you can join any number of worker nodes by running the following on each as root: kubeadm join 192.168.229.200:6443 --token qg3mup.6b4g8m28fdp1dumh \ --discovery-token-ca-cert-hash sha256:181822ecb09b96ef5a6ee32fcebf4bcd2ed6e603a6a324c2bcdc8c44adae318c

配置kubectl

在master节点k8s-master200配置kubectl，操作如下

mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config #查看集群状态 kubectl get nodes

集群节点状态如下，此时集群状态还是 NotReady 状态，因为没有安装网络插件

NAME STATUS ROLES AGE VERSION k8s-master200 NotReady control-plane,master 3m27s v1.20.6

添加node节点

分别在k8s-node205和k8s-node206两个节点执行如下命令，加入k8s集群

sudo kubeadm join 192.168.229.200:6443 --token qg3mup.6b4g8m28fdp1dumh \ --discovery-token-ca-cert-hash sha256:181822ecb09b96ef5a6ee32fcebf4bcd2ed6e603a6a324c2bcdc8c44adae318c

命令执行成功后显示如下结果，说明加入成功

This node has joined the cluster: * Certificate signing request was sent to apiserver and a response was received. * The Kubelet was informed of the new secure connection details. Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

在master节点k8s-master200查看集群状态进行验证

k8s-master200 NotReady control-plane,master 13m v1.20.6 k8s-node205 NotReady 11s v1.20.6 k8s-node206 NotReady 18s v1.20.6

node节点重新加入

如果node节点加入失败，重新在加入，出现如下问题时，可以在node节点使用sudo kubeadm reset命令重置环境

error execution phase preflight: [preflight] Some fatal errors occurred: [ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists [ERROR Port-10250]: Port 10250 is in use [ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists [preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...` To see the stack trace of this error execute with --v=5 or higher

安装网络插件

下载Calico的yaml文件，下载地址：kubectl apply -f calico.yaml

查看Calico和coredns的pod的状态，running状态时，说明网络插件安装完成

kubectl get pod -n kube-system

再次查看集群状态，发现节点状态已经是Ready状态了

k8s-master200 Ready control-plane,master 19m v1.20.6 k8s-node205 Ready 6m v1.20.6 k8s-node206 Ready 6m v1.20.6

安装metrics-server组件

metrics-server是一个集群范围内的资源数据集和工具，同样的metrics-server也只是显示数据，并不提供数据存储服务，主要关注的是资源度量API的实现，比如CPU、文件描述符、内存、请求延时等指标，metric-server收集数据给k8s集群内使用，如kubectl,hpa,scheduler等。

#查看集群组件状态 kubectl get cs #没安装metrics-server前显示如下 NAME STATUS MESSAGE ERROR scheduler Unhealthy Get "dial tcp 127.0.0.1:10251: connect: connection refused controller-manager Unhealthy Get "dial tcp 127.0.0.1:10252: connect: connection refused etcd-0 Healthy {"health":"true"}

部署metrics-server服务

把离线镜像压缩包上传到k8s的各个节点，在每个节点按如下方法手动解压

docker load -i metrics-server-amd64-0-3-6.tar.gz docker load -i addon.tar.gz

在/etc/kubernetes/manifests里面修改一下apiserver的配置，注意：这个是 k8s 在 1.17 的新特性，如果是 1.16 版本的可以不用添加，1.17 以后要添加。这个参数的作用是 Aggregation 允许在不修改 Kubernetes 核心代码的同时扩展 Kubernetes API。

sudo vi /etc/kubernetes/manifests/kube-apiserver.yaml #增加如下内容：- --enable-bootstrap-token-auth=true下面 - --enable-aggregator-routing=true

sudo kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml kubectl get pods -n kube-system #把 CrashLoopBackOff 状态的 kube-apiserver 删除 kubectl delete pods kube-apiserver -n kube-system kubectl apply -f metrics.yaml #测试 kubectl top 命令 kubectl top pods -n kube-system kubectl top nodes

配置监听端口

默认在 1.19 之后 10252 和 10251 都是绑定在 127.0.0.1 的，如果想要通过 prometheus 监控，会采集不到数据，所以可以把端口绑定到物理机。

分别修改如下两个yaml文件中的内容：

--bind-address=127.0.0.1 变成--bind-address=192.168.229.200 hosts 由 127.0.0.1 变成 192.168.229.200 --port=0 删除

sudo vi /etc/kubernetes/manifests/kube-scheduler.yaml sudo vi /etc/kubernetes/manifests/kube-controller-manager.yaml

重启kubelet

修改之后在 k8s 各个节点重启下 kubelet

sudo systemctl restart kubelet

#再次查看集群组件状态 kubectl get cs #显示如下结果 Warning: v1 ComponentStatus is deprecated in v1.19+ NAME STATUS MESSAGE ERROR controller-manager Healthy ok scheduler Healthy ok etcd-0 Healthy {"health":"true"}

命令补全

sudo apt-get install -y bash-completion locate bash_completion source /usr/share/bash-completion/bash_completion source <(kubectl completion bash)

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。