Harbor+Helm Chart构建k8s应用程序打包存储发布的基础环境

Harbor+Helm Chart构建k8s应用程序打包存储发布的基础环境

Harbor

简介

Harbor是由VMware公司中国团队为企业用户设计的 Registry server开源项目，包括了权限管理(RBAC)、LDAP、审计、管理界面、自我注册、HA、RESTful API等企业必需的功能，属于Cloud Native Computing Foundation（CNCF，云原生计算基金会）的毕业项目。

我们建议使用2.0以后的版本，Harbor在2.0以后的版本使Harbor成为第一个符合OCI（Open Container Initiative，开放容器倡议）标准的开源Registry server，能够存储大量云原生组件，例如container images、Helm Chart、OPAs、CNAB、Singularity等。

目前，Harbor最新稳定版本为2.1，本文使用此版本部署。

部署

1,我们的需求如下

提供registey服务的域名为registry.myk8s.com 我们需要把域名解析到有外网ip的nginx上，然后nginx给Harbor做代理 我们给Harbor单独提供一个分区挂载到了/data1目录

2,现在准备docker环境：

# yum install docker-ce -y # yum install docker-compose -y # systemctl start docker

3,Harbor安装配置：

# wget https://github.com/goharbor/harbor/releases/download/v2.0.1/harbor-online-installer-v2.0.1.tgz # tar xf harbor-online-installer-v2.0.1.tgz # cd harbor # vim harbor.yml hostname: registry.myk8s.com #服务的域名 # 如下配置域名的证书 certificate: /opt/registry.myk8s.com.crt private_key: /opt/registry.myk8s.com.key external_url: # 由于要用nginx做代理，故需要配置 harbor_admin_password: 123546 # 设置harbor默认admin用户的密码 data_volume: /data1 # 设置存储卷 # bash install.sh

最后install.sh会执行安装操作，需要从外网下载镜像，故需要一定的时间。

4,公网nginx配置给Harbor做代理转发:

给nginx添加vhost如下 # vim registry.myk8s.com.conf server { listen 443; access_log /data0/logs/registry.myk8s.com.log main; server_name registry.myk8s.com; location / { proxy_pass https://x.x.x.x:443; proxy_set_header Host registry.myk8s.com; } } 重启nginx # systemctl reload nginx 5,访问Harbor界面和配置 访问url：https://registry.myk8s.com 登陆界面之后，可以创建私有项目和不同权限的新用户，然后给用户绑定到不同的项目。私有项目需要对应用户的凭证才能访问。 也可以创建公共项目，公共项目不需要凭证就可以访问

推送docker image到Harbor的私有test项目

说到使用image就离不开要理解image的tag，我们先来理解下tag的作用：1，docker可以为image的每一个commit ID创建一个tagdocker image将文件等信息的变动抽象为一次次的commit，每一次commit以后会生成一串无规则的字符串代表此次生成的image的ID，此时，tag的作用就是为这个ID创建一个友好的NAME，方便我们对镜像库的管理。2，docker可以为给一个本地存在的image创建一个指向远程registry server的tag3，一个image可以有多个tag，不同的tag可以用来区分不同的版本

# docker login registry.myk8s.com # 输入用户名和密码 # docker tag tutum/dnsutils registry.myk8s.com/test/dnsutils:latest # docker push registry.myk8s.com/test/dnsutils:latest

对比docker registry

docker registry也提供镜像仓库的功能，但是Harbor功能更为强大。主要提供了docker registry所没有的镜像同步，用户角色权限控制，Helm Chart仓库支持等。

Helm Chart

简介

Helm的主要组件如下：

helm cli：helm的命令行客户端工具，主要用于k8s应用程序Chart的创建、打包、发布以及创建和管理本地和远程的Chart仓库。 Chart：Helm的软件包，采用tar格式。类似于YUM的rpm包，其包含了一组定义k8s资源相关的YAML文件。 Repoistory：Helm的软件仓库，Repository本质上是一个Web服务器，该服务器保存了一系列的Chart软件包以供用户下载，并且提供了一个该Repository的Chart包的清单文件以供查询。Helm可以同时管理多个不同的Repository。 Release：使用helm install命令在Kubernetes集群中部署的Chart称为Release。

在Helm中，一个Chart可能依赖于任何数量的其他Chart。这些依赖关系可以通过requirements.yaml文件动态链接或引入Charts/目录并手动管理。

helm3在2019年年底发布，移除了Tiller，支持推送Chart包到Harbor registry server。目前helm最新稳定版为helm 3.2.4，本位使用此版本部署。

架构

Chart目录结构

Chart目录结构说明

mychart ├── charts ├── Chart.yaml ├── templates │   ├── _helpers.tpl │   ├── NOTES.txt │   ├── *.yaml │   └── tests │   └── test-connection.yaml └── values.yaml

templates/NOTES.txt Chart的简易使用文档，Chart安装成功后会显示此文档内容 templates/_helpers.tpl放置partials模板的文件，里面的模板定义在所有Chart都可以被访问到 templates/*.yamlk8s的manifest文件 templates/testshelm跑test case的文件目录 charts放置依赖的子Chart目录。子chart是一个独立的Chart Chart.yaml文件包含Chart的说明，可以从模板中查看访问它定义的变量。例如定义Chart的name,version，dependencies等。 values.yamlChart支持在安装的时根据参数进行定制化配置，而values.yaml则提供了这些配置参数的默认值。

values.yaml中定义的值的特性

父Chart可以覆盖子Chart同名的参数值，达到常量共享效果例子： # vim mychart/values.yaml mysubchart: dessert: ice cream 会覆盖子Chart的配置 # vim mychart/charts/mysubchart/values.yaml dessert: lee

而mychart/charts/mysubchart/templates/configmap.变量仍然是使用此模板.Values.dessert，而不是.Values.mysubchart.dessert。

通过helm install命令--set定义的同名参数又可以覆盖父chart中的定义 支持全局变量的设置，设置之后，所有Chart都可以访问此变量，全局值是可以从任何chart或子chart用完全相同的名称访问的值,可以在此文件中通过如下方式配置全局变量全局变量定义例子 global: salad: caesar 在其他chart访问的时候用{{.Values.global.salad}} 子Chart不能直接访问父Chart中的非全局和非专门为子chart设置的共享常量的值 父Chart不能直接访问到子Char他中非全局变量的值

安装

在官方网站wget https://get.helm.sh/helm-v3.2.4-linux-amd64.tar.gz # tar xf helm-v3.2.4-linux-amd64.tar.gz # mv linux-amd64/helm /usr/local/bin/helm # helm version version.BuildInfo{Version:"v3.2.4", GitCommit:"0ad800ef43d3b826f31a5ad8dfbb4fe05d143688", GitTreeState:"clean", GoVersion:"go1.13.12"}

使用

公共仓库

helm有自己的官方公开仓库registry server创建公共仓库。

我们以在k8s集群部署cerebro应用为例子，需要先添加应用对应的repo，然后进行安装：

# helm repo add stable https://kubernetes-charts.storage.googleapis.com # helm repo list NAME URL stable https://kubernetes-charts.storage.googleapis.com # helm install stable/cerebro --version 1.1.4 --generate-name # helm list NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION cerebro-1591777586 default 1 2020-07-22 16:26:30.419723417 +0800 CST deployed cerebro-1.1.4 0.8.4 # kubectl get pods|grep cerebro cerebro-1591777586-7fd87f7d48-hmlp7 1/1 Running 0 11m

私有仓库

1，我们把helm hub的cerebro应用下载到本地，需要再给helm安装push插件，然后给推送到我们自己的Harbor registry server上。

# helm repo add stable https://kubernetes-charts.storage.googleapis.com # helm pull stable/cerebro # tar xf cerebro-1.9.2.tgz # yum install git -y # helm plugin install https://github.com/chartmuseum/helm-push.git # export HELM_EXPERIMENTAL_OCI=1 [root@master2 ~]# helm chart save cerebro registry.myk8s.com/test/cerebro:v1.9.2 ref: registry.myk8s.com/test/cerebro:v1.9.2 digest: d32e30e72bb1929b6cf7e46381e7d54f01fc5926c638ef5a47547e0fa24822d5 size: 5.4 KiB name: cerebro version: 1.9.2 v1.9.2: saved # helm registry login https://registry.myk8s.com Username: username Password: Login succeeded # helm chart push registry.myk8s.com/test/cerebro:v1.9.2 The push refers to repository [registry.myk8s.com/test/cerebro] ref: registry.myk8s.com/test/cerebro:v1.9.2 digest: d32e30e72bb1929b6cf7e46381e7d54f01fc5926c638ef5a47547e0fa24822d5 size: 5.4 KiB name: cerebro version: 1.9.2 v1.9.2: pushed to remote (1 layer, 5.4 KiB total)

注意：如果helm-push安装失败，需要通过一些办法把tar xf helm-push_0.8.1_linux_amd64.tar.gz # mkdir -p /root/.local/share/helm/plugins/helm-push.git/bin/ # cp bin/helmpush /root/.local/share/helm/plugins/helm-push.git/bin/

2，我们自己初始化一个简单的Chart，默认会安装一个nginx应用, 然后给推送到Harbor registry server。

# helm create helm-test # vim helm-test/values.yaml # 修改相关Chart的配置 # helm package helm-test # helm install helm-test-0.1.0.tgz --generate-name # 在本地k8s安装应用 # helm list helm-test-0-1595410957 default 1 2020-07-22 17:42:38.051204463 +0800 CST deployed helm-test-0.1.0 1.16.0 # helm chart save helm-test registry.myk8s.com/test/helm-test:v2 ref: registry.myk8s.com/test/helm-test:v2 digest: 7f1f17b1516d9173b3368cb64393ec31ad8b818b722b743b31276f49c1c36cf9 size: 3.5 KiB name: helm-test version: 0.1.0 v2: saved # helm chart push registry.myk8s.com/test/helm-test:v2 The push refers to repository [registry.myk8s.com/test/helm-test] ref: registry.myk8s.com/test/helm-test:v2 digest: 7f1f17b1516d9173b3368cb64393ec31ad8b818b722b743b31276f49c1c36cf9 size: 3.5 KiB name: helm-test version: 0.1.0 v2: pushed to remote (1 layer, 3.5 KiB total)

对比CNAB规范

Helm Chart只能用于k8s应用程序的包管理，而CNAB应用更为广泛。Cloud Native Application Bundles (CNAB) 是全新的开源打包格式规范，通过一个可安装文件就能管理多款，在不同环境中配置应用程序资源并分布式应用，在不同环境中配置应用程序资源，无需多个工具集就能轻松管理应用程序的生命周期。它兼容Azure，on-prem OpenStack, Kubernetes, Swarm, Ansible, Terraform等平台。

总结

目前Helm Chart是主流的k8s包管理工具，而Harbor也是主流的registry server，值的我们研究使用。

参考

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。