2021年6月

Kasten k10 实战系列 04 - 利用 Kubestr 进行云原生存储能力评测

1. 前言

随着 Kubernetes 在企业 IT 基础架构体系中的采用日渐增多,可供用户使用的持久化存储产品也越来越多。CSI(容器存储接口)的引入使存储提供商能够轻松开发驱动程序。事实上今天有大约 100 种不同的 CSI 驱动程序可用,与现有的 In-Tree 存储提供程序一起,这使得存储的选型变得越发困难。如何为基础架构选择理想的存储提供商,已经成为了运维主管们的一个新型挑战。而传统的存储选型方法对于云原生架构又不一定合适,这时 Kubestr 就应运而生了。

文章目录

Kasten k10 实战系列 04 - 利用 Kubestr 进行云原生存储能力评测

  1. 前言
  2. Kubestr 是什么?
  3. Kubestr 能做什么? -
  4. 如何使用 Kubestr?

    • 4.1 Kubestr 的安装
    • 4.2 获取当前存储配置
    • 4.3 验证存储快照功能
    • 4.3 进行存储性能测试
  5. 总结
  6. 后记:拥抱开源,使自己成长

Kasten 实战系列导航

2. Kubestr 是什么?

Kubestr 是一组用于发现、验证和评估 kubernetes 存储选项的工具。简单来讲,用户可以利用 Kubestr 来给自己正在使用的云原生存储跑分,以评估其是否达到了所需要的标准。Kubestr 是继备份解决方案 Kopia 和 Kubernetes 有状态数据管理框架 Kanister 之后,Kasten 发布的第三个主要开源项目,用于支持在 Kubernetes 环境中运行的有状态应用程序的存储选型、功能验证和存储性能评估。

Kubestr 介绍
https://kubestr.io/

3. Kubestr 能做什么?

Kubestr 专注于生产存储的验证和评估,使企业快速找到与适配企业工作负载需要的存储解决方案。对于有状态的应用,这一点尤为重要。利用 Kubestr, K8S 操作员可以轻松的完成以下工作:

  • 明确配置 明确 K8S 集群中存在的各种存储类及其选项。
  • 验证功能 验证 K8S 存储选项,尤其是快照功能是否配置正确。
  • 评估性能 使用存储基准测试工具(如:FIO)对存储进行评估。

4. 如何使用 Kubestr?

4.1 Kubestr 的安装

下载 Kubestr, 从如下链接可以直接下载您所需要的 Kubestr 版本

https://github.com/kastenhq/kubestr/releases/tag/v0.4.17

20210628183141

用 wget 可以直接获取 Kubestr 软件包, 并解包

# wget https://github.com/kastenhq/kubestr/releases/download/v0.4.17/kubestr-v0.4.17-linux-amd64.tar.gz

# tar -zxvf kubestr-v0.4.17-linux-amd64.tar.gz
LICENSE
README.md
kubestr

4.2 获取当前存储配置

目前在我们的环境中,有CBS 和 CBS CSI 与 kubectl 命令一致, 同时可以看到 CBS 存储类还是 in-tree 模式的。

# kubectl get sc   
NAME                PROVISIONER                    RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
cbs                 cloud.tencent.com/qcloud-cbs   Delete          Immediate              false                  3d15h
cbs-csi (default)   com.tencent.cloud.csi.cbs      Delete          WaitForFirstConsumer   true                   3d15h

执行 ./kubestr 应用程序,您将得到如下信息,可以看到 kubestr 已经将所有的存储类型列表,并将配置进行了罗列。

# ./kubestr 

**************************************
  _  ___   _ ___ ___ ___ _____ ___
  | |/ / | | | _ ) __/ __|_   _| _ \
  | ' <| |_| | _ \ _|\__ \ | | |   /
  |_|\_\\___/|___/___|___/ |_| |_|_\

Explore your Kubernetes storage options
**************************************
Kubernetes Version Check:
  Valid kubernetes version (v1.18.4-tke.11)  -  OK

RBAC Check:
  Kubernetes RBAC is enabled  -  OK

Aggregated Layer Check:
  The Kubernetes Aggregated Layer is enabled  -  OK

Available Storage Provisioners:

  cloud.tencent.com/qcloud-cbs:
    Unknown driver type.

    Storage Classes:
      * cbs

    To perform a FIO test, run-
      ./kubestr fio -s <storage class>

  com.tencent.cloud.csi.cbs:
    Missing CSIDriver Object. Required by some provisioners.
    This is a CSI driver!
    (The following info may not be up to date. Please check with the provider for more information.)
    Provider:            Tencent Cloud Block Storage
    Website:             https://github.com/TencentCloud/kubernetes-csi-tencentcloud
    Description:         A Container Storage Interface (CSI) Driver for Tencent Cloud Block Storage
    Additional Features: Snapshot

    Storage Classes:
      * cbs-csi
    Volume Snapshot Classes:
      * cbs-snapclass
      * k10-clone-cbs-snapclass

    To perform a FIO test, run-
      ./kubestr fio -s <storage class>

    To test CSI snapshot/restore functionality, run-
      ./kubestr csicheck -s <storage class> -v <volume snapshot class>

4.3 验证快照功能

由于 Kubestr 会在验证 Snapshot 的过程中创建存储组件,比如:1 GB 的 PVC,但由于上文提到的原因,即 腾讯云 TKE 并不允许客户创建低于 10 GB 的 PVC ,为了给大家进行完整的介绍。我们将这部分测试挪到任何一个可用的环境都可以,比如: Mars 笔记本中的 minikube.

请确保以下 Addon 已经 启用

$ minikube addons list 

csi-hostpath-driver  enabled 
volumesnapshots enabled 

如果没有启动,可以用以下的命令,启用 volumesnapshots 与 csi-hostpath-driver

$ minikube addons enable volumesnapshots  
    ▪ Using image k8s.gcr.io/sig-storage/snapshot-controller:v4.0.0
  The 'volumesnapshots' addon is enabled
$ minikube addons enable csi-host path-driver                                                                    
    ▪ Using image k8s.gcr.io/sig-storage/csi-attacher:v3.1.0
    ▪ Using image k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.0.1
    ▪ Using image k8s.gcr.io/sig-storage/csi-snapshotter:v4.0.0
    ▪ Using image k8s.gcr.io/sig-storage/csi-external-health-monitor-controller:v0.2.0
    ▪ Using image k8s.gcr.io/sig-storage/livenessprobe:v2.2.0
    ▪ Using image k8s.gcr.io/sig-storage/csi-resizer:v1.1.0
    ▪ Using image k8s.gcr.io/sig-storage/csi-provisioner:v2.1.0
    ▪ Using image k8s.gcr.io/sig-storage/csi-external-health-monitor-agent:v0.2.0
    ▪ Using image k8s.gcr.io/sig-storage/hostpathplugin:v1.6.0
  Verifying csi-hostpath-driver addon...
  The 'csi-hostpath-driver' addon is enabled

接下来,我们用 Kubestr 验证快照功能是否已经生效

# 首先让我们检查存储类 和 快照类
$ kubectl get sc 
NAME                 PROVISIONER                RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
csi-hostpath-sc      hostpath.csi.k8s.io        Delete          Immediate           false                  15m
standard (default)   k8s.io/minikube-hostpath   Delete          Immediate           false                  16m
# 查看 volumesnapshotclasses
$ kubectl get volumesnapshotclasses  
NAME                     DRIVER                DELETIONPOLICY   AGE
csi-hostpath-snapclass   hostpath.csi.k8s.io   Delete           3m43s
# 用以下命令进行验证
$ ./kubestr csicheck -s csi-hostpath-sc -v csi-hostpath-snapclass
Creating application
  -> Created pod (kubestr-csi-original-podrnhs4) and pvc (kubestr-csi-original-pvc4stv4)
Taking a snapshot
  -> Created snapshot (kubestr-snapshot-20210711163527)
Restoring application
  -> Restored pod (kubestr-csi-cloned-podzcmg4) and pvc (kubestr-csi-cloned-pvcn4zcw)
Cleaning up resources
CSI checker test:
  CSI application successfully snapshotted and restored.  -  OK

4.3 存储性能测试

性能测试的默认用例将涉及如下场景,同时默认的存储性能测试会创建一个100G的卷, 如果您希望调整测试场景与卷大小,可使用 -f 来写配置文件, -z 选项来指定卷的大小。详细情况见如下的帮助提示。

  • blocksize=4K filesize=2G iodepth=64 rw=randread
  • blocksize=4K filesize=2G iodepth=64 rw=randwrite
  • blocksize=128K filesize=2G iodepth=64 rw=randread
  • blocksize=128k filesize=2G iodepth=64 rw=randwrite

$ ./kubestr fio --help 
Run an fio test

Usage:
  kubestr fio [flags]

Flags:
  -f, --fiofile string        The path to a an fio config file.
  -h, --help                  help for fio
  -i, --image string          The container image used to create a pod.
  -n, --namespace string      The namespace used to run FIO. (default "default")
  -z, --size string           The size of the volume used to run FIO. (default "100Gi")
  -s, --storageclass string   The name of a Storageclass. (Required)
  -t, --testname string       The Name of a predefined kubestr fio test. Options(default-fio)

测试的过程如下

$./kubestr fio -s cbs-csi     
PVC created kubestr-fio-pvc-z2wdr
Pod created kubestr-fio-pod-4lczx
Running FIO test (default-fio) on StorageClass (cbs-csi) with a PVC of Size (100Gi)
Elapsed time- 53.485027531s
FIO test results:
  
FIO version - fio-3.20
Global options - ioengine=libaio verify=0 direct=1 gtod_reduce=1

JobName: read_iops
  blocksize=4K filesize=2G iodepth=64 rw=randread
read:
  IOPS=868.849182 BW(KiB/s)=3492
  iops: min=760 max=962 avg=870.599976
  bw(KiB/s): min=3040 max=3848 avg=3482.466553

JobName: write_iops
  blocksize=4K filesize=2G iodepth=64 rw=randwrite
write:
  IOPS=453.163391 BW(KiB/s)=1829
  iops: min=304 max=580 avg=451.500000
  bw(KiB/s): min=1216 max=2320 avg=1806.033325

JobName: read_bw
  blocksize=128K filesize=2G iodepth=64 rw=randread
read:
  IOPS=888.234924 BW(KiB/s)=114227
  iops: min=884 max=902 avg=893.666687
  bw(KiB/s): min=113152 max=115456 avg=114391.164062

JobName: write_bw
  blocksize=128k filesize=2G iodepth=64 rw=randwrite
write:
  IOPS=530.908386 BW(KiB/s)=68490
  iops: min=404 max=690 avg=532.799988
  bw(KiB/s): min=51712 max=88320 avg=68202.101562

Disk stats (read/write):
  vdh: ios=31545/17967 merge=240/403 ticks=2140610/2168191 in_queue=2191134, util=99.639580%
  -  OK

5. 总结

Kubestr 是一个简单的轻量级工具,用于评估集群中的存储选项。它可以帮助您 发现、验证和评估 您的 kubernetes 云原生存储,以明确当前配置的状态与存储能力是否满足应用的要求。当比较跨多个集群、云平台与存储选项的性能时,还可以通过切换 Kubeconfig 使其跨多个集群运行。 这就是我们带来的开源工具 Kubestr 的介绍,欢迎大家下载和使用。并将意见直接提交到 github 或 反馈给我们,谢谢! 欢迎大家扫描下方二维码申请 K10 免费试用,亲身动手试一试。

20210628171302

6. 参考文献

Kubestr 介绍
https://kubestr.io/
Kubestr Github
https://github.com/kastenhq/kubestr/releases/tag/v0.4.17
minikube 参考
https://minikube.sigs.k8s.io/docs/tutorials/volume_snapshots_and_csi/
腾讯 cbs-csi 参考
https://github.com/TencentCloud/kubernetes-csi-tencentcloud

Kasten k10 实战系列 - 03 Kasten K10 存储集成功能

前言

随着 Kubernetes 中有状态应用程序的部署在云原生基础架构中的越发成熟,以及存储供应商对容器存储接口 CSI (Container Storage Interface )的迅速采用,目前 CSI 已经成为容器存储接口的事实标准,这其实给数据保护厂商来了新的机遇,今天我们来聊一下 Kasten 对 CSI的调用。

- 阅读剩余部分 -

Kasten K10 实战系列 02 - Kasten K10 搭建私有镜像库

1.前言 - gcri.io 的访问

由于一些众所周知的原因, 有些企业在国内无法访问 gcr.io 上的镜像, 在安装 kubernetes 时,很多官方镜像又是都存在 gcr.io 上, Kasten K10 也是如此。当然 Kasten K10 也考虑到用户不能访问 gcr.io 因素,同时把镜像也放到了 Jfrog artifactory 上作为 alternative 的镜像下载站。这对于在线安装的用户来说就简单多了。考虑到国内用户私有化部署的情况比较多,在本文中我们归纳了将 Kasten K10 的 Helm Chart 部署在腾讯 TCR 或是 Harbor上的方法,这样我们就可以直接使用国内的镜像库了。本文将以腾讯的私人镜像库为例进行说明。

文章目录

  1. 前言 - gcri.io 的访问
  2. 腾讯镜像库 TCR 就绪过程

    • 2.1 腾讯镜像库 TCR 介绍
    • 2.2 腾讯镜像库 TCR 新建命名空间
    • 2.3 新建 镜像仓库
    • 2.4 选择使用指引, 了解 登录 docker login 登录所需要的命令
    • 2.5 访问管理 CAM 策略检查
  3. 部署私有镜像库到 TCR

    • 3.1. 使用 Kasten K10 官方的方法部署镜像库
    • 3.2. 使用 Veeam 工程师方法部署镜像库
    • 3.3. 针对无网络环境,使用手动方式部署镜像库
    • 3.4 对于两个特殊镜像的上传 Restorectl 和 k10offline 镜像
  4. 查看部署完成的 TCR 镜像库
  5. 总结
  6. 参考链接
  7. 附录:将 docker images save 再 load 的方法参考

Kasten 实战系列导航

2. 腾讯镜像库 TCR 就绪过程

2.1 腾讯镜像库 TCR 介绍

腾讯容器镜像服务(Tencent Container Registry,TCR)是腾讯云提供的安全独享、高性能的容器镜像托管分发服务,支持 Docker 镜像、Helm Chart 存储分发及镜像安全扫描,为企业级客户提供了细颗粒度的访问权限管理和网络访问控制。

2.2 新建命名空间

首先,我们需要在腾讯云镜像仓库中,新建命名空间,如下图。

20210628145211

然后,输入命名空间的名称, 如 Kasten

20210628145439

2.3 新建镜像仓库

在这里,我们需要新建一个镜像仓库为试做准备,值得说明的是下面的环境将为自动化的建立镜像仓库,这里只是测试功能是否可以非常使用。

20210628152430

名称:填入测试镜像库的名称, 类型,选公有, 命名空间,选择刚刚创建的名空间
20210628152655

2.4 查看镜像仓库指引

在这里,让我们选择使用指引, 以便了解登录,即 docker login 所需要的命令
20210628153347

2.5 访问管理 CAM 策略检查

确保角色 TCR_QCSRole 已经创建
20210628151922

确保如下策略在角色 TCR_QCSRole 中被关联

20210628151948

3. 部署私有镜像库到 TCR

3.1. 使用 Kasten K10 官方的方法部署镜像库

要使用 Kasten K10 官方的方法部署镜像库,请参考如下文档

参考 Kasten 文档 Air-Gapped Install
https://docs.kasten.io/latest/install/offline.html

注意以下操作的主机需要可以接触 gcr.io
建议准备一个 Ubuntu Linux 方便操作

1. 列出 K10 容器镜像

以下命令将列出当前 K10 版本使用的所有 Docker images,如果需要手动标记 K10 Docker images 并将其推送到您的私有存储库,而不是使用下面记录的 Kasten 提供的工具,这会很有帮助。

$ docker run --rm -it gcr.io/kasten-images/k10offline:4.0.5 list-images

2. 将所有 K10 镜像下载到本地机器的 Registry 中
以下命令执行 k10offline 工具并使用 docker -in- docker(通过 docker.sock)将所有 K10 镜像下载到本地机器的 Registry 中。

$ docker run --rm -it -v /var/run/docker.sock:/var/run/docker.sock \
>     gcr.io/kasten-images/k10offline:4.0.5 pull images

3. 将所有 K10 镜像拉入您的本地存储库,并重新标记

最后,为了完全自动化 K10 Docker 映像的下载和重新上传,以下命令会将所有 K10 映像拉入您的本地存储库,并重新标记 repo.example.com 并将它们推送到此指定的 Registry 。请注意,如果私有 Registry 需要身份验证,此工具将使用您的本地 docker 配置。

$ docker login --username=10000******* ccr.ccs.tencentyun.com
$ docker run --rm -ti -v /var/run/docker.sock:/var/run/docker.sock \
    -v ${HOME}/.docker:/root/.docker \
    gcr.io/kasten-images/k10offline:4.0.5 pull images --newrepo repo.example.com

3.2. 使用 Veeam 工程师方法部署镜像库

Veeam SE 团队的 魏磊 已经创造了更方便的方法部署 Kasten K10 镜像库,请参考如下文档

Kasten K10入门系列04 - K10安装包下载
https://mp.weixin.qq.com/s/q87OEm2ktn4QBI-jrD6V_w

3.3. 针对无网络环境,使用手动方式部署镜像库

有些时候,某客户部署 K8S 环境是完全没有网络的,针对这样的用户我们准备通过 Docker Save 导出的 Tar 包是最新的 4.0.5 版本

1. 离线软件包下载
以下软件包是由 Veeam SE 团队的 魏磊 提供的,如果有需要离线下载资源的也可以使用我们已经在中国部署的镜像库,或是联系我们。

请通过如下渠道下载:
https://cloud.189.cn/t/zIVZ3uaIzUr2(访问码:8fbw)

2. 离线软件包的查看与命名规则

下载过程结束后,您将得到一个软件包,里面包含24个文件,每个文件文件名由3部分组成(镜像名|版本+镜像ID)。我们需要根据 『-』按照从后到前的顺序将其拆分。

20210628161945

2. 离线软件包的查看与命名规则
下载后把这些文件,用 docker load、docker tag、docker push命令,导入到你的存储库,以下是范例

$ docker load -i jimmidyson--configmap-reload--v0.4.0--37e6075b1356.tar

$ docker images 查看一下导入的情况,注意要进行docker login

$ docker images 
$ docker login --username=10000******* ccr.ccs.tencentyun.com

打 tag, push

$ docker tag 3b6d0bf8e711 ccr.ccs.tencentyun.com/kasten-k10/restorectl:4.0.5
$ docker push ccr.ccs.tencentyun.com/kasten-k10/restorectl:4.0.5

注意:大部分的镜像版本都是 4.0.5,有5个版本不是 原生 kasten images POD 将以 k10 开头

root@ubuntu:/home/mars/Desktop# docker images 
REPOSITORY                                           TAG           IMAGE ID       CREATED         SIZE
ghcr.io/kanisterio/kanister-tools/                   k10-0.61.0    99624811c928   8 days ago      425MB
quay.io/dexidp/dex                                   k10-v2.24.0   bb0b95a82a8a   13 months ago   34.2MB
quay.io/datawire/ambassador                          k10-1.13.6    09ecebfe1767   4 weeks ago     373MB
quay.io/prometheus/prometheus                        k10-v2.26.0   6d6859d1a42a   2 months ago    169MB
jimmidyson/configmap-reload                          k10-v0.5.0    d771cc9785a1   5 months ago    9.99MB
gcr.io/kasten-images/k10offline                      4.0.5         133f5a682ed8   6 days ago      237MB
gcr.io/kasten-images/frontend                        4.0.5         ae95f8a8189f   8 days ago      234MB
gcr.io/kasten-images/auth                            4.0.5         5432edc01c41   8 days ago      194MB
gcr.io/kasten-images/jobs                            4.0.5         81f48f237e5d   8 days ago      188MB
gcr.io/kasten-images/catalog                         4.0.5         9016df63b503   8 days ago      240MB
gcr.io/kasten-images/aggregatedapis                  4.0.5         3150ee79d881   8 days ago      247MB
gcr.io/kasten-images/config                          4.0.5         15b0ccea27d6   8 days ago      244MB
gcr.io/kasten-images/executor                        4.0.5         2baf456fbc25   8 days ago      249MB
gcr.io/kasten-images/dashboardbff                    4.0.5         9bb2eac71054   8 days ago      248MB
gcr.io/kasten-images/metering                        4.0.5         fe8879f15b18   8 days ago      242MB
gcr.io/kasten-images/state                           4.0.5         0d9722ba46ab   8 days ago      189MB
gcr.io/kasten-images/crypto                          4.0.5         ca32ec19516a   8 days ago      197MB
gcr.io/kasten-images/datamover                       4.0.5         348af65fe6cd   8 days ago      905MB
gcr.io/kasten-images/k10tools                        4.0.5         c92a7d2356a4   8 days ago      233MB
gcr.io/kasten-images/upgrade                         4.0.5         87aab37087f7   8 days ago      115MB
gcr.io/kasten-images/restorectl                      4.0.5         3b6d0bf8e711   8 days ago      229MB
gcr.io/kasten-images/logging                         4.0.5         557dfc441841   8 days ago      255MB
gcr.io/kasten-images/kanister                        4.0.5         ea462073460e   8 days ago      371MB
gcr.io/kasten-images/cephtool                        4.0.5         aae661a7ce5f   6 months ago    524MB

3.4 对于两个特殊镜像的上传 Restorectl 和 k10offline 镜像

以下两个软件包,不会出现在镜像库中,但时常会用到。所以我们通过 Docker 命令把它们手动推送到
TCR上

  • Restorectl 用于容灾和异地恢复
  • k10offline 离线工具包
$ docker login --username=10000***** ccr.ccs.tencentyun.com
$ docker tag 3b6d0bf8e711 ccr.ccs.tencentyun.com/kasten-k10/restorectl:4.0.5
$ docker pull gcr.io/kasten-images/k10offline:4.0.5
$ docker push ccr.ccs.tencentyun.com/kasten-k10/restorectl:4.0.5

$ docker pull gcr.io/kasten-images/k10offline:4.0.5
$ docker tag 3b6d0bf8e711 ccr.ccs.tencentyun.com/kasten-k10/restorectl:4.0.5
$ docker push ccr.ccs.tencentyun.com/kasten-k10/restorectl:4.0.5

4. 查看部署完成的 TCR 镜像库

确保 TCR 已经配置完善

20210627200943

5. 总结

将 Kasten K10 的 Helm Chart 部署在 腾讯 TCR 解决我们有时,不能方便访问 gcr.io 的问题,使我们可以更加方便安装Kasten K10。欢迎大家扫描下方二维码申请 K10 免费试用,亲身动手试一试。

20210628171302

6. 参考链接

Jfrog artifactory
https://kb.kasten.io/knowledge/jfrog
参考 Kasten 文档 Air-Gapped Install
https://docs.kasten.io/latest/install/offline.html#preparing-k10-container-images-for-air-gapped-use
Kasten K10入门系列04 - K10安装包下载
https://mp.weixin.qq.com/s/q87OEm2ktn4QBI-jrD6V_w
腾讯云 TCR 文档与资源

https://cloud.tencent.com/document/product/1141

Docker 操作要点
https://docs.docker.com/get-started/
Kasten by Veeam 官网
https://docs.kasten.io/latest/
Complete List of K10 Helm Options
https://docs.kasten.io/latest/install/advanced.html

7.附录:将 docker images save 再 load 的方法参考

#查看 docker images
root@ubuntu:/home/mars/Desktop# docker images |grep jimmi
jimmidyson/configmap-reload                       v0.4.0        37e6075b1356   11 months ago   10.7MB
# docker save images to tar file 
root@ubuntu:/home/mars/Desktop# docker save jimmidyson/configmap-reload:v0.4.0 > jimmidyson--configmap-reload--v0.4.0--37e6075b1356.tar
root@ubuntu:/home/mars/Desktop# ls
jimmidyson--configmap-reload--v0.4.0--37e6075b1356.tar
# 模拟删除 docker images
root@ubuntu:/home/mars/Desktop# docker rmi jimmidyson/configmap-reload:v0.4.0
Untagged: jimmidyson/configmap-reload:v0.4.0
# docker images 已经看不到它了
root@ubuntu:/home/mars/Desktop# docker images |grep jimmi
root@ubuntu:/home/mars/Desktop# 

#查看 docker tar
root@ubuntu:/home/mars/Desktop# ls -lah
total 11M
-rw-r--r--  1 root root  11M Jun 24 23:23 jimmidyson--configmap-reload--v0.4.0--37e6075b1356.tar
# 用 docker load 把镜像读回来
root@ubuntu:/home/mars/Desktop# 
root@ubuntu:/home/mars/Desktop# docker load -i jimmidyson--configmap-reload--v0.4.0--37e6075b1356.tar

Kasten K10 实战系列 01 - 在腾讯云上部署 K10 概览

[toc]

1.前言 - Kasten K10 与 TKE 背景介绍

Kasten K10 是 Veeam 在 Kubernetes 平台的数据管理解决方案,通过部署 Kasten K10 企业可以安全地备份和还原,执行灾难恢复以及迁移 Kubernetes 集群资源和持久卷等存储资源。解决用户备份、灾难恢复、迁移过程中的数据管理问题,提高云原生环境数据管理的便捷性,帮助用户降低灾备成本,提高生产执行效率。

腾讯云容器服务(Tencent Kubernetes Engine ,TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务。腾讯云容器服务完全兼容原生 kubernetes API ,扩展了腾讯云的云硬盘、负载均衡等 kubernetes 插件,为容器化的应用提供高效部署、资源调度、服务发现和动态伸缩等一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题。

本文写作目标 本文将以 TKE K8S 集群为实战目标,为读者展现在腾讯云 TKE 平台上部署 Kasten K10 的逐步说明,旨在为读者提供具有价值的实战参考。 本文是由 Mars Zhang与 腾讯云大咖合作创建的,具体的解决方案还需要遵循 Kasten K10 文档 与 腾讯云文档中的最佳实践,目前文档编目如下:

  • Kasten K10 实战系列 01 - 在腾讯云上部署 K10 概览
  • Kasten K10 实战系列 02 - 利用腾讯 TCR 搭建镜像库
  • Kasten k10 实战系列 03 - CSI 存储快照适配
  • Kasten k10 实战系列 04 - 利用 Kubestr 进行云原生存储能力评测
  • Kasten k10 实战系列 05 - Kasten K10 安装及最佳实践
  • Kasten k10 实战系列 06 - Kasten K10 备份与恢复
  • Kasten k10 实战系列 07 - Kasten K10 容灾与迁移
  • Kasten k10 实战系列 08 - Kasten K10 Kanister 应用感知框架的使用
  • Kasten k10 实战系列 09 - Multi-Cluster 多 K8S 环境管理
  • Kasten k10 实战系列 10 - Kasten 实战总结

2.Kasten 在云原生领域中的用例

通过部署 Kasten K10 企业可以安全地备份和还原,可以安全地备份和还原,执行灾难恢复以及迁移 Kubernetes 集群资源和持久卷,可以在 TKE 集群或自建 Kubenetes 集群中部署 Kasten K10 涵盖但不仅限于使用在如下场景:

  • 备份恢复: 保护集群资源并在丢失的情况下进行还原
  • 应用迁移: 将集群资源迁移到其他集群。
  • DevOpS: 将生产集群资源复制到开发和 Staging、测试集群。

3.Kasten K10 如何工作?

Kasten K10 工作原理图如下图所示,当用户执行备份或还原命令时,调用自定义资源 API 创建查找备份对象。

20210627180420

Step1:发现应用组件 : 通过 Orchestrator API, K10 应用可以在几分钟内部署到在您的 Kubernetes 集群上,并与 IAM 身份和访问管理集成,K10 的自动应用程序发现功能。

Step2:发现应用配置 : K10 API Controller 控制器 watch 到生成的备份对象时,执行备份计划,此时 K10 与 将与存储基础架构 API 相集成发现应用的配置,如 Namespaces, deployments , configmaps , secrets , serivceaccounts , serivecs ,storageclass 等等

Step3:发现应用数据 : 通过自动扫描 Kubernetes 环境中需保护的应用和相关组件,发现数据的所在位置。通过使用自动化策略高效执行数据管理操作,如通过CSI接口实现的快照操作,可以保证数据的高速备份、还原、以及应用的可移动性。同理,针对有状态的应用,还可以通过开源应用程序框架 Kanister,提供可扩展的、无代理的、以数据应用程序为中心的蓝图部署与保护方式,实现数据备份和恢复的一致性。

4.Kasten K10 部署规划

4.1 技术资源准备与要求

Kasten K10 部署在 Tencent Cloud 需要以下先决条件 :

  • TKE Tencent Kubenetes Engine 1.18.4(Tencent Kubernetes Engine ,TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务。
  • TCR Tencent Container Registry 容器镜像服务, 为您提供安全独享、高性能的容器镜像托管分发服务。
  • CBS-CSI 组件 CBS-CSI 组件 支持 TKE 集群通过控制台快捷选择存储类型,并创建对应块存储云硬盘类型的 PV 和 PVC。本文提供 CBS-CSI 组件功能特性等说明并介绍几种常见示例用法。
  • COS 对象存储, 用于存放备份的数据集,用于存储部署Kasten K10的自动化检测脚本,和
  • 技术人员要求 部署人员除了对腾讯云有一定了解以外,还应该具备 K8S 或 TKE 运维的相关知识。

4.2 K8S 集群资源需求

对于Kasten K10 在 TKE 容器平台环境的部署,Kasten K10 将需要以下资源,鉴于 K10 所保护的应用数量不同,对应的数值也做相应的调整。

POD数量: 18 -21
CPU与内存资源: 见 Kasten K10 文档
PVC 存储资源要求:100GB 左右

Kasten K10 系统需求
https://docs.kasten.io/latest/operating/footprint.html

在腾讯云 TKE 的集群配置中,最小配置为一个节点,推荐两个节点

类型机型规格CPU内存硬盘
基础配置标准型SA2SA2.MEDIUM42核4GB50GB 高性能云硬盘
推荐配置标准型SA2SA2.LARGE84核8GB100GB SSD云硬盘

5. Kasten K10 部署

5.1 K10 部署先决条件

本指南提供了确保在 TKE 集群中顺利和成功安装 K10 的步骤,同时利用CBS-CSI容器存储快照和克隆特性进行备份和恢复策略,K10 部署的先决条件如下。

  • 通过 Pre-flight checks
  • 安装了 Docker、kubectl、 Helm 的操作端
  • CBS-CSI 组件
  • CAM 角色

5.2 Kasten K10 部署

本文中,我们只将如下步骤进行概览,我们随后还将发布该文档的一个系统版本,来列举部署时的详情。

5.2.1.Step 1 CAM 规划

确保如下策略在角色载体为 CCS的 TCR_QCSRole中被关联

  • QcloudCBSFullAccess
  • CLBAutoPreAuthorization
  • QcloudAccessForTKERoleInOpsManagement
  • QcloudAccessForTKERole

20210627195218

5.2.2. 配置 TCR 存储库

确保 TCR 已经配置完善

20210627200943

5.2.3.启用 CBS-CSI 插件

确保 CBS CSI 已经启用

20210627195734

确保 StorageClass CBS-CSI 已经被定义,并配置为默认存储类型

20210627195935

5.2.4. Step 4 验证部署的前提条件是否满足

通过我们部署在COS上的脚本,我们可调用 k10_permer 应用来检查,当前部署环境的前提条件是否满足

[root@harbor01 ~]# curl https://kasten-1257130361.cos.ap-chengdu.myqcloud.com/k10_primer.sh | bash
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  6025  100  6025    0     0  20130      0 --:--:-- --:--:-- --:--:-- 20083
Namespace option not provided, using default namespace
Checking for tools
 --> Found kubectl
 --> Found helm
Checking if the Kasten Helm repo is present
WARNING: Kubernetes configuration file is group-readable. This is insecure. Location: /root/.kube/config
WARNING: Kubernetes configuration file is world-readable. This is insecure. Location: /root/.kube/config
 --> The Kasten Helm repo was found
Checking for required Helm version (>= v3.0.0)
WARNING: Kubernetes configuration file is group-readable. This is insecure. Location: /root/.kube/config
WARNING: Kubernetes configuration file is world-readable. This is insecure. Location: /root/.kube/config
WARNING: Kubernetes configuration file is group-readable. This is insecure. Location: /root/.kube/config
WARNING: Kubernetes configuration file is world-readable. This is insecure. Location: /root/.kube/config
 --> No Tiller needed with Helm v3.5.4
K10Primer image
 --> Using Image (ccr.ccs.tencentyun.com/kasten-k10/k10tools:4.0.5) to run test
Checking access to the Kubernetes context cls-jrc2egbj-100006537440-context-default
 --> Able to access the default Kubernetes namespace

Running K10Primer Job in cluster with command- 
     ./k10tools primer 
serviceaccount/k10-primer created
clusterrolebinding.rbac.authorization.k8s.io/k10-primer created
job.batch/k10primer created
Waiting for pod k10primer-5z7gl to be ready - ContainerCreating
Pod Ready!

Kubernetes Version Check:
  Valid kubernetes version (v1.18.4-tke.11)  -  OK

RBAC Check:
  Kubernetes RBAC is enabled  -  OK

Aggregated Layer Check:
  The Kubernetes Aggregated Layer is enabled  -  OK

CSI Capabilities Check:
  Using CSI GroupVersion snapshot.storage.k8s.io/v1beta1  -  OK

Validating Provisioners: 
cloud.tencent.com/qcloud-cbs:
  Storage Classes:
    cbs
      Supported via K10 Generic Volume Backup. See https://docs.kasten.io/latest/install/generic.html.

com.tencent.cloud.csi.cbs:
  Is a CSI Provisioner  -  OK
  Missing/Failed to Fetch CSIDriver Object
  Storage Classes:
    cbs-csi
      Valid Storage Class  -  OK
  Volume Snapshot Classes:
    cbs-snapclass
      Has k10.kasten.io/is-snapshot-class annotation set to true  -  OK
      Has deletionPolicy 'Delete'  -  OK
    k10-clone-cbs-snapclass

Validate Generic Volume Snapshot:
  Pod Created successfully  -  OK
  GVS Backup command executed successfully  -  OK
  Pod deleted successfully  -  OK

serviceaccount "k10-primer" deleted
clusterrolebinding.rbac.authorization.k8s.io "k10-primer" deleted
job.batch "k10primer" deleted

5.2.5. Step 6 - 安装 K10

1. 获取 Helm Chart 供本地使用

helm repo update && helm fetch kasten/k10

2. 建立名空间

kubectl create namespace kasten-io

3. 安装 Kasten K10

在选腾讯云CBS-CSI的云硬盘时,有个最小为10GB的限制,对于 Kasten 来说,有些PVC的要求仅为1GB,所以我们将其更改为10G以上为腾讯云部署作适配, 同时配置的参数还有为扩展 gateway 的 LB 用于外网访问 Kasten 图形界面,与安全性相关的 Token 登录认证的设置。

helm install k10 k10-4.0.5.tgz --namespace kasten-io --set global.airgapped.repository=ccr.ccs.tencentyun.com/kasten-k10 \
    --set global.persistence.metering.size=20Gi \
    --set prometheus.server.persistentVolume.size=20Gi \
    --set global.persistence.catalog.size=20Gi \
    --set externalGateway.create=true \
    --set auth.tokenAuth.enabled=true \
    --set global.persistence.storageClass=cbs-csi

查看 Kasten Helm 部署的参数
Complete List of K10 Helm Options
https://docs.kasten.io/latest/install/advanced.html

4. 确认 Kasten K10 Pod 的部署情况

[root@harbor01 ~]# kubectl get pods -n kasten-io -w 
NAME                                  READY   STATUS    RESTARTS   AGE
aggregatedapis-svc-68ffcc6b7f-4p5bd   1/1     Running   0          2d4h
auth-svc-6bdb748896-bsj9p             1/1     Running   0          2d4h
catalog-svc-5f97568f5c-cq4tg          2/2     Running   0          2d4h
config-svc-6f7b48686b-t4npl           1/1     Running   0          2d4h
crypto-svc-bd87f859b-89kzq            1/1     Running   0          2d4h
dashboardbff-svc-696dbdf4b-nhnzw      1/1     Running   0          2d4h
executor-svc-65d4888b8f-6l4ph         2/2     Running   0          2d4h
executor-svc-65d4888b8f-h54pw         2/2     Running   0          2d4h
executor-svc-65d4888b8f-kxgkp         2/2     Running   0          2d4h
frontend-svc-77588f478-5fll9          1/1     Running   0          2d4h
gateway-6c5d9ffc48-mxsgs              1/1     Running   0          2d4h
jobs-svc-59f9f594c-s2bvx              1/1     Running   0          2d4h
kanister-svc-744b459dc6-ppkx8         1/1     Running   0          2d4h
logging-svc-75bf5f7898-b65p5          1/1     Running   0          2d4h
metering-svc-58f99dc4bb-vxjxg         1/1     Running   0          2d4h
prometheus-server-7b99765ccb-jkx87    2/2     Running   0          2d4h
state-svc-57ff7b7846-hknrd            1/1     Running   0          2d4h

5. 访问 K10 控制台

通过 查看 K8S Service 中的Gateway-ext,查看 访问 K10的IP地址
20210627204738

浏览器访问如下地址

http://139.155.161.39/k10/#/

您将见到如下画面,这时需要我们输入 Token

20210627205847

在终端输入如下命令获取 Token

sa_secret=$(kubectl get serviceaccount k10-k10 -o jsonpath="{.secrets[0].name}" --namespace kasten-io)

kubectl get secret $sa_secret --namespace kasten-io -ojsonpath="{.data.token}{'\n'}" | base64 --decode

之后可以看到,Kasten K10 管理界面已经完美的出现在浏览器中。

20210627210142

6. 配置 腾讯云 COS 作为 Kasten 的存储库

我们可以能过设置 S3 Compatible 存储库的方式,将 腾讯云 COS 设置成为备份存储库,满足 3-2-1-1-0 的备份黄金法则。

20210627213313

7. 在TKE 集群管理器中查看 K10 部署情况

腾讯云 TKE 的管理界面非常友好,在这里我们可以非常方便的查看与K8S的应用,当然也包括 Kasten K10

Pod 运行的情况
20210627211440

存储使用情况
20210627211523

8. 总结

以上就是关于 Kasten 在腾讯云 TKE 上部署的有关记录,供大家在部署时参考。我认为Kasten 这个产品的有趣之处是,它与 Veeam 有很多异曲同工之妙,无疑云原生的灾备对于很多人来说是相当复杂的,但 Kasten 以其直观的方式将其图形化、简便化。关于这个过程的细节,我们还会在后续的文章中,逐步呈现给大家!

9. 参考链接

Kasten by Veeam 官网
https://docs.kasten.io/latest/
Complete List of K10 Helm Options
https://docs.kasten.io/latest/install/advanced.html
Kasten K10 系统需求
https://docs.kasten.io/latest/operating/footprint.html
腾讯云 TKE 文档与资源

https://cloud.tencent.com/product/tke/developer

腾讯云 TCR 文档与资源

https://cloud.tencent.com/document/product/1141

腾讯云 CBS-CSI 文档与资源

https://cloud.tencent.com/document/product/457/51099