应用场景：h3c s5500 (Switch A)。huawei s5720S-SI-AC（Switch B）

Switch A 作为上行交换机，Switch B作为下行交换机

组网：两个交换机的id、vlan号这里使用的是相同

1、介绍

        PersistentVolume（pv）和PersistentVolumeClaim（pvc）是k8s提供的两种API资源，用于抽象存储细节。管理员关注于如何通过pv提供存储功能而无需关注用户如何使用，同样的用户只需要挂载pvc到容器中而不需要关注存储卷采用何种技术实现。

        pvc和pv的关系与pod和node关系类似，前者消耗后者的资源。pvc可以向pv申请指定大小的存储资源并设置访问模式,这就可以通过Provision -> Claim 的方式，来对存储资源进行控制。

        nfs-client-provisioner是一个automatic provisioner，使用NFS作为存储，自动创建PV和对应的PVC，本身不提供NFS存储，需要外部先有一套NFS存储服务。

• PV以 ${namespace}-${pvcName}-${pvName}的命名格式提供（在NFS服务器上）
• PV回收的时候以 archieved-${namespace}-${pvcName}-${pvName} 的命名格式（在NFS服务器上）

官方访问地址

Prometheus、Grafana 部署

        Grafana是一个开源的度量分析与可视化套件。经常被用作基础设施的时间序列数据和应用程序分析的可视化，我们这里用它来做Kubernetes集群监控数据的可视化。

准备工作

        截至当前，prometheus、grafana均采用最新的镜像包，在在第一次部署的时候grafana报了一个错误mkdir: cannot create directory '/var/lib/grafana/plugins': No such file or directory,这是因为Grafana启动使用的用户和用户组都是472，造成对外挂存储没有权限。参考官方

前沿

        Kubernetes 集群并部署容器化应用只是第一步。一旦集群运行起来，我们需要确保一起正常，所有必要组件就位并各司其职，有足够的资源满足应用的需求。Kubernetes 是一个复杂系统，运维团队需要有一套工具帮助他们获知集群的实时状态，并为故障排查提供及时和准确的数据支持。

weave scope 介绍

        Weave Scope是Docker和Kubernetes的可视化和监控工具。它提供了一个自上而下的应用程序以及整个基础架构视图，并允许您在部署到云提供商时实时诊断分布式容器化应用程序的任何问题。

        traefix 前篇是可以使用，这里k8s v1.14 之前的拿来用不上，然后折腾了一下，参考官方的折腾起来了

基于角色的访问控制配置（仅限Kubernetes 1.6+）

        Kubernetes在1.6+中引入了基于角色的访问控制（RBAC），以允许对Kubernetes资源和API进行细粒度控制。群集配置了RBAC，则需要授权Traefik使用Kubernetes API。有两种方法可以设置适当的权限：通过特定于命名空间的RoleBindings或单个全局ClusterRoleBinding。

metrics-server这里不详细介绍，可以参考metrics-server安装季

安装metrics-server

        这里安装和之前的metrics-server安装季稍微有点不一样，之前集群安装没有使用https证书，后面去各种生成的证书和踩坑，这里是在安装的时候一开始就使用了https全证书,所有稍微有一点区别，这里只列出有区别的地方，其他的完全可以参考metrics-server安装季，这里https证书不需要重新生成；

kuberntes 自带插件的 manifests yaml 文件使用 gcr.io 的 docker registry，国内被墙，需要手动替换为其它 registry 地址

修改配置文件

将下载的 kubernetes-server-linux-amd64.tar.gz 解压后，再解压其中的 kubernetes-src.tar.gz 文件。

1
2

# cd kubernetes
# tar -xzvf kubernetes-src.tar.gz

dashboard 对应的目录是：cluster/addons/dashboard：

1

# cd cluster/addons/dashboard

修改 service 定义，指定端口类型为 NodePort，这样外界可以通过地址 NodeIP:NodePort 访问 dashboard；

部署 coredns 插件

注意:

• kuberntes 自带插件的 manifests yaml 文件使用 gcr.io 的 docker registry，国内被墙，需要手动替换为其它 registry 地址;

修改配置文件

将下载的 kubernetes-server-linux-amd64.tar.gz 解压后，再解压其中的 kubernetes-src.tar.gz 文件。

1
2

# cd kubernetes
# tar -xzvf kubernetes-src.tar.gz

验证集群功能

检查节点状态

1
2
3
4
5

# kubectl get nodes
NAME            STATUS   ROLES    AGE     VERSION
172.21.16.204   Ready    <none>   5h50m   v1.14.6
172.21.16.240   Ready    <none>   5h48m   v1.14.6
172.21.16.87    Ready    <none>   5h45m   v1.14.6

都为 Ready 时正常。