K8S云平台部署过程说明
近期由于工作原因，在项目支持的过程中，进行了一次K8S的基础环境部署，云平台一直是公司的重要底座，而我由于一系列原因，一直没有亲自尝试，通过本次的机会，让我重新做了一遍，也找到了和以前部署传统环境一样的感觉，虽然还有些生疏和不解，但是迈出了这一步，也算是深入学习的开始。
环境部署是作为公司技术人员，必须要掌握的，我们的产品都是基于这个基本条件下进行搭建使用的，因此对于环境的了解，原理的学习，对于我们后续问题排查，产品问题定位都是有所帮助的。
集群架构
其核心思想是让 K8S master 节点中的各类组件具备高可用性，消除单点故障。
1.kube-apiserver：对外暴露了 K8S API，是整个集群的访问入口。由于 apiserver 本身无状态，可以通过启动多个实例并结合负载均衡器实现高可用。
2.etcd：用于存储 K8S 集群的网络配置和对象的状态信息，是整个集群的数据中心。可以通过启动奇数个 etcd 实例建立一个冗余的，可靠的数据存储层。
3.kube-scheduler：为新创建的 pod 选择一个供他们运行的节点。一个集群只能有一个活跃的 kube-scheduler 实例，可以同时启动多个 kube-scheduler 并利用领导者选举功能实现高可用。
4.kube-controller-manager：集群内部的管理控制中心。一个集群只能有一个活跃的 kube-controller-manager 实例，可以同时启动多个 kube-controller-manager 并利用领导者选举功能实现高可用。
另外，构建集群时还需要注意下列问题。
1)节点上 K8S 进程的可靠性。需要让 kubelet、kube-scheduler、kube-controller-manager 等进程在出现故障后能自动重启。
2)为 worker node 中的非 pod 进程预留资源，防止他们将与 pod 争夺资源导致节点资源短缺。
部署架构
目前提供了5台服务器，供开发和测试环境使用，具体分配情况已经使用情况如如下：
环境准备
进行配置前一些必要内容的处理，包括主机名的修改，网络调整、以及系统配置、安全策略等的调整，保证后续安装过程中的顺利进行。
1.协调虚拟IP
部署高可用环境，需要两个虚拟IP的支持，一个用作内部集群的使用，另一个是用作外部集群使用，因此在与客户交互之初，就要协调好虚拟IP的网络情况，以便后续我们可以直接使用。
我们这边拿到的两个IP分别为122和123，整理我用122作为了内部集群，123为外部的集群。
2.修改主机名称
设置主机名，添加主机名与IP对应关系，如下：
修改5台虚拟机的hosts文件：
3.修改安全策略
安全策略的处理包括两个位置，一个是关闭selinux，一个是调整防火墙的策略，保证系统访问安全，同时保证后续部署过程中不会受到安全限制。
> > > > 关闭selinux
> > > > 防火墙处理
调整防火墙的端口，如下：
防火墙白名单添加，如下：
上述调整完成之后，将防火墙进行重启：
4.修改网络映射
将桥接的IPv4流量传递到iptables的链：
添加完毕后执行生效，如下：
5.其他系统配置
调整关闭swap，方法如下：
同时调整时间同步，启动chronyd系统服务（需要检查客户给出的服务器时间是否一致，不一致要进行调整），方法如下：
外围部署
针对不是容器里面处理的产品，我们要进行部署，因为UMC产品是需要部署到容器外的，所以支持UMC的相关中间件也是要部署到环境上的，包括redis、Nginx以及keepalived。
1.redis部署
> > > > 前置条件
1.更新linux自带的gcc 与make。
安装完成后会有提示“完毕！”并自动返回到命令行。
2.如果wget提示无此命令，安装wget。
1)检查wget是否安装：
如下显示则已经安装：
如果没有显示则表示没有安装，需要通过以下命令安装;
> > > > 安装步骤
安装命令如下：
注意：其他服务器安装方式和这个相同。
> > > > 配置Redis
1.在server1机器上 /usr/local/redis-5.0.4 目录下创建 redis_cluster 目录。
命令如下：
2.在 redis_cluster 目录下，创建名为7000、7001的目录，并将 redis.conf 拷贝到这三个目录中。
命令如下：
上方使用的是绝对路径进行复制，也可使用相对路径进行复制命令（需要在新建的redis_cluster目录下进行操作）如下：
3.分别修改这三个配置文件，修改如下内容。
注意备份：cp
/usr/local/redis-5.0.4/redis_cluster/7000/redis.conf /usr/local/redis-5.0.4/redis_cluster/7000/redis.conf.bak
注意：其他服务器于此部署类似。
> > > > 启动Redis
全部修改完毕后，在第一台机器上执行，启用Redis节点，以下命令：
注意：如果关闭xshell后redis进程停止了，则用下命命令启动：
第二台机器上执行，启用Redis节点，以下命令：
第三台机器上执行，启用Redis节点，以下命令：
> > > > Redis集群
在server1上执行。
> > > > Redis验证
server1执行：
之后左侧变成“XXX.XXX.X.241:7000>”表示进入了Redis的节点之后：
回显显示设置值成功：
同样在server2执行。
查看Redis中的信息。
同时可以通过确认集群信息也可以在这里执行：
cluster info //查看集群信息。
cluster nodes //查看节点信息。
如果集群报错，可以通过在每个节点下做以下两个命令；然后重新创建集群。
flushall //清空
cluster reset //重置集群
2.nginx部署
> > > > 前置条件
Nginx需要很多前置包，所以在安装nginx前需要更新前置安装包。
> > > > 步骤说明
1.将nginx安装包上传到，/usr/local目录中，如下：
2.解压这三个安装包：
3.接着进入 nginx-1.14.2目录中;
进行编译安装：
编译：
这样代表nginx已经编译安装完成。
可以通过以下命令检测Nginx是否安装完成：
> > > > 启动nginx
重启命令：
3.keepalived部署
> > > > 安装步骤
1.通过以下命令安装Keepalived。
2.设置为系统服务。
修改keepalived配置，主从机不同的地方通过黄色高亮显示：
注意备份：cp
/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
根据下文进行配置：
注意：5台都要部署，分为两组，一组为master1、master2、master3组成的一个虚拟IP，一组是由worker1、woeker2组成的一个虚拟IP。
> > > > 启停服务
开启：systemctl start keepalived.service。
软件安装
软件安装部分，特指部署K8S所涉及的相关软件内容，通过部署这些软件内容，实现K8S的功能建立实现。
1.安装haproxy
1.安装。
2.修改haproxy配置。
黄色：服务器机器名
绿色：服务器ip
3.开机默认启动haproxy，开启服务。
4.检查服务端口情况。
查看haproxy状态:
注意：如果出现启动失败情况，显示不能绑定IP，系统文件处理添加如下：
注意：所有master服务器都要进行部署配置。
2.安装Docker
注意：所有服务器都要进行部署。
3.添加阿里云UUM软件源
在/etc/yum.repos.d目录下vi kube.NETes.repo
复制如下代码直接执行即可。
注意：所有服务器都要安装。
4.安装kubeadm、kubelet、kubectl
> > > > 安装方法
5.修改Cgroup Driver
修改cgroup driver是为了消除初始化集群时提示的告警：
查看：
docker info | grep Cgroup
编辑service文件：
追加下方红色字体代码：
重新加载docker：
再次查看：
docker info | grep Cgroup
集群部署
以下内容主要就是针对master和worker的加入，构建内部集群。
1.部署Master
在master1上，准备集群配置文件，在/opt目录下创建kubeadm-config.yaml。
1.kubernetes拉取镜像。
注意：如果服务器断网，需要提前加载镜像包，上传服务器之后，通过
的方式加载镜像，镜像列表如下（可以通过：docker images命令查询）。
2.执行节点初始化。
3.Master初始化完毕后最下面这个必须记录下来，后面node服务器加入需要用到。
按提示执行命令：
4.查看：
kubectl get nodes
kubectl get pods -n kube-system
注意：node现在是NotReady状态，pod中coreDNS是Pending状态，是因为CNI网络插件未安装，继续以下步骤。
2.CNI网络插件
安装flannel：
安装结果：
查看pods：
kubectl get pods -n kube-system
如果网络不通，使用
flanneld-v0.12.0-amd64.docker手动在所有节点安装：
安装所需要的文件如下：
3.加入master节点
在master2和master3上执行，向集群添加新master节点，执行在kubeadm init输出的kubeadm join命令：这个在master init初始化时会有提示，更换为自己的IP和token。
查看：
可以看到，集群中已经有3台master节点了。
4.加入node节点
在woker1和worker2执行，向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：这个在master init初始化时会有提示，更换为自己的IP和token。
到master节点查看node状态，都显示ready：
5.配置Ingress-nginx
> > > > 镜像上传
把nginx-ingress.tar上传到各个master上，路径自己能找到就行（如果下面的mandatory.yaml里配置指定master，这里可以只放到指定的master就可以），导入镜像：
> > > > YAML修改
1)编辑添加212行，表示使用主机网络。
hostNetwork: true
关于上面yaml文件中写入的“hostNetwork: true”具体解释：如果添加了此字段，意味着pod中运行的应用可以直接使用node节点端口，这样node节点主机所在网络的其他主机，就可以通过访问该端口来访问此应用。（类似于docker映射到宿主机的端口。）
2)编辑221行，修改镜像版本，改成上面导入的0.29.0。
上传到master服务器，路径自己能找到就行。
3)设置pod时间，通常情况云服务器的时区为世界标准时间，和中国标准时间相差8个小时。
加入红框部分，如下图：
参考模板文件如下：
> > > > 允许master节点部署pod
因为ingress-controller我们需要部署到master服务器上，而默认master不允许部署pod，所以使用如下方法解决：
输出如下:
node “K8S” untainted
输出error: taint “
node-role.kubernetes.io/master:” not found错误忽略。
> > > > 执行mandatory.yaml
kubectl Apply -f mandatory.yaml
> > > > 确认Ingress-nginx容器
确认Ingress-nginx容器正常运行：
kubectl get pod -n ingress-nginx -o wide
> > > > 开启指定变量
上传文件configmap.yaml，然后调整相应参数，在该目录下执行以下命令
kubectl apply -f configmap.yaml。
1.内部ingress-nginx，data参数说明：
1)proxy-add-original-uri-header: "true"
作用：获取到ingress的完整路径。
2)enable-underscores-in-headers: "true"
作用：允许ingress支持自定义变量。
3)use-forwarded-headers: "true"
作用：获取X-Forwarded-Proto，如https。
6.drdb高可用
> > > > 安装相关支撑程序
在master1和master2安装
到
http://oss.linbit.com/drbd 下载drbd-9.0.19-1.tar.gz、drbd-utils-9.12.1.tar.gz，再将drbd-9.0.19-1.tar.gz、drbd-utils-9.12.2.tar.gz上传到虚拟机/usr/local目录，再装一些支撑软件。
安装po4a-translate，编译drbd-utils的rpm包的时候，需要有命令【po4a-translate】的支持，但是系统上并没有这个命令。
> > > > 编译drbd-utils
> > > > 编译drbd
> > > > 安装drbd模块
> > > > 查看drbd版本及路径
> > > > 新磁盘分区
> > > > 配置drbd资源文件
vi /etc/drbd.d/drbd.res
> > > > 配置资源
> > > > 设置主节点
强制设置为主节点，在任一节点上执行：
再次查看：
drbdadm status
看到此时数据的状态为UpToDate（数据正在同步，单未完全同步），且已经同步42.28
主：
副：
> > > > 格式化新分区并挂载
查看：
lsblk
> > > > 设置drbd开机启动
7.NFS配置
针对NFS进行服务端和客户端的处理，通过客户端和服务端的关系，保证客户端可以访问服务端。
> > > > NFS服务端配置
1.安装NFS和rpc：
2.启动服务和设置开启启动：
3.建立共享文件夹：
4.设置共享：
5.启动NFS：
6.查看2049端口是否打开：
> > > > NFS客户端配置
1.在worker1和worker2也安装nfs，确保每个节点安装nfs（客户端上不需要启动nfs服务，只是为了使用showmount工具）：
2.查看挂载配置：
3.在worker1上测试挂载是否成功：
挂载失败提示如下：
取消挂载：
4.在客户端创建目录，并挂载共享目录：
5.检查（有就行，和顺序无关）：
8.镜像库搭建
镜像库主要进行存储镜像信息，供UMC后续使用。
> > > > 搭建镜像库
1.将registry镜像pull下来。
2.启动（全部复制）。
> > > > 上传镜像
实例：
在可以找到的位置上传基础镜像，然后通过本地上传命令进行镜像加载。
镜像推送到
验证：
1.可以拉取一个busybox镜像（因为体积小），进行实验。
2.打标，准备发布到Registry中。
3.推送给Registry。
注意：如果上传、获取本地镜像会提示如下报错，需要设置daemon.json文件
设置daemon.json文件，
其他节点获取本地镜像会提示：
由于Registry为了安全性考虑，默认是需要https证书支持的，但是我们可以通过一个简单的办法解决：
注：<ip>：Registry的机器ip地址，在安装registry的节点和客户端需要访问私有Registry的节点都需要执行此步操作。
> > > > 查看镜像
1.查看仓库有哪些镜像，运行如下命令：
查看具体镜像标签（黄色是镜像名）：
> > > > 拉取镜像
拉取镜像：
> > > > 删除镜像
1.配置hosts映射：
2.下载：
3.查看：
4.授权：
5.查找备份路径：
find / -name registry
如果没有这个路径，则是因为上传没有成功，不需要删除。
6.设置镜像仓库的位置:
7.删除：
8.重启docker：
删除镜像之后要重启docker，不然还是会出现相同镜像push不成功的问题。
至此，K8S整体环境部署完毕。
心得体会
本次环境的部署相对来说还是比较顺利，重要的一点就是随着文档体系的不断完善，很多问题都得以规避，因此在按照公司提供的标准部署文档来操作处理，问题也相对少了许多，大大的减少了自己研究处理的时间，自己也得以将大部分的时间用于了解和学习原理知识，由理解到部署，让自己的认识更加深刻。
1.能力提升
之前自己一直没有切实的部署过云平台环境，对于其原理都是懵懵懂懂的，对于不同服务器怎么分配，分配好的服务器应该部署哪些东西，都是不了解的，因此就导致在实际使用过程中，也是屡屡出现问题，需要找同事协助解决，自己基本没有能力去解决。但是通过本次的部署学习，让我受益匪浅，对于哪些产品和软件应该部署在哪，为什么部署到那，都有所了解。并且针对一些问题的处理和解决，也渐渐的学会了如何排查，然后怎么处理，并且针对重大问题，如何进行集群重置，然后重新部署，自己也尝试了一下，总体来说，本次部署工作收获满满。
2.自我总结
在云平台部署的过程中也出现了一些问题，主要也是自己在部署过程中不够仔细，拿来即用的原则不是可取的，因为每个人使用和理解都不一样。因此，有的时候理解上有偏差，就导致后续一系列问题的出现，因此，通过理解然后去解读，才能尽量减少这样问题的出现，并且不管什么情况下，都要有对大局的把控意识，例如对于标准文档，不应该拿过来就照着弄，而是应该整体看一下内容，把控整体的内容规划，然后再去弄，这样出现问题之后，相关联的问题就都能通过文档去定位，然后确认是什么问题，有针对性的去调整，避免遗漏，或知识获取不全的问题。
3.深入思考
K8S的部署学习，是对云部署模式使用的一块敲门砖，我们对于云的了解，以前都是听说，而且感觉是高大上，遥不可及的，只有你真正的部署过，了解其中的原理了，你才能真实的感觉到，其实就哪些东西，所谓的云，也是离不开以前的部署模式的，只是使用的模式，以及使用的软件有所变化，类比以前传统环境部署的知识一样是通用的，而且有类似的地方，通过这种类比学习的方式，很快就能掌握云部署的技巧。因此对于新鲜事物不要惧怕，要敢于尝试，重在理解，只有这样才能突破现象看本质，学习的更加扎实。
云平台的使用已经成为一种趋势，为了跟上时代的潮流、公司的脚步，我们应该将这种技能变成安身立命的本能，不仅仅是环境的部署上，还有环境的问题处理上，都要游刃有余，只有这样，才能适应后续项目的任务，在客户现场有更好的表现，给客户带来足够的安心，保证项目的顺利完成。
本文由@数通畅联原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~
