- SaltStack自动化部署Kubernetes v1.12.3版本（支持TLS双向认证、RBAC授权、Flannel网络、ETCD集群、Kuber-Proxy使用LVS等）。
- 测试通过系统：CentOS 7.6.1810
- salt-ssh: 2018.3.3
- Kubernetes： v1.12.3
- Etcd: v3.3.1
- Docker: 18.09.0-ce
- Flannel： v0.10.0
- CNI-Plugins： v0.7.0 建议部署节点：最少三个节点，请配置好主机名解析（必备）
- 使用Salt Grains进行角色定义，增加灵活性。
- 使用Salt Pillar进行配置项管理，保证安全性。
- 使用Salt SSH执行状态，不需要安装Agent，保证通用性。
- 使用Kubernetes当前稳定版本v1.12.3，修复安全漏洞。
| 手动部署 | 1.系统初始化 | 2.CA证书制作 | 3.ETCD集群部署 | 4.Master节点部署 | 5.Node节点部署 | 6.Flannel部署 | 7.应用创建 |
| 必备插件 | 1.CoreDNS部署 | 2.Dashboard部署 | 3.Heapster部署 | 4.Ingress部署 | 5.CI/CD | 6.Helm部署 |
- 设置主机名！！！
[root@k8s-master ~]# cat /etc/hostname
k8s-master
[root@k8s-node1 ~]# cat /etc/hostname
k8s-node1
[root@k8s-node2 ~]# cat /etc/hostname
k8s-node2
[root@etcd1 ~]# cat /etc/hostname
etcd1
[root@etcd2 ~]# cat /etc/hostname
etcd2
[root@etcd3 ~]# cat /etc/hostname
etcd3
- 设置/etc/hosts保证主机名能够解析 一定要每个节点都设置hosts ***
cat >>/etc/hosts<<-EOF
172.18.1.7 etcd1
172.18.1.8 etcd2
172.18.1.9 etcd3
172.18.1.10 k8s-master
172.18.1.11 k8s-node1
172.18.1.12 k8s-node2
EOF
- 关闭SELinux和防火墙
4.以上必备条件必须严格检查，否则，一定不会部署成功！
[root@k8s-master ~]# ssh-keygen -t rsa
[root@k8s-master ~]# ssh-copy-id k8s-master
[root@k8s-master ~]# ssh-copy-id k8s-node1
[root@k8s-master ~]# ssh-copy-id k8s-node2
[root@k8s-master ~]# ssh-copy-id etcd1
[root@k8s-master ~]# ssh-copy-id etcd2
[root@k8s-master ~]# ssh-copy-id etcd3
2.1 安装Salt SSH（注意：老版本的Salt SSH不支持Roster定义Grains，需要2017.7.4以上版本）
[root@k8s-master ~]# curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
[root@k8s-master ~]# curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
[root@k8s-master ~]# yum install https://mirrors.aliyun.com/saltstack/yum/redhat/salt-repo-latest-2.el7.noarch.rpm
[root@k8s-master ~]# sed -i "s/repo.saltstack.com/mirrors.aliyun.com\/saltstack/g" /etc/yum.repos.d/salt-latest.repo
[root@k8s-master ~]# yum install -y salt-ssh git unzip
2.2 获取本项目代码，并放置在/srv目录
[root@k8s-master ~]# git clone https://github.com/unixhot/salt-kubernetes.git
[root@k8s-master ~]# cd salt-kubernetes/
[root@k8s-master ~]# mv * /srv/
[root@k8s-master srv]# /bin/cp /srv/roster /etc/salt/roster
[root@k8s-master srv]# /bin/cp /srv/master /etc/salt/master
2.4 下载二进制文件，也可以自行官方下载，为了方便国内用户访问，请在百度云盘下载,下载k8s-v1.12.3-auto.zip。 下载完成后，将文件移动到/srv/salt/k8s/目录下，并解压 Kubernetes二进制文件下载地址： https://pan.baidu.com/s/1zs8sCouDeCQJ9lghH1BPiw
[root@k8s-master ~]# cd /srv/salt/k8s/
[root@k8s-master k8s]# unzip k8s-v1.12.3-auto.zip
[root@k8s-master k8s]# rm -f k8s-v1.12.3-auto.zip
[root@k8s-master k8s]# ls -l files/
total 0
drwxr-xr-x. 2 root root 94 Jun 3 19:12 cfssl-1.2
drwxr-xr-x. 2 root root 195 Jun 3 19:12 cni-plugins-amd64-v0.7.0
drwxr-xr-x. 2 root root 33 Jun 3 19:12 etcd-v3.3.1-linux-amd64
drwxr-xr-x. 2 root root 47 Jun 3 19:12 flannel-v0.10.0-linux-amd64
drwxr-xr-x. 3 root root 17 Jun 3 19:12 k8s-v1.12.3
- k8s-role: 用来设置K8S的角色
- etcd-role: 用来设置etcd的角色，如果只需要部署一个etcd，只需要在一台机器上设置即可
- etcd-name: 如果对一台机器设置了etcd-role就必须设置etcd-name
[root@k8s-master ~]# vim /etc/salt/roster
k8s-master:
host: 172.18.1.10
user: root
port: 22
priv: /root/.ssh/id_rsa
minion_opts:
grains:
k8s-role: master
k8s-node1:
host: 172.18.1.11
user: root
port: 22
priv: /root/.ssh/id_rsa
minion_opts:
grains:
k8s-role: node
k8s-node2:
host: 172.18.1.12
user: root
port: 22
priv: /root/.ssh/id_rsa
minion_opts:
grains:
k8s-role: node
etcd1:
host: 172.18.1.7
user: root
port: 22
priv: /root/.ssh/id_rsa
minion_opts:
grains:
etcd-role: node
etcd-name: etcd-node1
etcd2:
host: 172.18.1.8
user: root
port: 22
priv: /root/.ssh/id_rsa
minion_opts:
grains:
etcd-role: node
etcd-name: etcd-node2
etcd3:
host: 172.18.1.9
user: root
port: 22
priv: /root/.ssh/id_rsa
minion_opts:
grains:
etcd-role: node
etcd-name: etcd-node3
[root@k8s-master ~]# vim /srv/pillar/k8s.sls
#设置Master的IP地址(必须修改)
MASTER_IP: "172.18.1.10"
#设置ETCD集群访问地址（必须修改）
ETCD_ENDPOINTS: "https://172.18.1.7:2379,https://172.18.1.8:2379,https://172.18.1.9:2379"
#设置ETCD集群初始化列表（必须修改）
ETCD_CLUSTER: "etcd-node1=https://172.18.1.7:2380,etcd-node2=https://172.18.1.8:2380,etcd-node3=https://172.18.1.9:2380"
#通过Grains FQDN自动获取本机IP地址，请注意保证主机名解析到本机IP地址
NODE_IP: {{ grains['fqdn_ip4'][0] }}
#设置BOOTSTARP的TOKEN，可以自己生成
BOOTSTRAP_TOKEN: "ad6d5bb607a186796d8861557df0d17f"
#配置Service IP地址段
SERVICE_CIDR: "10.1.0.0/16"
#Kubernetes服务 IP (从 SERVICE_CIDR 中预分配)
CLUSTER_KUBERNETES_SVC_IP: "10.1.0.1"
#Kubernetes DNS 服务 IP (从 SERVICE_CIDR 中预分配)
CLUSTER_DNS_SVC_IP: "10.1.0.2"
#设置Node Port的端口范围
NODE_PORT_RANGE: "20000-40000"
#设置POD的IP地址段
POD_CIDR: "10.2.0.0/16"
#设置集群的DNS域名
CLUSTER_DNS_DOMAIN: "cluster.local."
5.1 测试Salt SSH联通性
[root@k8s-master ~]# salt-ssh '*' test.ping
执行高级状态，会根据定义的角色再对应的机器部署对应的服务
node节点解析
salt-ssh '*' grains.item fqdn_ip4
5.2 部署Etcd，由于Etcd是基础组建，需要先部署，目标为部署etcd的节点。
[root@k8s-master ~]# salt-ssh -L 'etcd1,etcd2,etcd3' state.sls k8s.etcd
注：如果执行失败，新手建议推到重来，请检查各个节点的主机名解析是否正确（监听的IP地址依赖主机名解析）。
5.3 部署K8S集群
[root@k8s-master ~]# salt-ssh '*' state.highstate
由于包比较大，这里执行时间较长，5分钟+，喝杯咖啡休息一下，如果执行有失败可以再次执行即可！
[root@k8s-master ~]# source /etc/profile
[root@k8s-master ~]# kubectl get cs
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health":"true"}
etcd-2 Healthy {"health":"true"}
etcd-1 Healthy {"health":"true"}
[root@k8s-master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
172.18.1.11 Ready <none> 1m v1.12.3
172.18.1.12 Ready <none> 1m v1.12.3
[root@k8s-master ~]# kubectl run net-test --image=alpine --replicas=2 sleep 360000
deployment "net-test" created
需要等待拉取镜像，可能稍有的慢，请等待。
[root@k8s-master ~]# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE
net-test-5786f8b986-tjxhb 1/1 Running 0 17h 10.2.83.2 172.18.1.12 <none>
net-test-5786f8b986-wmsm4 1/1 Running 0 17h 10.2.83.3 172.18.1.12 <none>
测试联通性，如果都能ping通，说明Kubernetes集群部署完毕，有问题请QQ群交流。
[root@k8s-master ~]# ping -c 1 10.2.83.2
PING 10.2.12.2 (10.2.12.2) 56(84) bytes of data.
64 bytes from 10.2.12.2: icmp_seq=1 ttl=61 time=8.72 ms
--- 10.2.12.2 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 8.729/8.729/8.729/0.000 ms
[root@k8s-master ~]# ping -c 1 10.2.83.3
PING 10.2.24.2 (10.2.24.2) 56(84) bytes of data.
64 bytes from 10.2.24.2: icmp_seq=1 ttl=61 time=22.9 ms
--- 10.2.24.2 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 22.960/22.960/22.960/0.000 ms
- 1.设置SSH无密码登录
- 2.在/etc/salt/roster里面，增加对应的机器
- 3.执行SaltStack状态salt-ssh '*' state.highstate。
[root@k8s-master ~]# vim /etc/salt/roster
k8s-node3:
host: 172.18.1.13
user: root
priv: /root/.ssh/id_rsa
minion_opts:
grains:
k8s-role: node
[root@k8s-master ~]# salt-ssh 'k8s-node3' state.highstate
你可以安装Kubernetes必备的插件
| 必备插件 | 1.CoreDNS部署 | 2.Dashboard部署 | 3.Heapster部署 | 4.Ingress部署 | 5.CI/CD |
注意：不要相信自己，要相信电脑！！！
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent