快速搭建基于docker的kubernetes集群

DevOps
docker, k8s, kubeadm, kubernetes

##版本说明 ##

  1. kubernetes1.6
  2. docker1.12.6

环境准备

192.168.0.51 master
192.168.0.52 minion1
192.168.0.53 minion2

##安装docker ##

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 安装yum-utils 管理yum repository及扩展包的工具
yum install -y yum-utils   
# 增加docker repository
yum-config-manager \
    --add-repo \
    https://docs.docker.com/v1.13/engine/installation/linux/repo_files/centos/docker.repo
# 下载包信息到本地
yum makecache fast
# 安装docker-1.12.6
yum install -y docker-engine-1.12.6
# 启动docker服务
systemctl start docker
# 开机启动docker
systemctl enable docker

##系统配置 ##
创建/etc/sysctl.d/k8s.conf文件，内容为:

1
2
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

执行

1
sysctl -p /etc/sysctl.d/k8s.conf

在/etc/hostname中修改各节点的hostname，在/etc/hosts中设置hostname对应非lo回环网卡ip:

1
2
3
192.168.0.51 master
192.168.0.52 minion1
192.168.0.53 minion2

##安装kubeadm和kubelet ##
安装kubeadm和kubelet需要技术梯子，添加以下
1、通过修改/etc/hosts文件添加IP *.google.com，比如

1
2
3
4
5
6
7
216.58.200.33  gcr.io
216.58.200.33  www.gcr.io
216.58.200.33  cloud.google.com
216.58.200.33  packages.cloud.google.com
216.58.200.33  console.cloud.google.com
216.58.200.33  status.cloud.google.com
216.58.200.33  ssh.cloud.google.com

2、:

1
cat <<EOF > /etc/yum.repos.d/kubernetes.repo

输入如下内容：

1
2
3
4
5
6
7
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF

安装kubelet，kubeadm，kubectl

1
2
yum -y install socat kubelet-1.6.1 kubeadm-1.6.1 kubectl-1.6.1
systemctl enable kubelet.service

##初始化集群 ##
上面的步骤每个node都需要执行，此步骤只在Master Node 执行。选择192.168.0.51这台作为Master Node，在此机器上

1
kubeadm init --kubernetes-version=v1.6.1 --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.0.51

选择flannel作为网络插件，所以上面的命令指定–pod-network-cidr=10.244.0.0/16。初始化遇到问题时，使用下面的命令清理然后再初始化：

1
2
3
4
5
6
kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/

不出意外Master Node 已初始化成功。此时查看节点状态 kubectl get nodes 会报 The connection to the server localhost:8080 was refused - did you specify the right host or port? 我们查看kube-apiserver的监听端口

1
2
[root@kube-master ~]# netstat -nltp | grep apiserver
tcp6       0      0 :::6443                 :::*                    LISTEN      5430/kube-apiserver

我们发现apiserver只监听了6443端口，但是我们需要使用kubectl访问apiserver，so 在~/.bash_profile追加下面的环境变量

1
2
3
export KUBECONFIG=/etc/kubernetes/admin.conf
# 使环境变量生效
source ~/.bash_profile

现在再试试kubectl get nodes 吧！

##安装Pod Network ##
安装flannel network add-on
分两种情况

1、只有一张网卡
直接执行

1
2
kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel-rbac.yml
kubectl apply -f  https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

2、有多张网卡
执行

1
kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel-rbac.yml

执行第二步有所不同，下载https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml ，flanneld启动参数加上–iface=[iface-name]

1
2
3
4
5
6
7
8
9
10
11
......
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: kube-flannel-ds
......
containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.7.0-amd64
        command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr", "--iface=eth1" ]
......

eth1这里换成自己的网卡名即可。创建flanneld

1
2
3
kubectl create -f {修改后的kube-flannel.yml路径}
# 确保所有的Pod都处于Running状态
kubectl get pod --all-namespaces -o wide

##使Master Node 参与工作负载 ##
一般不建议将Master Node参与负载，此时只为测试环境方便。

1
2
# 使Master Node参与工作负载
kubectl taint nodes --all  node-role.kubernetes.io/master-

##测试 ##

1
2
3
kubectl run curl --image=radial/busyboxplus:curl -i --tty
If you don't see a command prompt, try pressing enter.
[ root@curl-57077659-xgckw:/ ]$

进入后执行nslookup kubernetes.default确认DNS解析正常。

1
2
3
4
5
6
[ root@curl-57077659-xgckw:/ ]$ nslookup kubernetes.default
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

Name:      kubernetes.default
Address 1: 10.96.0.1 kubernetes.default.svc.cluster.local

如果正常解析，就大功告成啦！

1
2
# 删除curl这个Pod
kubectl delete deploy cutl

##向集群中添加节点 ##
根据上面的步骤安装docker，kubelet套件。
在Master Node节点上执行

1
2
# 获取token
kubeadm token list

在minion1上执行

1
2
3
4
5
6
# 关闭防火墙
systemctl stop firewalld
# 禁止防火墙开机启动
systemctl disable firewalld
# 添加节点
kubeadm join --token ${token} ${master-ip}:6443

看到如下内容就说明我们已经成功向集群中添加节点了！nice

1
2
3
4
5
6
7
8
kubeadm join --token a432c6.078b144b659c82b4 192.168.0.51:6443
-----  略略略  ----
Node join complete:
* Certificate signing request sent to master and response
  received.
* Kubelet informed of new secure connection details.

Run 'kubectl get nodes' on the master to see this machine join.

在Master Node上执行kubectl get nodes 确保所有的node是Ready的状态。

##问题总结 ##
Q：Minion Node一直处于notReady状态？

A：主要有两个原因：

1、启动kubelet的时候，会pull两个镜像(gcr.io/**)，因为GFW的存在，不能成功pull，所以要自己找到这两个docker镜像

1
2
gcr.io/google_containers/pause-amd64:3.0
gcr.io/google_containers/kube-proxy-amd64:v1.6.1

2、 使用Kubeadm工具搭建的Kubernetes集群，已经默认集成了安全策略，所以要将Master Node节点/etc/kubernetes/pki下的所有文件复制到Minion Node相同目录下一份。所以在Master Node上执行

1
scp /etc/kubernetes/pki/* root@{minion-ip}:/etc/kubernetes/pki

参考:
http://blog.frognew.com/2017/04/kubeadm-install-kubernetes-1.6.html
http://www.iyunv.com/thread-383770-1-1.html
http://www.infoq.com/cn/articles/Kubernetes-system-architecture-introduction

评论