k8s环境规划：

Pod网段： 10.0.0.0/16

Service网段： 10.255.0.0/16

实验环境规划：

虚拟化平台：vsphere6.7

操作系统：centos7.9

配置： 4Gib内存/8vCPU/200G硬盘

注意：也可以用4vCPU

网络：NAT

1.初始化

1.1 配置静态IP

把虚拟机或者物理机配置成静态ip地址，这样机器重新启动后ip地址也不会发生改变。

以master1主机修改静态IP为例:

#修改/etc/sysconfig/network-scripts/ifcfg-ens192文件，变成如下：

NAME=ens192

DOMAIN=example

DEVICE=ens192

ONBOOT=yes

USERCTL=no

BOOTPROTO=static

IPADDR=192.168.20.18

NETMASK=255.255.255.0

GATEWAY=192.168.20.1

DNS1=114.114.114.114

PEERDNS=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

check_link_down() {

return 1;

}

#修改配置文件之后需要重启网络服务才能使配置生效，重启网络服务命令如下：

service network restart

1.2 配置主机名

#配置主机名：

在192.168.20.18上执行如下：

hostnamectl set-hostname master1

在192.168.20.19上执行如下：

hostnamectl set-hostname master2

在192.168.20.20上执行如下：

hostnamectl set-hostname master3

在192.168.20.21上执行如下：

hostnamectl set-hostname node1

1.3 配置hosts文件

#修改所有机器的/etc/hosts文件， 新增下面的内容，wq保存。：

192.168.20.18 master1

192.168.20.19 master2

192.168.20.20 master3

192.168.20.21 node1

1.4 配置主机之间无密码登录，在所有节点上操作

#生成ssh 密钥对

ssh-keygen -t rsa #一路回车，不输入密码

把本地的ssh公钥文件安装到远程主机对应的账户

for i in master1 master2 master3 node1 ssh-copy-id -i .ssh/id_rsa.pub $i;done

1.5 关闭firewalld防火墙，在所有节点上操作：

systemctl stop firewalld ; systemctl disable firewalld

1.6 关闭selinux、dnsmasq，在所有节点上操作：

systemctl disable --now firewalld

systemctl disable --now dnsmasq

systemctl disable --now NetworkManager

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux

#修改selinux配置文件之后，重启机器，selinux配置才能永久生效

重启之后登录机器验证是否修改成功：

getenforce

#显示Disabled说明selinux已经关闭

1.7 关闭交换分区swap，在selinux，在所有节点上操作：

#临时关闭

swapoff -a

#永久关闭：注释swap挂载，给swap这行开头加一下注释

vim /etc/fstab

#/dev/mapper/centos-swap swap swap defaults 0 0

#如果是克隆的虚拟机，需要删除UUID

1.8 修改内核参数，在所有节点上操作：

#加载br_netfilter模块

modprobe br_netfilter

#验证模块是否加载成功：

lsmod |grep br_netfilter

#修改内核参数

cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720

net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
EOF
sysctl --system

#使刚才修改的内核参数生效

sysctl -p /etc/sysctl.d/k8s.conf

1.9 配置阿里云repo源：

在所有机器上操作：

yum源配置

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

1.10 配置时间同步，在所有节点上操作：

#安装ntpdate命令，

#yum install ntpdate -y

所有节点同步时间。时间同步配置如下：

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo 'Asia/Shanghai' >/etc/timezone
ntpdate time2.aliyun.com

#把时间同步做成计划任务

crontab -e

*/5 * * * * ntpdate time2.aliyun.com

#重启crond服务

service crond restart

所有节点配置limit：

ulimit -SHn 65535

vim /etc/security/limits.conf
# 末尾添加如下内容
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited

1.11 安装iptables

安装iptables ，在所有节点上操作：

yum install iptables-services -y

#禁用iptables

service iptables stop

systemctl disable iptables

#清空防火墙规则

iptables -F

1.12 开启ipvs

#不开启ipvs将会使用iptables进行数据包转发，但是效率低，所以官网推荐需要开通ipvs。

所有节点安装ipvsadm：

yum install ipvsadm ipset sysstat conntrack libseccomp -y

所有节点配置ipvs模块

vim /etc/modules-load.d/ipvs.conf 
	# 加入以下内容
ip_vs
ip_vs_lc
ip_vs_wlc
ip_vs_rr
ip_vs_wrr
ip_vs_lblc
ip_vs_lblcr
ip_vs_dh
ip_vs_sh
ip_vs_fo
ip_vs_nq
ip_vs_sed
ip_vs_ftp
ip_vs_sh
nf_conntrack_ipv4
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip

加载内核配置

systemctl enable --now systemd-modules-load.service

1.13 安装基础软件包，在所有节点上操作：

yum install -y yum-utils device-mapper-persistent-data lvm2 wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel wget vim ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate telnet rsync

1.14 安装docker-ce，在所有节点上操作：

yum install docker-ce docker-ce-cli containerd -y

systemctl daemon-reload && systemctl enable --now docker && systemctl status docker

1.15 配置docker镜像加速器，在所有节点上操作：

tee /etc/docker/daemon.json << 'EOF'

{

"registry-mirrors": ["https://4wgtxa6q.mirror.aliyuncs.com"]

"exec-opts": ["native.cgroupdriver=systemd"]

}

EOF

systemctl daemon-reload

systemctl restart docker

systemctl status docker

#修改docker文件驱动为systemd，默认为cgroupfs，kubelet默认使用systemd，两者必须一致才可以。

到此基础环境已经搭建完毕