知识储备：
1、Kubernetes集群要保证高可用,至少需要三个master节点和多个node节点，master节点建议为奇数，一般集群3个master节点就足够了，node节点2个以上都可以。
2、在3个master的Kubernetes集群中，当1个master节点坏掉，剩余的2个节点master可以选举出新的Leader，这是因为在Raft协议中，需要超过一半的节点在线才能进行选举。
3、在3个master节点的集群中，坏掉了1个节点，此时还有2个节点在线，超过了一半，所以可以选举和运行，集群不受影响。
4、在3个master节点的集群中，1个节点坏掉：集群可继续运行；2个节点坏掉：无法选举，集群不可用。
5、在k8s集群的3个master节点部署Keepalived+HAProxy实现API Server（kube-apiServer）的高可用和负载均衡。
6、Keepalived：绑定一个vip地址实现高可用
7、HAProxy：通过TCP端口代理实现负载均衡
8、3个master节点之间组成的集群需要的是高可用服务，用Keepalived绑定vip来实现
9、2个node节点访问master集群需要的是负载均衡，用HAProxy实现
操作系统：AnolisOS-8.8-x86_64
docker-ce：v20.10.24
kubernetes：v1.23.17
calico：v3.25.0
Dashboard：v2.5.1
k8s集群说明：
3个master节点，并且做高可用和负载均衡设置，2个node节点。
vip地址：192.168.21.200
一、主机环境配置（5台都需要操作）
1、修改主机名和字符集
192.168.21.201 k8s-master01
192.168.21.202 k8s-master02
192.168.21.203 k8s-master03
192.168.21.204 k8s-node01
192.168.21.205 k8s-node02
hostnamectl set-hostname k8s-master01 #设置主机名为k8s-master01
hostnamectl set-hostname k8s-master02 #设置主机名为k8s-master02
hostnamectl set-hostname k8s-master03 #设置主机名为k8s-master03
hostnamectl set-hostname k8s-node01 #设置主机名为k8s-node01
hostnamectl set-hostname k8s-node02 #设置主机名为k8s-node02
locale #查看默认字符集
echo "export LANG=en_US.UTF-8" >> /etc/profile #设置字符集
cat /etc/profile | grep -i lang #查看字符集
export LANG=en_US.UTF-8
2、添加hosts解析
vi /etc/hosts
192.168.21.201 k8s-master01
192.168.21.202 k8s-master02
192.168.21.203 k8s-master03
192.168.21.204 k8s-node01
192.168.21.205 k8s-node02
:wq! #保存退出
3、保存yum下载的安装包
vi /etc/yum.conf #保存路径为/var/cache/yum/
keepcache=1 #添加这一行
:wq! #保存退出
4、防火墙设置
系统默认使用的是firewall作为防火墙，这里改为iptables防火墙，并清空规则。
systemctl stop firewalld.service #停止 firewalld 服务
systemctl disable firewalld.service #禁用 firewalld 服务
systemctl mask firewalld #屏蔽 firewalld 服务
systemctl stop firewalld #再次停止 firewalld 服务
yum remove firewalld -y #将 firewalld 软件包从系统中移除
yum install iptables-services -y #安装iptables
systemctl enable iptables.service #设置防火墙开机启动
iptables -F #清空规则
service iptables save #保存配置规则
systemctl restart iptables.service #重启防火墙使配置生效
cat /etc/sysconfig/iptables #查看防火墙配置文件
5、关闭selinux
sestatus #查看状态，显示disabled表示已经禁用
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config #禁用selinux
setenforce 0 #临时禁用
/usr/sbin/sestatus -v #查看selinux状态，disabled表示关闭
6、关闭swap分区
如果系统设置了swap交换分区，需要关闭
#显示 Swap 分区的详细信息，如果没有任何输出，表示当前系统没有配置 Swap 分区
swapon --show
swapoff -a #关闭
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab #修改配置，禁用 Swap 分区配置
free -m #查看Swap 分区信息
7、同步系统时间
把k8s-master01设置为时间服务器，让其他四台机器与它同步
也可以部署专门的时间服务器，让k8s集群内的所有机器与它同步
#设置服务器时区
rm -rf /etc/localtime #先删除默认的时区设置
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #替换上海/北京作为默认
vi /etc/sysconfig/clock #添加时区
Zone=Asia/Shanghai
:wq! #保存退出
yum install chrony -y #安装时间同步工具
systemctl start chronyd
systemctl enable chronyd
vi /etc/chrony.conf #编辑（在k8s-master01操作）
#pool ntp.aliyun.com iburst #注释掉
local stratum 10 #时间层级设置，配置为本地时间服务器
allow 192.168.21.0/24 #允许的ip段
:wq! #保存退出
vi /etc/chrony.conf #编辑（在另外4台上面操作）
#pool ntp.aliyun.com iburst #注释掉
server 192.168.21.201 iburst #添加此行，填上k8s-master01的ip地址
maxdistance 600.0
:wq! #保存退出
systemctl restart chronyd
chronyc sources #查看当前时间源，配置文件/etc/chrony.conf里面可以设置时间服务器地址
chronyc makestep #手动同步时间
chronyc tracking #检查 Chrony 的状态和时间同步情况
hwclock -w
hwclock --systohc #系统时钟和硬件时钟同步
date #显示系统时间
#可以自己修改时间
timedatectl set-ntp false #先关闭NTP同步
timedatectl set-time "2024-10-06 15:15:15"
date #可以看到时间已经修改
timedatectl set-ntp true # 打开NTP同步，时间会从服务端自动同步
watch -n 1 date #显示实时时间
8、升级系统内核
默认已经是高版本的内核了5.10.134-13.an8.x86_64，不需要升级，安装k8s的系统至少使用3.10及以上内核
grubby --default-kernel
grub2-editenv list
uname -r
#如果需要升级内核可以参考
CentOS 升级系统内核到最新版
https://www.osyunwei.com/archives/11582.html
9、调整系统内核参数
9.1
#执行以下命令
modprobe br_netfilter
modprobe ip_vs
modprobe ip_conntrack
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack
cat >> /etc/rc.d/rc.local << EOF
modprobe br_netfilter
modprobe ip_vs
modprobe ip_conntrack
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack
EOF
chmod +x /etc/rc.d/rc.local
#高版本的内核nf_conntrack_ipv4被nf_conntrack替换了
9.2
vi /etc/security/limits.conf #在最后一行添加以下代码，这个值要小于fs.nr_open的值
* soft nproc unlimited
* hard nproc unlimited
* soft nofile 1000000
* hard nofile 1000000
:wq! #保存退出
9.3
vi /etc/sysctl.conf #在最后一行添加以下代码
fs.file-max = 65535000
fs.nr_open = 65535000
kernel.pid_max= 4194303
vm.swappiness = 0
:wq! #保存退出
/sbin/sysctl -p
#查看hard和soft限制数
ulimit -Hn
ulimit -Sn
9.4
vi /etc/sysctl.d/kubernetes.conf
net.bridge.bridge-nf-call-iptables = 1 #将桥接的IPv4流量传递到iptables
net.bridge.bridge-nf-call-ip6tables = 1 #将桥接的IPv6流量传递到iptables
net.bridge.bridge-nf-call-arptables=1
net.ipv4.ip_forward = 1
net.ipv4.ip_nonlocal_bind = 1 #允许服务绑定一个本机不存在的IP地址，haproxy部署高可用使用vip时会用到
vm.swappiness = 0
vm.overcommit_memory = 1
vm.panic_on_oom = 0
fs.inotify.max_user_instances = 8192
fs.inotify.max_user_watches = 1048576
fs.file-max = 52706963
fs.nr_open = 52706963
net.ipv6.conf.all.disable_ipv6 = 1
net.netfilter.nf_conntrack_max = 2310720
:wq! #保存退出
sysctl -p /etc/sysctl.d/kubernetes.conf
sysctl --system
9.5开启IPVS支持
vi /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in ${ipvs_modules}; do
/sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1
if [ $? -eq 0 ]; then
/sbin/modprobe ${kernel_module}
fi
done
:wq! #保存退出
#执行以下命令使配置生效
chmod 755 /etc/sysconfig/modules/ipvs.modules
sh /etc/sysconfig/modules/ipvs.modules
lsmod | grep ip_vs
10、安装系统依赖包
yum install -y ipset ipvsadm
yum install -y openssl-devel openssl
yum install -y gcc gcc-c++
yum install -y telnet iproute iproute-tc jq bzip2 tar conntrack conntrack-tools sysstat curl iptables libseccomp lrzsz git unzip vim net-tools epel-release nfs-utils wget make yum-utils device-mapper-persistent-data lvm2
11、配置免密码登录
只在在k8s-master01上操作就行
ssh-keygen #输入命令，按三次回车，会生成私钥和公钥
cd /root/.ssh #进入目录，会看到生成的私钥和公钥
#拷贝公钥
ssh-copy-id root@192.168.21.202 #输入192.168.21.202的root密码
ssh-copy-id root@192.168.21.203 #输入192.168.21.203的root密码
ssh-copy-id root@192.168.21.204 #输入192.168.21.204的root密码
ssh-copy-id root@192.168.21.205 #输入192.168.21.205的root密码
后面在master01节点直接输入ssh root@192.168.21.202/203/204/205登录服务器不用再输密码
二、安装Docker（5台都需要操作）
由于目前阿里云镜像中还没有AnolisOS-8的Docker安装包，但是可以使用CentOS-8的Docker安装包，
#卸载旧版本，如果没有安装就不需要执行
yum remove docker docker-client docker-client-latest docker-latest docker-latest-logrotate docker-logrotate docker-common docker-selinux docker-engine-selinux docker-engine docker-ce-cli
rpm -qa|grep docker
#添加docker仓库
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
或者
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
#安装docker
yum list docker-ce --showduplicates #列出可用的docker版本
yum install -y docker-ce-20.10.24-3.el8 docker-ce-cli-20.10.24-3.el8 containerd.io #安装指定版本
docker --version #查看版本
#启动dokcer并开机自启
systemctl daemon-reload
systemctl start docker
systemctl enable docker
docker info |grep "Docker Root Dir"
#设置daemon.json配置文件，修改默认存储目录和运行模式
#Docker默认使用/var/lib/docker作为存储目录，用来存放拉取的镜像和创建的容器
#/var目录一般都位于系统盘，我们修改Docker的默认存储目录到数据盘/data/server/docker
mkdir -p /etc/docker
mkdir -p /data/server/docker #创建docker数据存储目录
vi /etc/docker/daemon.json
{
"data-root": "/data/server/docker",
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
:wq! #保存退出
systemctl daemon-reload
systemctl restart docker
docker info |grep "Docker Root Dir" #查看docker数据存储目录
#检查 JSON 格式，确保没有多余的逗号或错误的括号
#修改Docker的Cgroup Driver配置，使其与kubelet的Cgroup Driver保持一致"exec-opts": ["native.cgroupdriver=systemd"]
#Docker 17.05 及以后的版本使用 "data-root"设置目录，旧版本使用"graph": "/data/server/docker"
cat /etc/docker/daemon.json | jq .
sudo systemctl daemon-reload
sudo systemctl restart docker
docker info
docker info | grep Cgroup
#安装Docker-Compose
Docker-Compose是docker提供的一个命令行工具，用来定义和运行由多个容器组成的应用。
使用Docker-Compose，我们可以通过yaml文件定义应用程序的各个服务，并由单个命令完成应用的创建和启动。
Docker-Compose依靠Docker进行工作，必须确保已经安装了docker才能安装Docker-Compose
Docker-Compose下载地址（需要科学上网）：https://github.com/docker/compose/releases/download/1.29.2/docker-compose-Linux-x86_64
#拷贝Docker-Compose到/usr/bin目录
cp docker-compose-Linux-x86_64 /usr/bin/docker-compose
#添加执行权限
chmod +x /usr/bin/docker-compose
#查看版本，Docker-Compose要和Docker的版本匹配，Docker-Compose：1.29.2可以适用于docker-ce：v20.10.24
docker-compose --version
三、安装HAProxy（在k8s-master01、k8s-master02、k8s-master03这3台执行）
3.1下载安装包haproxy-3.0.5.tar.gz到/data/soft目录
wget https://www.haproxy.org/download/3.0/src/haproxy-3.0.5.tar.gz
#安装依赖包
yum install make gcc gcc-c++ pcre-devel bzip2-devel openssl-devel systemd-devel zlib-devel lua psmisc
mkdir -p /data/server/haproxy #创建安装目录
groupadd haproxy #添加haproxy组
useradd -g haproxy haproxy -s /bin/false #创建运行账户haproxy并加入到haproxy组，不允许haproxy用户直接登录系统
cd /data/soft
tar zxvf haproxy-3.0.5.tar.gz
cd haproxy-3.0.5
make -j 2 TARGET=linux-glibc PREFIX=/data/server/haproxy
make install PREFIX=/data/server/haproxy
cp haproxy /usr/sbin/
vi /etc/sysctl.conf #配置内核参数
net.ipv4.ip_nonlocal_bind = 1
net.ipv4.ip_forward = 1
:wq! #保存退出，如果之前已经设置过此参数无需重复设置
/sbin/sysctl -p
mkdir -p /var/lib/haproxy #创建目录
chown haproxy:haproxy /var/lib/haproxy -R
mkdir /data/server/haproxy/conf #创建配置文件目录
mkdir /data/server/haproxy/logs #创建日志文件目录
cp examples/option-http_proxy.cfg /data/server/haproxy/conf/haproxy.cfg #拷贝配置文件
#添加开机启动
vi /usr/lib/systemd/system/haproxy.service
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network-online.target
Requires=network-online.target
[Service]
ExecStartPre=/data/server/haproxy/sbin/haproxy -f /data/server/haproxy/conf/haproxy.cfg -c -q
ExecStart=/data/server/haproxy/sbin/haproxy -Ws -f /data/server/haproxy/conf/haproxy.cfg -p /var/run/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
[Install]
WantedBy=multi-user.target
:wq! #保存退出
systemctl daemon-reload
systemctl enable haproxy.service
3.2配置haproxy（在k8s-master01、k8s-master02、k8s-master03这3台执行）
mv /data/server/haproxy/conf/haproxy.cfg /data/server/haproxy/conf/haproxy.cfg.bak
vi /data/server/haproxy/conf/haproxy.cfg #3台配置都一样
global
log /dev/log local0 warning
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
stats socket /var/lib/haproxy/stats
defaults
log global
option httplog
option dontlognull
timeout connect 5000
timeout client 50000
timeout server 50000
frontend kube-apiserver
bind *:16443
mode tcp
option tcplog
default_backend kube-apiserver
backend kube-apiserver
mode tcp
option tcp-check
balance roundrobin
default-server inter 10s downinter 5s rise 2 fall 2 slowstart 60s maxconn 250 maxqueue 256 weight 100
server kube-apiserver-1 192.168.21.201:6443 check # Replace the IP address with your own.
server kube-apiserver-2 192.168.21.202:6443 check # Replace the IP address with your own.
server kube-apiserver-3 192.168.21.203:6443 check # Replace the IP address with your own.
listen stats
mode http
bind *:8888
stats auth admin:123456
stats refresh 5s
stats uri /stats
log 127.0.0.1 local3 err
:wq! #保存退出
#检查配置文件
/data/server/haproxy/sbin/haproxy -f /data/server/haproxy/conf/haproxy.cfg -c
/data/server/haproxy/sbin/haproxy -f /data/server/haproxy/conf/haproxy.cfg -db
systemctl daemon-reload
systemctl restart haproxy.service
浏览器打开http://192.168.21.201:8888/stats
输入账号密码可以查询状态信息
现在haproxy负载均衡已经设置好了，我们还没有安装k8s集群，所以6443端口都没有启用
四、安装Keepalived（在k8s-master01、k8s-master02、k8s-master03这3台执行）
4.1下载安装包keepalived-2.3.1.tar.gz到/data/soft目录
mkdir -p /data/soft
wget https://www.keepalived.org/software/keepalived-2.3.1.tar.gz
#安装依赖包
yum install openssl-devel popt-devel libnl3-devel libnfnetlink-devel kernel-devel gcc psmisc
mkdir -p /data/server/keepalived #创建安装目录
#编译安装keepalived
cd /data/soft
tar zxvf keepalived-2.3.1.tar.gz
cd keepalived-2.3.1
./configure --prefix=/data/server/keepalived #配置，必须看到以下提示，说明配置正确，才能继续安装
Use IPVS Framework : Yes
Use VRRP Framework : Yes
make #编译
make install #安装
/data/server/keepalived/sbin/keepalived -v #查看版本
#拷贝配置文件
mkdir -p /etc/keepalived
cp /data/server/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived
cp /data/server/keepalived/etc/keepalived/keepalived.conf.sample /etc/keepalived/keepalived.conf
cp /data/server/keepalived/sbin/keepalived /usr/sbin/
mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
#修改启动文件
mv /usr/lib/systemd/system/keepalived.service /usr/lib/systemd/system/keepalived.service.bak
vi /usr/lib/systemd/system/keepalived.service
[Unit]
Description=LVS and VRRP High Availability Monitor
After=syslog.target network.target haproxy.service
Requires=network-online.target haproxy.service
[Service]
Type=forking
PIDFile=/run/keepalived.pid
KillMode=process
EnvironmentFile=-/etc/sysconfig/keepalived
ExecStart=/usr/sbin/keepalived $KEEPALIVED_OPTIONS
ExecReload=/bin/kill -HUP $MAINPID
[Install]
WantedBy=multi-user.target
:wq! #保存退出
4.2配置Keepalived（分别在k8s-master01、k8s-master02、k8s-master03这3台操作）
k8s-master01配置文件
vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_haproxy {
script "killall -0 haproxy" #使用这个命令来检测进程
interval 2
weight -5
}
vrrp_instance VI_1 {
state MASTER #主节点
interface ens160 #绑定vip地址的网卡名称
virtual_router_id 51 #虚拟路由的ID，3个节点要一致
priority 101 #优先级高，数字越大优先级越高，取值范围：0-254
advert_int 1
authentication {
auth_type PASS #VRRP验证类型：PASS、AH两种
auth_pass 1111 #VRRP验证密码，在同一个vrrp_instance下，主、从必须使用相同的密码才能正常通信
}
track_script {
chk_haproxy
}
virtual_ipaddress {
192.168.21.200/24 #vip地址
}
unicast_src_ip 192.168.21.201 #本地网卡ens160的IP地址
unicast_peer {
192.168.21.202 #k8s-master02的ip地址
192.168.21.203 #k8s-master03的ip地址
}
}
:wq! #保存退出
k8s-master02配置文件
vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_haproxy {
script "killall -0 haproxy" #使用这个命令来检测进程
interval 2
weight -5
}
vrrp_instance VI_1 {
state BACKUP #备节点
interface ens160 #绑定vip地址的网卡名称
virtual_router_id 51 #虚拟路由的ID，3个节点要一致
priority 100 #优先级高，数字越大优先级越高，取值范围：0-254
advert_int 1
authentication {
auth_type PASS #VRRP验证类型：PASS、AH两种
auth_pass 1111 #VRRP验证密码，在同一个vrrp_instance下，主、从必须使用相同的密码才能正常通信
}
track_script {
chk_haproxy
}
virtual_ipaddress {
192.168.21.200/24 #vip地址
}
unicast_src_ip 192.168.21.202 #本地网卡ens160的IP地址
unicast_peer {
192.168.21.201 #k8s-master01的ip地址
}
}
:wq! #保存退出
k8s-master03配置文件
vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_haproxy {
script "killall -0 haproxy" #使用这个命令来检测进程
interval 2
weight -5
}
vrrp_instance VI_1 {
state BACKUP #备节点
interface ens160 #绑定vip地址的网卡名称
virtual_router_id 51 #虚拟路由的ID，3个节点要一致
priority 99 #优先级高，数字越大优先级越高，取值范围：0-254
advert_int 1
authentication {
auth_type PASS #VRRP验证类型：PASS、AH两种
auth_pass 1111 #VRRP验证密码，在同一个vrrp_instance下，主、从必须使用相同的密码才能正常通信
}
track_script {
chk_haproxy
}
virtual_ipaddress {
192.168.21.200/24 #vip地址
}
unicast_src_ip 192.168.21.203 #本地网卡ens160的IP地址
unicast_peer {
192.168.21.201 #k8s-master01的ip地址
}
}
:wq! #保存退出
systemctl daemon-reload #重新加载
systemctl enable keepalived.service #设置开机自动启动
systemctl start keepalived.service #启动
systemctl stop keepalived.service #停止
systemctl restart keepalived.service #重启
systemctl status keepalived.service #查看状态
journalctl -u keepalived -f #查看日志
ip addr #查看ip地址，可以看到vip地址192.168.21.200已经绑定在k8s-master01上面了
这里把haproxy的状态和API Server（kube-apiServer）服务看做是一个整体来进行监控
认为只要haproxy进程在，API Server（kube-apiServer）服务也就正常
认为只要haproxy进程不存在，API Server（kube-apiServer）服务也就异常，会关闭keepalived服务，进行高可用切换
要确保keepalived在haproxy启动后再启动，因为keepalived配置文件里面有检测haproxy的脚本
如果检测到haproxy没有启动，会认为节点故障了，进行vip飘逸
所有节点的haproxy都没有启动，会形成死循环，最终会导致所有节点都无法绑定vip，认为所有master节点都坏掉了，导致k8s集群无法使用
4.2验证Keepalived+haproxy高可用
关闭k8s-master01上面的haproxy服务systemctl stop haproxy.service
这个时候查看k8s-master01上的ip地址ip addr，发现vip地址192.168.21.200已经没有了
这个时候查看k8s-master02上的ip地址ip addr，发现vip地址192.168.21.200在这台上面
启动k8s-master01上面的haproxy服务systemctl start haproxy.service
这个时候查看k8s-master01上的ip地址ip addr，因为3台服务器，k8s-master01的vip优先级最高，vip地址192.168.21.200又重新飘逸到这台上面
这个时候k8s集群的高可用已经配置成功
五、安装kubectl、kubelet、kubeadm（5台机器都需要执行）
由于目前阿里云镜像中还没有AnolisOS-8的kubernetes安装包，也没有CentOS-8的kubernetes安装包，但是可以使用CentOS-7的安装包，
#配置yum源
vi /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
:wq! #保存退出
#如果之前安装了k8s,先卸载旧版本
yum -y remove kubelet kubeadm kubectl
#列出可用的k8s组件版本
yum -y list kubectl kubelet kubeadm --showduplicates
yum -y list --showduplicates kubectl kubelet kubeadm| sort -r
#安装指定版本，三个组件版本要一致
yum install -y kubectl-1.23.17-0.x86_64 kubelet-1.23.17-0.x86_64 kubeadm-1.23.17-0.x86_64
#先设置开机启动，初始化后再启动服务
systemctl enable kubelet
#查看当前使用的k8s镜像版本
kubeadm config images list #显示了Kubernetes v1.23.17所需的所有镜像
registry.k8s.io/kube-apiserver:v1.23.17
registry.k8s.io/kube-controller-manager:v1.23.17
registry.k8s.io/kube-scheduler:v1.23.17
registry.k8s.io/kube-proxy:v1.23.17
registry.k8s.io/pause:3.6
registry.k8s.io/etcd:3.5.6-0
registry.k8s.io/coredns/coredns:v1.8.6
#使用阿里云的镜像仓库，拉取镜像到本地（5台机器都需要执行）
#k8s的master节点部署需要上面7个镜像
#k8s的nod节点部署实际上只需要registry.k8s.io/kube-proxy:v1.23.17和registry.aliyuncs.com/google_containers/pause这个2个镜像
#我们这里为了方便，给5台机器把这7个镜像都提前下载
#拉取镜像
kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers --kubernetes-version 1.23.17
#或者直接使用下面的命令也可以拉取镜像
docker pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.23.17
docker pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.23.17
docker pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.23.17
docker pull registry.aliyuncs.com/google_containers/kube-proxy:v1.23.17
docker pull registry.aliyuncs.com/google_containers/etcd:3.5.6-0
docker pull registry.aliyuncs.com/google_containers/coredns:v1.8.6
docker pull registry.aliyuncs.com/google_containers/pause:3.6
#设置k8s命令自动补全，需要重新连接ssh才能生效
yum install -y bash-completion
source /usr/share/bash-completion/bash_completion
#设置当前用户拥有命令自动补全功能
source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc
source ~/.bashrc
#设置所有用户都能拥有命令补全的功能
kubectl completion bash | sudo tee /etc/bash_completion.d/kubectl > /dev/null
k8s组件说明：
1、kubectl
是与 Kubernetes 集群交互的命令行工具。
一般在管理节点上运行（通常不需要在每个节点上都安装）。
负责发送 API 请求来启动 Pod 和容器、查看资源状态、创建、删除和更新各种组件。
2、kubelet
是在每个工作节点上运行的代理。
负责管理容器和 Pods，确保它们按照预期运行。
通过与 Kubernetes API 服务器通信，报告节点和 Pod 的状态。
3、kubeadm
用于集群的初始化和管理。
帮助简化集群的安装过程，包括控制平面的设置和节点的加入。
不是一个持续运行的服务，而是一个命令行工具，用于执行集群的生命周期管理操作。
4、总结
kubectl 用于管理和交互。
kubelet 管理节点上的容器和 Pods。
kubeadm 用于集群的初始化和管理。
这一步只是安装了k8s需要的三个基本组件，要让k8s真正运行起来还需要初始化部署与这三个组件版本对应的一系列镜像
六、初始化k8s（只在k8s-master01这一台执行）
#在k8s-master01上执行初始化（在绑定vip的机器上执行初始化操作）
kubeadm init \
--apiserver-advertise-address=0.0.0.0 \
--control-plane-endpoint=192.168.21.200:6443 \
--pod-network-cidr=10.144.0.0/16 \
--service-cidr=10.96.0.0/16 \
--kubernetes-version=v1.23.17 \
--image-repository=registry.aliyuncs.com/google_containers \
--upload-certs
#特别注意：一定要提前做好网络规划，各个组件的ip地址段不能重叠和相同，否则会导致网络冲突安装部署失败
#参数说明
1、--apiserver-advertise-address=0.0.0.0
在3个节点中，--apiserver-advertise-address每个master节点不同，设置为本机的实际IP地址
表示的是当前节点上Kubernetes API Server所绑定的网络接口IP，用于节点之间的内部通信
如果只有1个网络接口，可以设置为0.0.0.0表示使用默认的网络接口地址
如果有多个网络接口，建议设置为本机固定ip地址：192.168.21.201
2、--control-plane-endpoint=192.168.21.200:6443
这个参数应该设置为集群的VIP地址或负载均衡器的地址，它是外部组件或工作节点与API Server交互的统一入口
所有的主节点会通过vip共享这个统一入口，因此vip或负载均衡器会将流量负载均衡到各个master节点上
192.168.21.200是vip地址，目前绑定在k8s-master01上面
其他工作节点会通过此vip地址与Kubernetes控制平面通信，这样可以实现高可用
3、--pod-network-cidr=10.144.0.0/16
指定 Pod 网络的 CIDR 范围，这是为 Kubernetes 集群中的 Pods 分配 IP 地址使用的范围
这个地址可以自定义修改，但是必须保证要和你使用的网络插件（如 Calico、Flannel）里面CIDR地址一致
不能和当前节点的内网IP地址192.168.21.200网段192.168.21.0/24网段重叠，否则会出现网络冲突
在安装kubernetes-dashboard组件的时候node工作节点和master主节点之间无法互访，导致安装失败
Calico默认的地址是192.168.0.0/16，建议修改默认地址段为10.144.0.0/16
Flanne默认的地址是10.244.0.0/16
4、--service-cidr=10.96.0.0/16
指定服务网络的 CIDR 范围，这是为 Kubernetes 服务分配 IP 地址使用的范围。在集群内部，服务会通过这个 CIDR 范围内的地址来访问
不能和当前节点的内网IP地址192.168.21.201网段192.168.21.0/24网段重叠，否则会出现网络冲突
5、--kubernetes-version=v1.23.17
指定要安装的 Kubernetes 版本，这里是 v1.23.17
6、--image-repository=registry.aliyuncs.com/google_containers
由于默认拉取镜像地址k8s.gcr.io国内无法访问，需要指定镜像仓库的地址来拉取k8s需要的镜像，这里使用的是阿里云的镜像仓库
7、--upload-certs
这个选项会自动将控制平面节点的证书上传到集群中，方便后续其他控制平面节点加入时直接从集群获取证书，而无需手动传输。
非常适合在高可用环境下使用，确保所有控制平面节点使用相同的证书
#############
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
You can now join any number of the control-plane node running the following command on each as root:
kubeadm join 192.168.21.200:6443 --token by1085.v7dxvzokwrja7qgx \
--discovery-token-ca-cert-hash sha256:99e0e1f4a91e90b4c72eef7dd5467d78f7fccd3dfa0c6e2993ed5e9cca8c10ef \
--control-plane --certificate-key c49ed1430a9665493d9d6f0867de8b8af79bb90d1a3669084c463d8b2c5f11bb
Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.21.200:6443 --token by1085.v7dxvzokwrja7qgx \
--discovery-token-ca-cert-hash sha256:99e0e1f4a91e90b4c72eef7dd5467d78f7fccd3dfa0c6e2993ed5e9cca8c10ef
############
#接着继续在k8s-master01上执行，配置Kubernetes的访问权限
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
export KUBECONFIG=/etc/kubernetes/admin.conf
systemctl restart kubelet #重启服务
kubectl get node
kubectl get pod --all-namespaces
[root@k8s-master01 ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
k8s-master01 NotReady control-plane,master 39s v1.23.17
[root@k8s-master01 ~]# kubectl get pod --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-6d8c4cb4d-4c8x6 0/1 Pending 0 21s
kube-system coredns-6d8c4cb4d-ntzbn 0/1 Pending 0 21s
kube-system etcd-k8s-master01 1/1 Running 1 36s
kube-system kube-apiserver-k8s-master01 1/1 Running 1 36s
kube-system kube-controller-manager-k8s-master01 1/1 Running 1 36s
kube-system kube-proxy-xk5d6 1/1 Running 0 22s
kube-system kube-scheduler-k8s-master01 1/1 Running 1 36s
[root@k8s-master01 ~]#
#这时查看节点状态为NotReady、coredns状态为Pending，是因为没有安装网络组件，我们还需要安装好网络组件才能显示为Ready和Running
#重新初始化安装的相关命令
#重新初始化主节点
kubeadm reset -f
rm -rf $HOME/.kube
#重新初始化从节点
kubeadm reset -f
rm -rf /etc/cni/
七、添加另外两台master节点到集群（在k8s-master02、k8s-master03这2台执行）
7.1如果token和certificate-key过期，可以k8s-master01上执行下面的命令在重新生成
#重新生成token
kubeadm token create --print-join-command
#重新生成certificate-key
kubeadm init phase upload-certs --upload-certs
7.2在k8s-master01上执行，查看token和sha256的值
[root@k8s-master01 ~]# kubeadm token list
TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS
mim8ld.80huz0e7ykxafx2w 23h 2024-10-12T09:59:16Z authentication,signing The default bootstrap token generated by 'kubeadm init'. system:bootstrappers:kubeadm:default-node-token
[root@k8s-master01 ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der | openssl dgst -sha256 | awk '{print $2}'
writing RSA key
9f9ee72ff665562c47e90170388011dd278379dc4a8769a9e73c64e824906794
7.3在两个节点k8s-master02和k8s-master03上分别执行
kubeadm join 192.168.21.200:6443 --token by1085.v7dxvzokwrja7qgx \
--discovery-token-ca-cert-hash sha256:99e0e1f4a91e90b4c72eef7dd5467d78f7fccd3dfa0c6e2993ed5e9cca8c10ef \
--control-plane --certificate-key c49ed1430a9665493d9d6f0867de8b8af79bb90d1a3669084c463d8b2c5f11bb
#看到下面的提示说明添加成功了
#######################
This node has joined the cluster and a new control plane instance was created:
* Certificate signing request was sent to apiserver and approval was received.
* The Kubelet was informed of the new secure connection details.
* Control plane (master) label and taint were applied to the new node.
* The Kubernetes control plane instances scaled up.
* A new etcd member was added to the local/stacked etcd cluster.
To start administering your cluster from this node, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Run 'kubectl get nodes' to see this node join the cluster.
#######################
7.3接着继续在k8s-master02和k8s-master03上执行，配置Kubernetes的访问权限
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
7.5
kubectl get node
kubectl get pod --all-namespaces
[root@k8s-master01 ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
k8s-master01 NotReady control-plane,master 30m v1.23.17
k8s-master02 NotReady control-plane,master 16m v1.23.17
k8s-master03 NotReady control-plane,master 15m v1.23.17
[root@k8s-master01 ~]# kubectl get pod --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-6d8c4cb4d-492s5 0/1 Pending 0 30m
kube-system coredns-6d8c4cb4d-b5zmh 0/1 Pending 0 30m
kube-system etcd-k8s-master01 1/1 Running 3 30m
kube-system etcd-k8s-master02 1/1 Running 0 16m
kube-system etcd-k8s-master03 1/1 Running 0 15m
kube-system kube-apiserver-k8s-master01 1/1 Running 3 30m
kube-system kube-apiserver-k8s-master02 1/1 Running 0 16m
kube-system kube-apiserver-k8s-master03 1/1 Running 1 (16m ago) 15m
kube-system kube-controller-manager-k8s-master01 1/1 Running 4 (16m ago) 30m
kube-system kube-controller-manager-k8s-master02 1/1 Running 0 16m
kube-system kube-controller-manager-k8s-master03 1/1 Running 0 14m
kube-system kube-proxy-d8wm6 1/1 Running 0 16m
kube-system kube-proxy-dwcp8 1/1 Running 0 30m
kube-system kube-proxy-km2fh 1/1 Running 0 15m
kube-system kube-scheduler-k8s-master01 1/1 Running 4 (16m ago) 30m
kube-system kube-scheduler-k8s-master02 1/1 Running 0 16m
kube-system kube-scheduler-k8s-master03 1/1 Running 0 14m
[root@k8s-master01 ~]#
#这时查看节点状态任然为NotReady、coredns状态为Pending，是因为还没有安装网络组件，我们还需要安装好网络组件才能显示为Ready和Running
八、安装网络组件
k8s的网络组件可以选择flannel或者calico，由于calico性能比flannel高，所以我们一般使用calico
calico的版本要和k8s的版本匹配才可以，calico-v3.25.0可以适配kubernetes-v1.23.17
#只在k8s-master01下载calico-v3.25.0版本的calico.yaml文件（需要科学上网）
wget https://calico-v3-25.netlify.app/archive/v3.25/manifests/calico.yaml --no-check-certificate
cat calico.yaml |grep image #查看安装calico-v3.25.0所需要的镜像
[root@k8s-master01 ~]# cat calico.yaml |grep image
image: docker.io/calico/cni:v3.25.0
imagePullPolicy: IfNotPresent
image: docker.io/calico/cni:v3.25.0
imagePullPolicy: IfNotPresent
image: docker.io/calico/node:v3.25.0
imagePullPolicy: IfNotPresent
image: docker.io/calico/node:v3.25.0
imagePullPolicy: IfNotPresent
image: docker.io/calico/kube-controllers:v3.25.0
imagePullPolicy: IfNotPresent
8.1手动拉取calico-v3.25.0需要的cni、kube-controllers、node镜像版本（5台机器都需要执行）
docker pull docker.io/calico/cni:v3.25.0
docker pull docker.io/calico/kube-controllers:v3.25.0
docker pull docker.io/calico/node:v3.25.0
#如果无法拉取可以用下面的方法，先拉取镜像再修改标签
#国内可以拉取的镜像的网站：https://docker.aityp.com/
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/calico/cni:v3.25.0
docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/calico/cni:v3.25.0 docker.io/calico/cni:v3.25.0
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/calico/kube-controllers:v3.25.0
docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/calico/kube-controllers:v3.25.0 docker.io/calico/kube-controllers:v3.25.0
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/calico/node:v3.25.0
docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/calico/node:v3.25.0 docker.io/calico/node:v3.25.0
8.2安装网络插件calico（只在k8s-master01上安装）
vi calico.yaml #取消注释
- name: CALICO_IPV4POOL_CIDR
value: "10.144.0.0/16"
- name: IP_AUTODETECTION_METHOD #添加此行
value: interface=ens160 #添加此行，指定网卡
:wq! #保存退出，注意格式保证- name 项与前后项对齐，ip地址段和--pod-network-cidr=10.144.0.0/16必须相同
#如果服务器有多个网卡需要指定正确的网卡，我这里是ens160（ip addr命令查看），否则会自动使用第一个网卡，可能会导致网络冲突部署失败
#安装calico网络组件只需要在Kubernetes主节点（k8s-master）上执行该命令，Calico会自动在集群中的其他节点上进行配置和分发
#所有节点必须要能够拉取cni、kube-controllers、node这些镜像或者是提前离线导入镜像
#后面有任何新的节点加入集群，这些新节点也必须要有这些镜像才可以部署成功
kubectl apply -f calico.yaml #部署calico，只在k8s-master上安装
kubectl get nodes #部署完成后在k8s-master01上查看节点以及POD资源状态已经显示正常了
kubectl get pod -A
kubectl get pod -n kube-system
[root@k8s-master01 ~]# kubectl get nodes #部署完成后在k8s-master01上查看节点以及POD资源状态已经显示正常了
NAME STATUS ROLES AGE VERSION
k8s-master01 Ready control-plane,master 62m v1.23.17
k8s-master02 Ready control-plane,master 48m v1.23.17
k8s-master03 Ready control-plane,master 47m v1.23.17
[root@k8s-master01 ~]# kubectl get pod -A
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-kube-controllers-64cc74d646-w9qkl 1/1 Running 0 34s
kube-system calico-node-tmrhd 1/1 Running 0 34s
kube-system calico-node-vq62q 1/1 Running 0 34s
kube-system calico-node-xc4d8 1/1 Running 0 34s
kube-system coredns-6d8c4cb4d-492s5 1/1 Running 0 61m
kube-system coredns-6d8c4cb4d-b5zmh 1/1 Running 0 61m
kube-system etcd-k8s-master01 1/1 Running 3 62m
kube-system etcd-k8s-master02 1/1 Running 0 48m
kube-system etcd-k8s-master03 1/1 Running 0 46m
kube-system kube-apiserver-k8s-master01 1/1 Running 3 62m
kube-system kube-apiserver-k8s-master02 1/1 Running 0 48m
kube-system kube-apiserver-k8s-master03 1/1 Running 1 (47m ago) 46m
kube-system kube-controller-manager-k8s-master01 1/1 Running 4 (47m ago) 62m
kube-system kube-controller-manager-k8s-master02 1/1 Running 0 48m
kube-system kube-controller-manager-k8s-master03 1/1 Running 0 46m
kube-system kube-proxy-d8wm6 1/1 Running 0 48m
kube-system kube-proxy-dwcp8 1/1 Running 0 61m
kube-system kube-proxy-km2fh 1/1 Running 0 47m
kube-system kube-scheduler-k8s-master01 1/1 Running 4 (47m ago) 62m
kube-system kube-scheduler-k8s-master02 1/1 Running 0 48m
kube-system kube-scheduler-k8s-master03 1/1 Running 0 46m
[root@k8s-master01 ~]# kubectl get pod -n kube-system
NAME READY STATUS RESTARTS AGE
calico-kube-controllers-64cc74d646-w9qkl 1/1 Running 0 50s
calico-node-tmrhd 1/1 Running 0 50s
calico-node-vq62q 1/1 Running 0 50s
calico-node-xc4d8 1/1 Running 0 50s
coredns-6d8c4cb4d-492s5 1/1 Running 0 62m
coredns-6d8c4cb4d-b5zmh 1/1 Running 0 62m
etcd-k8s-master01 1/1 Running 3 62m
etcd-k8s-master02 1/1 Running 0 48m
etcd-k8s-master03 1/1 Running 0 47m
kube-apiserver-k8s-master01 1/1 Running 3 62m
kube-apiserver-k8s-master02 1/1 Running 0 48m
kube-apiserver-k8s-master03 1/1 Running 1 (47m ago) 47m
kube-controller-manager-k8s-master01 1/1 Running 4 (48m ago) 62m
kube-controller-manager-k8s-master02 1/1 Running 0 48m
kube-controller-manager-k8s-master03 1/1 Running 0 46m
kube-proxy-d8wm6 1/1 Running 0 48m
kube-proxy-dwcp8 1/1 Running 0 62m
kube-proxy-km2fh 1/1 Running 0 47m
kube-scheduler-k8s-master01 1/1 Running 4 (48m ago) 62m
kube-scheduler-k8s-master02 1/1 Running 0 48m
kube-scheduler-k8s-master03 1/1 Running 0 46m
[root@k8s-master01 ~]#
九、添加node工作节点到集群
9.1在k8s-master01上执行，查看token和sha256的值
[root@k8s-master ~]# kubeadm token list
TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS
14nipm.xyp2rgztap3cpnop 23h 2024-09-28T10:13:54Z authentication,signing The default bootstrap token generated by 'kubeadm init'. system:bootstrappers:kubeadm:default-node-token
[root@k8s-master ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der | openssl dgst -sha256 | awk '{print $2}'
writing RSA key
99e0e1f4a91e90b4c72eef7dd5467d78f7fccd3dfa0c6e2993ed5e9cca8c10ef
9.2在两个节点k8s-node01和k8s-node02上分别执行
systemctl restart kubelet #重启服务
#加入集群，192.168.21.200:16443
#这里要使用vip的地址和端口，这样haproxy的负载均衡就能用起来了
kubeadm join 192.168.21.200:16443 --token by1085.v7dxvzokwrja7qgx \
--discovery-token-ca-cert-hash sha256:99e0e1f4a91e90b4c72eef7dd5467d78f7fccd3dfa0c6e2993ed5e9cca8c10ef
#看到下面的提示说明添加成功了
##################
This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.
Run 'kubectl get nodes' on the control-plane to see this node join the cluster.
##################
9.3重启所有集群节点（5台机器都需要执行）
systemctl daemon-reload
systemctl enable kubelet
systemctl restart kubelet
kubeadm version
kubectl version --client
kubelet --version
#在k8s-master01上查看节点以及POD资源状态
kubectl get nodes
kubectl get pod -A
kubectl get pod -n kube-system
十、部署Dashboard
Dashboard是官方提供的一个UI，可用于基本管理K8s资源，Kubernetes和Dashboard的版本要对应才可以
Kubernetes version dashboard version
1.18 v2.0.0 完全支持
1.19 v2.0.4 完全支持
1.20 v2.4.0 完全支持
1.21 v2.4.0 完全支持
1.23 v2.5.0 完全支持
1.24 v2.6.0 完全支持
1.25 v2.7.0 完全支持
1.27 v3.0.0-alpha0 完全支持
1.29 kubernetes-dashboard-7.5.0 完全支持
10.1我们使用的k8s版本为1.23.17，所以要下载dashboard v2.5.1版本部署（需要科学上网）
#只在k8s-master01上下载
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.5.1/aio/deploy/recommended.yaml
10.2修改recommended.yaml文件
vi recommended.yaml #默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部
---
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
spec:
type: NodePort #添加此行
ports:
- port: 443
targetPort: 8443
nodePort: 30001 #添加此行
selector:
k8s-app: kubernetes-dashboard
---
:wq! #保存退出
vi recommended.yaml #修改拉取镜像的优先级为本地优先
image: kubernetesui/dashboard:v2.5.1
imagePullPolicy: IfNotPresent #修改
image: kubernetesui/metrics-scraper:v1.0.7
imagePullPolicy: IfNotPresent #添加此行
:wq! #保存退出
imagePullPolicy参数说明：
Always：每次启动 Pod 时都会尝试从镜像仓库拉取指定的镜像，这意味着无论本地是否存在该镜像，Kubernetes 都会检查远程仓库并拉取最新的镜像
IfNotPresent：只有在本地不存在该镜像时，才从远程拉取。如果本地已有相同标签的镜像，则使用本地镜像
Never：完全不从远程拉取镜像，只使用本地镜像
10.3手动拉取镜像（5台机器都需要执行）
grep image recommended.yaml #查看dashboard需要的镜像
image: kubernetesui/dashboard:v2.5.1
imagePullPolicy: IfNotPresent
image: kubernetesui/metrics-scraper:v1.0.7
imagePullPolicy: IfNotPresent
#外国的镜像无法直接下载，我们使用阿里云的镜像
#提前在所有节点下载dashboard镜像和metrics-scraper镜像，然后再修改镜像标签
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/dashboard:v2.5.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/dashboard:v2.5.1 kubernetesui/dashboard:v2.5.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/metrics-scraper:v1.0.7
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/metrics-scraper:v1.0.7 kubernetesui/metrics-scraper:v1.0.7
10.4运行yaml文件（只在k8s-master01上安装）
kubectl delete -f recommended.yaml #删掉部署
kubectl apply -f recommended.yaml #部署
#查看容器运行状态
kubectl get all -n kubernetes-dashboard
kubectl get pod -n kubernetes-dashboard
kubectl get svc -n kubernetes-dashboard
10.5访问Dashboard
正常安装部署完 Kubernetes Dashboard 后，通过大多数主流浏览器（Chrome、IE、Safari、Edge）是不能正常访问的，目前只有火狐浏览器能打开
这是由于部署 Kubernetes Dashboard 时默认生成的证书有问题导致的
打开页面https://192.168.21.201:30001
鼠标点击页面的任意地方，键盘输入（不显示任何输入）：thisisunsafe 回车即可正常访问
10.6在Kubernetes创建Dashboard超级管理员账户（只在k8s-master01上安装）
#创建service account并绑定默认cluster-admin管理员集群角色
kubectl create serviceaccount admin -n kube-system
kubectl create clusterrolebinding admin --clusterrole=cluster-admin --serviceaccount=kube-system:admin
kubectl get secret -n kube-system|grep admin
kubectl describe secret -n kube-system admin-token-mxjbd #获取token
10.7登录Dashboard
#在任意一台机器上面都能访问
#这里我们在k8s-master01节点访问https://192.168.21.201:30001
在页面上粘贴Token，登录成功
十一、测试使用k8s集群部署服务
创建一个Nginx服务，副本数为2，并且使用镜像加速站docker.rainbond.cc来拉取镜像
#只在k8s-master01上执行
docker pull docker.rainbond.cc/nginx:latest
kubectl create deployment app-nginx --image=docker.rainbond.cc/nginx:latest --replicas=2
#暴露端口从外部访问
kubectl expose deployment app-nginx --type=NodePort --name=nginx-service --port=80 --target-port=80
#查看端口映射
kubectl get services
nginx-service NodePort 10.96.234.170 <none> 80:30737/TCP 55s
#在任意一台机器上面都能访问
#打开下面的页面就能访问nginx服务了
http://192.168.21.201:30737/
注意：
1.在NodePort类型的服务中，外部访问通常是通过某个特定的NodePort端口，而不是直接通过80端口
2.Kubernetes会为服务分配一个在30000到32767范围内的随机端口（不支持命令行自定义端口）
3.外部用户需要通过Node的IP地址和这个NodePort端口进行访问
4.直接通过80端口访问nginx-service是不可行的
5.如果您希望通过80端口访问，建议使用LoadBalancer或者Ingress
#查看节点信息的命令
#默认情况下master节点不参与工作调到
kubectl describe nodes k8s-master01
curl -k https://192.168.21.200:16443/version
至此，k8s-1.23.17版本多master多node高可用集群在线安装部署完成。
②190706903 ③203744115
