您当前的位置： 首页 > 慢生活 > 程序人生 网站首页程序人生

12、Kubernetes - 集群安装(内核升级)

发布时间：2022-12-03 16:17:07编辑：雪饮阅读（）

注意：

由于我这里上篇用的是windows10的，现在换成windows11后，虚拟机启动可能会报错如下：

无法获得 VMCI 驱动程序的版本: 句柄无效。

驱动程序“vmci.sys”的版本不正确。请尝试重新安装 VMware Workstation。

模块“DevicePowerOn”启动失败。

未能启动虚拟机。

打开对应虚拟机的vmx后缀的文件编辑里面的vmci0.present的值为FALSE即可

Master

Step1 安装

用镜像CentOS-7-x86_64-Minimal-1810.iso安装系统

语言选择中文简体、时区是亚洲/上海

安装完成后挂载该镜像并安装该镜像里面的net-tools

Step 2 设置ip地址

设置静态ip地址为192.168.66.10

子网掩码255.255.255.0

网关192.168.66.1（指向koolshare的eth0）

DNS1 192.168.66.1

DNS2 114.114.114.114

Step 3 设置主机名及hosts

设置主机名

hostnamectl set-hostname k8s-master01

修改hosts增加我们的集群节点间的解析

192.168.66.10 k8s-master01

192.168.66.20 k8s-node01

192.168.66.21 k8s-node02

一般正规的是用dns实现，这里是学习环境，就直接hosts最简单。

Step4安装依赖包

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

可能会出现的问题：

Cannot find a valid baseurl for repo: base/7/x86_64

应该是你koolshare没有启动

另外我这里关闭了ssr，因为我之前的那个ssr服务器被封ip了，可恶的阿里云不让座ssr。

Step5 设置防火墙

设置防火墙为iptables并设置为空规则（个人理解相当于将systemctl降级了，关于防火墙这块儿）

systemctl stop firewalld && systemctl disable firewalld

yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

 

step6 关闭swap及selinux

关闭selinux

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

这里swap的关闭是因为k8s害怕他的容器运行在交换分区/虚拟内存上。

Step7调整内核参数 对于k8s

cat > kubernetes.conf <<EOF

net.bridge.bridge-nf-call-iptables=1 #比较重要 开启网桥模式

net.bridge.bridge-nf-call-ip6tables=1 #比较重要 开启网桥模式

net.ipv4.ip_forward=1

net.ipv4.tcp_tw_recycle=0

vm.swappiness=0 # 禁止使用swap空间，只有当系统OOM时才允许使用它vm.overcommit_memory=1#不检查物理内存是否够用

vm.panic_on_oom=e #开启OOM

fs.inotify.max_user_instances=8192

fs.inotify.max_user_watches=1048576

fs.file-max=52706963

fs.nr_open=52706963

net.ipv6.conf.all.disable_ipv6=1 #比较重要 关闭ipv6

net.netfilter.nf_conntrack_max=2310720

EOF

cp kubernetes.conf /etc/sysctl.d/kubernetes.conf

sysctl -p /etc/sysctl.d/kubernetes.conf

有个可能的报错



但我这里没有发生，这个错误可以忽略。

这里也可能会报错

sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: 没有那个文件或目录

sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-ip6tables: 没有那个文件或目录

我这里暂时先不处理

Step8关闭系统不需要的服务

systemctl stop postfix && systemctl disable postfix

step9设置rsyslogd和systemd journal

就是说，系统又rsyslogd，但是我们不用默认的，我们用最新的systemd的journald。。。

mkdir /var/log/journal #持久化保存日志的目录

mkdir /etc/systemd/journald.conf.d

cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF

[Journal]

#持久化保存到磁盘

Storage=persistent

#压缩历史日志

Compress=yes

syncIntervalSec=5m

RateLimitInterval=30s

RateLimitBurst=1000

#最大占用空间10G

SystemMaxUse=10G

#单日志文件最大200M

SystemMaxFileSize=200M

#日志保存时间2周

MaxRetentionSec=2week

#不将日志转发到syslog

ForwardToSyslog=no

EOF

systemctl restart systemd-journald

 

step10升级系统内核为4.44(不一定是这个版本，并且下面设置的那个新内核重新启动的default的值应该也不是固定的，个人理解这里应该是最新的，暂时先这样处理了)

CentOS 7.x系统自带的3.10.x内核存在一些Bugs，导致运行的Docker.Kubernetes 不稳定，例如: rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

#安装完成后检查/boot/grub2/grub.cfg 中对应内核menuentry 中是否包含initrd16配置，如果没有，再安装一次!

yum --enablerepo=elrepo-kernel install -y kernel-lt#设置开机.从新内核启动

grub2-set-default 'Cent0s Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'

实际上发现安装了最新内核，后，重启时候，默认最新内核选中，就算你上面这个设置的貌似和最新启动的引导名称不同。

然后重新启动（可能是可选，但是我这里严谨点，还是重启了下）

step11 kube-proxy开启ipvs的前置条件

modprobe br_netfilter

cat > /etc/sysconfig/modules/ipvs.modules <<EOF

#!/bin/bash

modprobe -- ip_vs

modprobe -- ip_vs_rr

modprobe -- ip_vs_wrr

modprobe -- ip_vs_sh

modprobe -- nf_conntrack_ipv4

EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

这里会报一个错：

modprobe: FATAL: Module nf_conntrack_ipv4 not found.

暂时先记录下

Step 12 安装docker软件

yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum update -y && yum install -y docker-ce

 

安装并配置node1与node2

这两个节点，和上面的mstaer节点一样，只需要注意下主机名和ip地址的设置哪里，参考上面的hosts那个。