问题场景
操作系统：麒麟系统v10 SP2
k8s版本：v1.23.17
容器运行时：containerd
Rabbitmq镜像版本：3.9.11-debian-10-r0（3.11.10-debian-11-r0版本已正常）
Mysql镜像版本：mysql_5.7.37-debian-10-r95（8.0.20版本已正常）
redis-ha-haproxy镜像版本：haproxy:2.0.22-alpine、haproxy:2.0.25-alpine
问题描述
容器化部署Rabbitmq,mysql,出现OOM内存异常升高导致系统内存无限制打满，以及kubesphere安装部署redis-ha-haproxy时异常（CrashLoopBackOff ,System OOM encountered）无法正常运行。
- mysql
- redis-ha-haproxy
问题原因
与麒麟系统工程师沟通了下，麒麟反馈在麒麟系统v10 SP2版本上，systemd版本已经升级到了243，内存异常容器镜像使用的systemd为240版本，当使用SP2系统版本部署容器化中间件会因为open file数目巨大导致内存占用异常。
问题修复
修改docker或containerd的容器运行时ulimit nofile
-
docker
可以从配置修改daemon.json，或是从systemd服务层面进行修改，建议从systemd服务层面进行修改
-
docker配置修改daemon.json
"default-ulimits": {"nofile": {"Name": "nofile","Hard": 1048576,"Soft": 1048576} } -
systemd服务层面进行修改
vim /lib/systemd/system/docker.service # 将LimitNOFILE=infinity改为LimitNOFILE=1048576 LimitNOFILE=1048576修改完成后进行reload,重启
systemctl daemon-reload systemctl restart docker查看容器ulimit值为设置的1048576则正常
ulimit -n 1048576
-
-
containerd
systemd服务层面进行修改
vim /lib/systemd/system/containerd.service # 将LimitNOFILE=infinity改为LimitNOFILE=1048576 LimitNOFILE=1048576修改完成后进行reload,重启
systemctl daemon-reload systemctl restart containerd查看容器ulimit值为设置的1048576则正常
ulimit -n
1048576
