Почему на нодах Kubernetes отключают swap?

В Kubernetes отключение swap на рабочих/мастер-нодах является рекомендацией, а в некоторых случаях и обязательным требованием.

Основные причины:

• Непредсказуемое поведение при нехватке памяти: Когда на ноде с включенным swap заканчивается физическая память, операционная система начинает активно использовать swap-файл/раздел. Это приводит к сильному замедлению работы процессов, включая системные компоненты Kubernetes (kubelet, kube-proxy) и сами контейнеры. kubelet может некорректно оценивать доступность ресурсов для подов, что может привести к их "убийству" (OOMKilled) из-за ложных сигналов нехватки памяти или, наоборот, к зависанию процессов вместо их перезапуска.

• Сложность управления ресурсами: Kubernetes эффективно управляет ресурсами (CPU, память) на уровне подов и контейнеров с помощью cgroups. Использование swap вносит дополнительный слой абстракции и усложняет работу cgroups и kubelet по отслеживанию и ограничению потребления памяти подами. kubelet труднее определить реальное потребление памяти подами, если часть данных выгружается в swap.

• Снижение производительности: Swap находится на диске (HDD/SSD), доступ к которому значительно медленнее, чем к оперативной памяти. Активное использование swap многократно снижает производительность приложений и компонентов кластера. Это может вызвать таймауты, ошибки и нестабильность работы всего кластера.

• Необходимость детерминированного поведения: Для стабильной работы кластера и предсказуемого поведения приложений важно, чтобы система реагировала на нехватку памяти детерминировано. Отключение swap гарантирует, что при исчерпании оперативной памяти сработают механизмы OOMKiller, которые завершат наименее приоритетные процессы (поды), освободив ресурсы для более критичных. С включенным swap поведение становится менее предсказуемым.

• Рекомендации сообщества и документации: Официальная документация Kubernetes и лучшие практики сообщества настоятельно рекомендуют отключать swap на нодах, где планируется запускать рабочую нагрузку Kubernetes. Это считается стандартной практикой для поддержания стабильности и производительности кластера.

# Пример команды для отключения swap
sudo swapoff -a

# Пример удаления записи о swap из /etc/fstab, чтобы отключение сохранилось после перезагрузки
# Найдите строку, содержащую 'swap' или путь к вашему swap-устройству/файлу
# Закомментируйте или удалите строку
sudo vi /etc/fstab