Bare-metal Kubernetes и CI/CD для разнородных сервисов

Контекст

Java, Node.js, PHP, Python и Go-сервисам были нужны dev/test/prod-окружения, а Unity — сборки iOS и Android.

Реализация

Самостоятельно развернул bare-metal Kubernetes примерно на 10 узлах через Kubespray с Calico, ingress-nginx и Ceph для постоянного хранения. Выполнял поузловые обновления через Ansible и сопровождал эксплуатацию. Администрировал существующий GKE. Вместе с разработкой исправлял некорректные probes/HPA и адаптировал приложения к работе в Kubernetes. Использовал Kafka operators, писал Helm-чарты. Настроил GitLab CI/Runners, Jenkins, TeamCity, включая Unity-пайплайны для мобильных приложений.

Результат

Поддерживаемая инфраструктура оркестрации и поставки приложений с понятным механизмом обновления и диагностики.

Компромиссы и оговорки

GKE-кластеры уже существовали — там было администрирование, а не построение с нуля. Частота релизов и доступность не замерялись.

Технологии

• Kubespray
• Calico
• Ceph
• GitLab CI
• ingress-nginx
• Helm
• Ansible
• Jenkins
• TeamCity
• GKE
• Unity