Основные кейсы с полным разбором и короткие инженерные заметки.
Архитектура платформы · Ownership инфраструктуры
Jet Games FZ-LLC · 2024–2026
Взял на себя инфраструктуру аналитического направления, заменил ручное управление заданиями на автоматизированную платформу и выстроил её эксплуатационные процессы.
SRE · Reliability engineering
UNICORN LLC · Jet Games FZ-LLC · 2021–2026
Проектировал мониторинг и связывал SLO-алертинг, on-call, incident response и релизные процессы с реальными решениями команд.
Developer platform · Внутренние инструменты
Jet Games FZ-LLC · 2024–2026
Разработал Go-сервис с интерфейсом в Slack, состоянием в PostgreSQL и Proxmox API, чтобы разработчики самостоятельно создавали и управляли dev-окружениями.
Kubernetes · Delivery
UNICORN LLC (ujin.tech) · 2021–2024
Самостоятельно развернул Kubernetes через Kubespray, эксплуатировал кластер с Calico, ingress-nginx и Ceph, поддерживал CI/CD backend и Unity.
Disaster recovery · Эксплуатация
Jet Games FZ-LLC · 2024–2026
Восстановил пятишардовый кластер из бэкапа объёмом более 7 ТиБ и позднее выстроил регулярную схему full/incremental резервного копирования в S3.
Incident response · RCA
Jet Games FZ-LLC · Сентябрь 2026
Локализовал несовместимость HTTP-формата ответа между ClickHouse и JDBC v2, выпустил временный патч Tableau-коннектора до исправления драйвера.
Короткие заметки без отдельной страницы.
Базы и данные · 22.09.2026
Обновил два шарда × две реплики с 25.12.4.35 до 26.8.4.11 LTS по одному узлу (порядок 4 → 2 → 3 → 1), после каждого проверяя реплики, очередь репликации и ingestion. Три узла Keeper не менялись; переход между версиями держали настройки совместимости.
Оговорка: Процедура снижения риска; простой не замерялся.
Базы и данные
MySQL → Debezium → Kafka → ClickHouse с Avro и Schema Registry, собственным Java SMT и переходом с self-hosted Kafka на DigitalOcean Managed Kafka, с мониторингом коннекторов.
Оговорка: errors.tolerance=all держит коннектор в работе, пропуская записи, которые он не смог обработать, — это не гарантия надёжности. ReplacingMergeTree дедуплицирует асинхронно; exactly-once здесь нет.
Инциденты и восстановление
Собственный конвертер Debezium прошёл синтетические тесты, но упал в production: строковые колонки реального binlog MySQL приходили как byte[], а не как ожидаемый String. Вывод: тесты должны проходить реальный путь интеграции и формат данных на проводе, а не только идеальные fixtures.
Оговорка: Это вывод, а не внедрённое изменение процесса.
Базы и данные
Замена NVMe и RAID с восстановлением, бэкапы в S3, диагностика запросов и cron, чьи повторные GRANT блокировали запросы, — заменён на default privileges.
Оговорка: Простой при работах с железом не замерялся.
Базы и данные · 06.08.2026
Перенёс Tableau Server 2024.2 с Debian на Ubuntu 24.04 и Tableau 2025.3.8 через .tsbak; исправил права, public host, ODBC и Ingress; объединил несколько сайтов.
Оговорка: Простой не записывался.
Платформа и инфраструктура
Airflow 2.10.4 и 3.x параллельно, в Docker Compose и Kubernetes, с Celery, образами из GitLab, SSO, алертами в Slack, метриками StatsD → Prometheus и dbt через Cosmos.
Оговорка: HPA масштабирует воркеры в Kubernetes; не все задачи Airflow 3.x работают в Kubernetes.
Платформа и инфраструктура
OIDC для Airflow, OpenMetadata, Lakekeeper и JupyterHub, отдельные учётные данные для связи сервисов и автоматическая выдача и отзыв доступов.
Инциденты и восстановление · 13.08.2026
Заметка о расследовании · не решено
Code 209 SOCKET_TIMEOUT в распределённом запросе; нагрузка указывала на тяжёлое удалённое чтение system.tables и каталоги баз на движке PostgreSQL.
Оговорка: Окончательное решение не подтверждено.
Инциденты и восстановление
Восстановил RAID10 и загрузчик сервера через rescue mode Hetzner; расширил RAID10 под ClickHouse.
Платформа и инфраструктура
Ansible с DataGerry как источником истины inventory, Proxmox с Ceph, self-hosted GitLab с Gitaly и LFS, инструменты доступа на Go.