Аварийное восстановление production-кластера ClickHouse из S3

Контекст

После production-инцидента потребовалось восстановить пятишардовый кластер ClickHouse из бэкапа объёмом более 7 ТиБ.

Восстановление

Выполнил восстановление с помощью clickhouse-backup, бэкапы хранились в Hetzner Object Storage (S3-compatible). Проверил, что кластер восстановлен и работает. По воспоминаниям восстановление заняло примерно 1–1,5 часа.

После инцидента

Перешёл к регулярным weekly full и daily incremental резервным копиям с create_remote в S3.

Результат

Кластер возвращён в работу, backup-процедуры систематизированы.

Компромиссы и оговорки

Причина аварии в доступных данных не сохранилась и здесь не описывается. 1–1,5 часа — воспоминание, а не замер: точка отсчёта и завершённость восстановления всех 7+ ТиБ ещё уточняются. Регулярные тестовые восстановления и рассчитанная точка восстановления не заявляются.

Технологии

• ClickHouse
• clickhouse-backup
• S3
• Hetzner Object Storage
• Linux