Пятница, 13-е, 23:20
- портится небольшая таблица на одном из MySQL-серверов, из-за чего останавливается процесс репликации (синхронизация серверов); автоматическое восстановление таблицы не удалось, а ручное было невозможно — техперсонал Дайри.ру уже спал крепким сном.
Суббота, 14-е, 09:00
- админам стало известно о проблеме; отремонтировали поломанную таблицу, запустили восстановление синхронизации серверов (отставание более 10 часов).
Суббота, 14-е, 13:00
- во время восстановления синхронизации рушится самая большая таблица, но уже на другом MySQL-сервере базы данных. Запустили ремонт таблицы, который занимает длительное время (12-15 часов).
Суббота, 14-е, 23:00
- процесс восстановления виснет по непонятной причине, приходится запускать его заново — это опять от 12 до 15 часов.
Воскресенье, 15-е, 8:00
- большая таблица отремонтирована, синхронизация вновь запущена.
Воскресенье, 15-е, 10:00
- во время синхронизации эта же громадная таблица рушится, но уже на двух других MySQL-серверах БД.
Мы приняли решение остановить работу сайта, чтобы в отсутствие пользователей восстановить базу данных надежно и без сбоев.
Воскресенье, 15-е, 18:00
- работа сайта восстановлена.
Будущее
В течение ближайших 3 часов сайт будет работать на одном SQL-сервере, в это же время будет идти копирование базы данных, а потом еще примерно 1 час — синхронизация. Эти процессы, а также опустошенный кэш, будут немного тормозить работу сайта. К позднему вечеру все должно нормализоваться.
- - -
Долги платникам вернем, но не сегодня, а завтра, когда работа сайта стабилизируется:
- срок оплаты услуг владельцам платных аккаунтов будет продлен минимум на 3 суток (если больше ничего плохого не произойдет);
- те дневники, которые были подняты по СМС за прошедшие 2 суток, мы поднимем повторно на то же количество СМС.
- - -
К сожалению, мы не можем гарантировать, что ни у кого не пропало ничего из обновлений последних двух суток. Во время одного из сбоев могли пропасть добавленные за какой-то небольшой период записи, комментарии, письма ю-мейл, настройки, картинки. Но нам неизвестно, у кого и что, иначе бы мы ему пропасть не дали. Просить нас восстановить пропавшее бесполезно, у нас его просто нет.
Может оказаться и так, что все осталось в сохранности.
Приносим всем пользователям сайта искренние извинения за неудобства.