Коллеги,
В сети ЛВК произошел сбой в связи с чем работоспособность сервисов
сильно ограничена.
В субботу 25 января проводились плановые работы по обновлению ПО на
серверах виртуализации. В процессе обновления все виртуальные машины
были переведены на сервер vedi, который в последнее время практически
не использовался.
На момент утра 26 января была сделана полная копия ФС с домашними
каталогами пользователей и их почтой.
Утром 27 января на рабочей ФС с данными пользователей произошел сбой с
нарушением консистентности данный. ФС была восстановлена при помощи
fsck. Так как была достаточно обоснованная гипотеза, что сбой произошел
из-за программных проблем, было обновлено ПО на виртуальной машине,
обслуживающей данные пользователей и работа была продолжена.
28 января одновременно были обнаружены нарушения в работе уже
нескольких виртуальных машин в том числе с разрушением ФС.
Наиболее вероятной причиной сбоя является аппаратная неисправность
сервера vedi (вероятно битая память, с которой не справился ECC).
К сожалению, так как в тот момент на vedi работала большая часть
виртуальных машин, сбой затронул значительную часть инфраструктуры.
Сейчас ведутся работы по восстановлению работы сети. На данный момент
еще _не_ восстановлены desktopvm, NFS, samba, vpn, web и проектные
виртуальные машины.
Домашние каталоги пользователей и почтовые ящики восстановлены по
состоянию на утро воскресенья 26 января.
Файлы, созданные в интервал с 26го по 28е можно будет восстановить по
явному запросу в течении недели. Если получится, то письма за этот
период я восстановлю для всех пользователей автоматически.
Работа всех оставшихся служб будет восстановлена в ближайшие дни.
--
Удачного всем отдыха.
