Продолжительное глобальное отключение FacebookПо словам двух людей, знакомых с ситуацией, приложения заставили инженеров компании изо всех сил пытаться решить проблему в одном из ее центров обработки данных в Калифорнии.
Отключение, начавшееся около 11:40 по восточному времени в понедельник, привело к отключению всех Facebookприложения, в том числе Instagram и WhatsApp – во всем мире, затрагивая миллиарды пользователей и миллионы рекламодателей. Внутри Facebook, отключение также нарушило почти все внутренние системы, которые сотрудники используют для общения и работы. По состоянию на 18:00 по восточному времени, похоже, что большинство сервисов снова в сети.
Несколько сотрудников рассказали Грани они прибегали к разговору через свои служебные учетные записи электронной почты Outlook, так как Facebook в основном работает во внутренней версии социальной сети, которая в настоящее время недоступна. Хотя сотрудники могли отправлять друг другу электронные письма, они не могли отправлять или получать электронные письма с внешних адресов.
С Facebook требует, чтобы сотрудники входили в свои рабочие учетные записи для доступа к таким инструментам, как Google Docs и Zoom, эти службы также не работали, что вынудило некоторых сотрудников использовать альтернативные службы, такие как AppleFaceTime и Discord. Сотрудники, которые уже прошли аутентификацию с не-Facebook такие инструменты, как Google Docs, до начала сбоя все еще имели доступ.
Facebook инженеры были отправлены в один из основных центров обработки данных в США в Калифорнии для восстановления обслуживания, а это означало, что исправление не могло быть выполнено удаленно. Еще больше усложнило ситуацию то, что отключение питания временно лишило некоторых сотрудников возможности доступа к зданиям компании и конференц-залам со своими пропусками. Нью-Йорк Таймс, который первым сообщил, что инженеры были отправлены в центр обработки данных.
В электронном письме сотрудникам, отправленном вскоре после восстановления обслуживания, технический директор Майк Шрепфер сказал, что проблема «затрагивает нашу сетевую магистраль, которая соединяет все наши центры обработки данных вместе».. »
«Если вы активно не работаете над восстановлением, наберитесь терпения и не спешите перезагружать все, чтобы не замедлить работу» сети, – предупредил он в записке, которую увидел Грань.
Facebook не предоставил подробного объяснения сбоя, хотя сторонние эксперты говорят, что это произошло из-за проблемы с сетевой технологией BGP или протоколом пограничного шлюза.
Поздний понедельник, FacebookВице-президент по инфраструктуре Сантош Джанардхан опубликовал сообщение в корпоративном блоге, в котором говорится, что сбой произошел в результате «неправильного изменения конфигурации», добавив, что у компании «нет доказательств того, что данные пользователей были скомпрометированы в результате этого простоя».
«Наши инженерные группы узнали, что изменения конфигурации магистральных маршрутизаторов, которые координируют сетевой трафик между нашими центрами обработки данных, вызвали проблемы, которые прервали эту связь», – написал Джанардхан. «Это нарушение сетевого трафика оказало каскадное влияние на способы связи наших центров обработки данных, в результате чего наши услуги были остановлены».
Обновление 4 октября, 18:33 по восточному времени: Отметил, что отключение заканчивается как Facebook и другие его сервисы возвращаются в онлайн.
Обновление 4 октября, 20:05 по восточному времени: Добавлена дополнительная информация о сбое, которой поделились с Facebook сотрудники.
Обновление 4 октября, 21:06 по восточному времени: Добавлен подтвержденный отчет о том, что для доступа к серверным клеткам использовалась угловая шлифовальная машина.
Исправление 4 октября, 21:25 по восточному времени: Предыдущая версия этой истории включала подтвержденный отчет о том, что Facebook использовал угловую шлифовальную машину для доступа к серверным шкафам. Репортер отозвал подтверждение и мы удалили претензию из этой истории.
Обновление 4 октября, 22:29 по восточному времени: Добавлены подробности из Facebook по поводу отключения.
