У Roblox пояснили, чому сервіс не працював протягом 73 годин

28 жовтня 2021 року на платформі Roblox стався збій, який тривав 73 години. Повністю проблему вдалось усунути лише 31 жовтня. Зараз компанія детально розповіла у своєму блозі, що сталося і як розвивалися події.

Що спричинило збій Roblox

Основних причин було дві. Насамперед відносно нова функція потокової передачі у Consul працювала з дуже високим навантаженням і це погано вплинуло на швидкодію. До того ж через інтенсивне навантаження виникли проблеми із продуктивністю у BoltDB. Ця система з відкритим кодом використовується у Consul для керування write-ahead-логами. Вплив посилило те, що один кластер Consul підтримував кілька робочих навантажень.

Обидві проблеми були сховані глибоко в реалізації Consul, тож знайти їх вдалось не одразу. До того ж системи критичного моніторингу, які могли б виявити причини збою раніше, і самі покладалися на уражені компоненти.

Roblox пишуть, що відновлювали роботу платформи дуже обережно, тому на це теж знадобився час. Тепер моніторинг проблем посилили, прискорили процес завантаження та видалили кругові залежності у системах моніторингу. Зараз команда працює над проблемами в Consul, які стали першопричиною збою.

Нагадаємо, у листопаді Roblox обійшла Activision Blizzard і стала найдорожчою ігровою компанією у США.

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини