Нещодавній збій у роботі Amazon Web Services вивів з ладу значну частину інтернету. І хоча розподілена архітектура хмарних сервісів мала б захищати від подібних збоїв, цього разу щось пішло зовсім не так. І, як з'ясувалося, винен DNS (система доменних імен).
Проблема почалася в ніч на 20 жовтня і тривала близько трьох годин, але наслідки відчувалися ще довго.
Як написав Amazon у технічному звіті, причиною збою виявилася зламана DNS-конфігурація бази даних DynamoDB, яку помилково опублікували в Route53 - системі DNS-сервісів Amazon.
Через це перестали працювати залежні сервіси, серед яких EC2 (віртуальні машини) і Network Load Balancer, що забезпечує розподіл навантаження. DynamoDB обслуговує величезну кількість сайтів, тому її падіння спричинило мільйони ресурсів.
Технічна причина збою - так званий "race condition", коли дві системні події виконуються одночасно і по черзі скасовують дії одна одної. У цьому випадку один процес DNS-оновлення ще не встиг завершити "старий план", коли інший уже застосував новий, а потім - автоматично видалив старі записи. У результаті вся таблиця DNS для DynamoDB спорожніла, і сервіс довелося відновлювати вручну.
Поки інженери виправляли ситуацію, EC2 не міг запускати нові інстанси, що викликало величезну чергу запитів. Їх довелося обмежувати, щоб не перевантажити систему, тому багато сайтів залишалися офлайн ще годинами. Далі почав плисти і Load Balancer, через розсинхронізацію даних він вважав здорові вузли "мертвими" і видаляв їх із DNS, тільки щоб пізніше знову додавати.
Після аварії Amazon тимчасово зупинив системи DNS Planner і DNS Enactor для DynamoDB, щоб виправити умови, які призвели до race condition. Компанія також анонсувала нові механізми тестування для EC2 і контрольні обмеження для Load Balancer, щоб подібне не повторилося.
Раніше ми розповідали, що засновник Amazon Джефф Безос зробив непередбачуваний прогноз про майбутнє людства. Мільярдер закликає не панікувати через роль штучного інтелекту.
