12月6日の障害への対応:実施した対策と今後の取り組み
12月6日、最も恐れていた事態が起きました。13:23 にプラットフォームの処理能力に問題があることを検知しました。まもなく重大な問題と判明し、多くの用途でサービスを利用できない状態になりました。このような事態を招いたことを深くお詫び申し上げます。お客様に提供するサービスにとって、稼働率と信頼性は不可欠です。そのため、こうした障害の発生を可能な限り減らせるよう、日々取り組んでいます。

お詫びだけでなく、できる限り迅速に問題を解決するために実際に何をしたのか、その舞台裏もお伝えしたいと考えています。
以下、発生した事象を詳しく振り返ります。
発生から復旧までの経緯
13:12 - VPC ベースのインフラへの移行準備をデプロイしました。これには、リージョンごとに作成中の新しい VPC 固有の設定を保持する、新たな環境変数が含まれていました。サブネット、セキュリティグループ、マシンの追加先となるロードバランサーなどの設定です。また、マシンの起動、有効化、削除を管理するために Go で開発したツール、GoInstance への変更も含まれていました。今回の変更は VPC への移行そのものではなく、既存の非 VPC 構成との後方互換性を維持しながら、その基盤を整えるものでした。VPC に移行すると、セキュリティを向上させ、低コストで高性能なインスタンスタイプなど、AWS の VPC 専用機能を活用できます。変更はローカルと CI の両方で十分にテストしましたが、本番環境の環境変数が開発環境やステージング環境と異なるため、不整合を見逃してしまいました。
13:23 - アップローダーのインスタンス数が必要な数を下回っていることを示す、最初の呼び出し通知を受けました。新しい環境設定を読み込むには新しいプロセスが必要です。ブルーグリーンデプロイで稼働中のすべてのプロセスを置き換えるまでに時間がかかったため、しばらく問題を検知できませんでした。
13:26 - Emergency Response Team(ERT、緊急対応チーム)が対応を開始しました。
13:32 - 環境変数の不備(AMI-IDs とセキュリティグループ名の不整合)により、新しいマシンを起動できないことが判明しました。GoInstance が、存在しない値を参照しているケースがありました。
13:39 - 古いマシンが入れ替えのために削除されたり、到達不能になったりした結果、各リージョンで稼働するマシンは 1 台になりました。オートスケーラーは、その最後のマシンの削除を拒否していました。
13:40 - ERT が不整合を修正し、ビルドを開始しました。
13:45 - Twitter とステータスページを更新しました。
13:49 - ビルドをデプロイしました。
13:51 - GoInstance のビルド方法に別のバグがあり、変更が本番環境に反映されていなかったことが判明しました。
13:55 - 原因がつかめない中、チームは問題のあるビルドを完全にロールバックしようとしました。
14:01 - 同じバグにより、ロールバックでも変更は反映されませんでした。後に判明したことですが、さらに古い時点までロールバックしていれば成功していたはずでした。数か月前にスタックを Nix に移行した際、GoInstance の変更がスタックのほかの部分の変更と一緒に含まれている場合にしか GoInstance が再ビルドされないバグを持ち込んでいました。そのため、GoInstance を修正しようとしても、変更が取り込まれず、本番環境にデプロイされませんでした。ERT がこの原因を突き止めるまでに時間を要しました。
14:08 - ERT が Nix 構成の上記の問題を修正し、再び変更を反映できるようになりました。再度ビルドを開始し、デプロイしました。
14:17 - EU と US の両方で、マシン群が必要な処理能力を回復しました。最近スタックに追加した大きな構成要素がまだ AMI に含まれておらず、マシンの起動に通常より時間がかかっていました。
14:34 - すべてのサービスの復旧を確認し、関連するお客様とのやり取りをすべて完了しました。Twitter とステータスページも更新しました。
どのような対策を実施したか?
-
すべてのリージョンとマシンタイプ向けに新しい AMI を作成し、マシンの起動時間を再び約三分に短縮
-
GoInstance の変更が必ずビルドに反映されるよう、Nix 構成のバグを修正
-
環境設定の不整合を修正
これらの対策により、すべてが再び正常に稼働するようになりました。ただし、今後このような事態を二度と起こさないためには、追加の対策が必要だと認識しています。
今後どのような対策を実施するか?
デプロイの一環として、オートスケーラーでマシンを起動しています。本来、この処理によって、影響が出る前にデプロイが停止するはずでした。しかし残念ながら、別の問題により、この事前テストは現在デプロイ中の環境ではなく、以前の環境で実行されていたことが判明しました。今後はこのテストが確実に機能し、同様の問題を検知できるように修正します。
自動テストスイートのほかの部分でも、環境設定の不備を検知できた可能性があります。しかし、ステージング環境と本番環境が異なるため、この不備はテストの対象になっていませんでした。現在、両環境をより近づけられるかどうかを調査しています。
お詫び
このたびはご迷惑をおかけし、重ねてお詫び申し上げます。この振り返りを通じて、障害の具体的な原因と、再発防止に向けた取り組みを少しでも明らかにできていれば幸いです。今回の障害の影響を受けた場合は、サポートチームまでご連絡ください。適切に対応できるよう努めます。
