Transloadit における S3 PUT リクエストの不整合への対処
Amazon S3 は素晴らしいサービスです。そうでないときもありますが。大量に使っていると、妙な挙動が見えてきます。私たちはこれまでにお客様のオブジェクトを約百万件保存してきましたが、その挙動は「結果整合性」というより「結果的な混乱」と呼びたくなるものです。
すぐにわかったことの一つは、S3 のエラーコードは信用できないということです。403 Permission Denied が返ってきても、まったく同じリクエストを再実行すると、突然、何事もなかったかのように成功することがあります。そのため、エラーメッセージを受け取ったら、通常は再試行する必要があります。同じエラーが何度か発生して初めて、真剣に受け止めるべきなのです。現在はタイムアウトを徐々に延ばしながら、最大 6 回再試行しています。
最近遭遇したのは、S3 の PUT リクエストに対する成功応答も信用できないという問題です。お客様に返した S3 URL の一部が、単に機能しないという症状でした。この問題の再現には非常に苦労しました。あるときは約 25 回の PUT で問題が起きたのに、別のときは 2500 回の PUT(合計 10 GB)でも何も起きませんでした。私たちのシステムのどこかにバグがある可能性もわずかに残っていますが、現時点では、Amazon 側でまれに発生する問題だとかなり確信しています。
ここから話がややこしくなります。「いずれ」が「永遠に来ない」こともある結果整合性のシステムで、書き込みの成功をどう検証すればよいのでしょうか。もちろん、書き込みのたびにバケットを調べて、オブジェクトが存在するか確認できます。しかし、存在しなかったらどうでしょうか。どの時点でエラーと判断すべきなのでしょうか。さらに、オブジェクトが存在した場合、それは何を意味するのでしょうか。少なくとも一つのクライアントからそのオブジェクトが見えるとは考えられますが、複製が完了し、すべてのクライアントからアクセスできるとは限りません。
完璧な答えはありませんが、保存したファイルの存在を二分間にわたって最大十一回確認することにしました。その時点でファイルが存在しなければ、ジョブを最大六回再試行します。理想にはほど遠いものの、これで無効な S3 URL をお客様に渡してしまう確率を、宝くじでそこそこの賞金が当たるのと同じくらいまで下げられるのではないかと考えています。
もう一つ興味深かったのは、S3 の整合性モデルがすべてのリージョンで同じではないという点です。「US Default」では従来の「結果整合性」モデルを採用していますが、その他のリージョンではすべて「書き込み後の読み取り」整合性を提供しています。利用者にとっては非常に紛らわしい違いですが、「US Default」は東海岸から西海岸まで広がっているため、光の速度が制約となり、同じ保証を提供できないようです。
現在、S3 の利用経験について、より詳しいデータを収集しており、今後共有する予定です。ほとんどの場合、S3 は私たちにとって間違いなく優れた働きをしています。もし私たちの使い方が間違っていたとわかれば、その点についても続報をお伝えします。
