公式 S3 CLI への切り替えでファイルエクスポートを強化
2009 年の開始以来、Amazon S3 はファイルエクスポートの主要な手段でした。当時、見つけられた Amazon 向け CLI ツールの中で最良だったのは、Tim Kay 氏の aws ユーティリティーでした。これは依存関係が少なく、機能も充実しており、AWS まわりの重い処理の多くを担えるツールキットでした。
このツールは 5 年にわたって十分に役立ち、これを使ってほぼ 1 ペタバイトのファイルをエクスポートしてきました。しかし、Amazon の進化に伴って要件も変わります。たとえば、Amazon のフランクフルトおよび中国のデータセンターでは、signature version 2 はサポートされていません。Tim Kay 氏はこうした変更への追随に尽力してきましたが、このプロジェクトは空き時間に無償で運営されているため、Amazon が発表するたびに即座に更新をリリースできると期待することはできません。さらに、Amazon は現在公式 CLI ツールを提供しているため、先週これへの切り替えを決めました。
この種の心臓手術のような切り替えでは、破壊的変更を避けるために多くのテストを用意しています。しかし残念ながら、一部のユースケースはカバーできておらず、S3 エンジンの切り替えは多少荒れた移行になってしまいました。
たとえば、US 以外のバケットを使っていて、region を明示的に指定していない場合、バケットに対して GetBucketLocation リクエストを実行し、こちらでエクスポート(またはインポート)を再試行する必要がありました。ここまでは問題ありません。ただし、Puts と Lists のみを実行できる専用の Transloadit IAM user を設定していた場合(これは推奨している構成です)、この権限もリージョンのリルートも利用できなかったため、エクスポート全体が失敗していました。
こうした失敗を防ぐため、現在は本番環境に非効率な回避策を入れています。また、ドキュメントも更新し、GetBucketLocation 権限が必要であることを反映しました。この権限を Transloadit IAM user に付与することを推奨します。
お客様からはほかにもいくつかの問題報告がありました。原因は、基盤となるツール間の微妙な違いと、新しいツールにあると考えている utf-8 のバグです。
2015 年 2 月 7 日更新 このバグは確認されました。回避策として、現在は非 ASCII 文字を
Unicode エスケープシーケンスにエスケープしています。そのため、Renan Gonçalves は Renan Gon\u00E7alves として読み取られます。必要に応じて、そちら側でアンエスケープするとよいでしょう。
この期間中もエクスポートの 99% 超は継続して動作していましたが、より多くの特殊なケースをカバーする追加テストを書けていなかったことを、深くお詫びします。
今後の対応
これらすべての問題に対する修正と回避策は、現在すでに本番環境に反映されています。また、今後のアップグレードやスタック変更で回帰が起きないよう、リージョンのリルートやその他の特殊なケースをカバーするシステムテストも追加しました。
さらに、一時ストレージの 24h 制限も一時停止しました。影響を受けた Assemblyは、その制限を超えても引き続きリプレイできます。影響を受けたお客様が対応する時間を確保できるよう、自動削除は 7 日後に再度有効化します。
大きな影響を受けたお客様には、今月の請求に対して大幅な割引を適用しています。すでにこちらからご連絡しているはずですが、もし届いていなければぜひお知らせください。
ご迷惑をおかけしたことをお詫びします。今後は本番環境で公式の S3 ツールを運用することを楽しみにしています。これから先、新しい S3 機能やデータセンターへ安全に移行できるアップグレードパスを確保していけることを願っています。
