gos3cmd による S3 アップロードと Assembly の 720%高速化

2017年12月、Tim は社内向けの S3 アップロード最適化である gos3cmd を紹介しました。これは、AWS CLI の呼び出しを、AWS SDK for Go を使った小さなプログラムに置き換えるものでした。呼び出し元のコードで使っていたコマンド引数を維持しながら、プロセス起動のオーバーヘッドを削減することが目的でした。Transloadit のインフラの実装上の詳細であり、顧客向けの新しいアップロード用 CLI ではありませんでした。
元の記事では、2017年8月以降に加えた複数の変更により、性能が 720%向上したと報告していました。添付のグラフは、2017年11月20日から12月7日までの US-East-1 テスト用 Assembly の所要時間を示しています。ただし、8月との比較を裏付けるものではありません。記事には 8月時点の基準値、ワークロード、測定方法、gos3cmd 単独の寄与が記録されていないためです。報告された性能向上は過去の結果であり、第三者が再現できるベンチマークでも、現在の S3 アップロードや Assembly 処理についての約束でもありません。
Tim はまた、コードをプッシュする前に、特にメタデータ処理を対象とした Go のテストを追加する計画にも触れていました。ここにはインストールコマンドや公開リリースの記載はありません。既存の AWS CLI 環境を置き換える手順として、この記事を使用しないでください。
現在の Transloadit へのコマンドラインアクセスについては、更新版の Transloadify チュートリアルを参照してください。このチュートリアルでは、公式 Node.js SDK の CLIを使用しています。この CLI は Assembly を作成するもので、ここで説明した社内向けの gos3cmd による最適化とは別のものです。
実際のワークロードで性能を評価する際は、アップロード時間と、処理待ちや結果のエクスポートにかかる時間を分けて測定してください。各実行で、ファイルサイズ、ネットワーク上の場所、同時実行数、処理設定を統一してください。この歴史的な記録には、これらの測定に使える現在の所要時間は掲載されていません。
