パフォーマンス向上のための新しい Rate Limiter の導入
Transloadit では、お客様の利用をできる限り制限しないことを目指しています。そのため、これまでは Assembly の作成リクエスト数を 1 分あたり 250 に制限する 1 つの Rate Limiter のみを導入してきました。これは長年にわたって十分に機能しており、実際に制限していたのは主にシステムの悪用だけでした。1 分あたり 250 件の新規 Assembly はかなり多い数です。
しかし、最近の利用パターンからは、この制限だけでは常にすべてのお客様に対して高いパフォーマンスを持つシステムを保証できないことが分かってきました。通常は 1 分あたり 250 件の新規 Assembly という上限に十分余裕を持って収まっていますが、それぞれの Assembly の規模が非常に大きい場合があります。さらに、それらの Assembly が実行されると、数分間、まれには数時間にわたって当社サーバー上にとどまります。その結果、サーバー負荷の増大、Assembly のキュー滞留、エンコードジョブのキュー滞留、そして通常どおり利用しているほかのお客様の待ち時間増加が発生していました。ここでは対応が必要でした。
そこで本日、同時実行中の Assembly を 250 に制限する 新しい Rate Limiter を導入します。率直に言うと、この Rate Limiter 自体は、実際には過去 6 週間すでに本番環境で稼働していました。この期間中、どの利用者が、どのような具体的状況で影響を受けるのかを綿密に監視してきました。この慎重な分析の結果、250 はすべてのお客様にとって適切なデフォルト値であると判断しました。この上限に定期的に近づいていたお客様のアカウントには、すでにより高い上限を適用しています。これにより、今回の変更によって Transloadit の利用に悪影響が生じることはないはずです。それどころか、ほかのお客様が当社サーバーに不釣り合いな負荷をかけてリソースを使い切ることがなくなり、皆様により高いパフォーマンスのシステムを利用していただけるようになります。
あわせて、Node SDK と Ruby SDK にも Rate Limiter のサポートを追加しました。これらの SDK は、レート制限されたリクエストに対して自動再試行を実装しています。ほかの SDK もまもなく対応予定です。バックエンドのバッチジョブで定期的にレート制限に達する場合は、これらの SDK のいずれかを利用することをおすすめします。一方で、ユーザーのアップロード量が多いためにレート制限に達している場合、それはもちろん通常の利用ですので、その場合は喜んでアカウントの上限を引き上げます。
