tus の本番運用
2013 年、誰もが使うファイルアップロードを改善し、世界を少しだけよくしようと取り組み始めました。そのために開発したのが、信頼性の高いファイルアップロードのためのオープンなプロトコル、tus です。長い道のりには多くの挫折と節目がありましたが、今日、Transloadit の API が tus に完全対応したことを祝えるようになりました。すべての SDK を tus に対応させる作業も、すでに順調に進んでいます。この堅牢なコンテンツ取り込み機能をすべてのお客様に提供できることを、とてもうれしく思います。
世界中の誰もが、高速で安定したインターネットを使えるわけではありません。先進国であっても、電車での移動中や地下室に降りたとき、地方に住んでいる場合など、接続の悪さに悩まされることはよくあります。不安定な Wi-Fi も、よくあるトラブルの原因です。アプリのユーザーが 100 MB の動画をアップロードしていて、90 MB まで送ったところで接続が切れたら、最初からやり直す気になれないほど、いら立つのも無理はありません。
接続品質が悪いと、アプリの印象まで悪くなってしまいます。本来は通信事業者や Wi-Fi の干渉源に向けられるはずの不満が、アプリの開発者に向けられることもあります。
ネットワーク接続の信頼性が変わらない一方で、高性能なカメラの登場によってファイルサイズは大幅に増えており、この問題は日々深刻になっています。
よくある問題への解決策

tus があれば、この問題は過去のものになります。ネットワーク接続の悪さは直せなくても、アップロードを中断したまさにその位置から自動で再開することは実現できます。順調に進めば、エンドユーザーは中断に気づきさえしないでしょう。ウェブサイトやアプリが残りのバイトをすぐにアップロードするため、ユーザーの作業を妨げません。
再開可能なファイルアップロード自体は以前から実現できましたが、そのためのオープンな標準はありませんでした。その結果、互換性がなく、かろうじて動くだけの、一週間で作ったようなプロジェクトが千も生まれました。ファイルアップロードの信頼性を何とかしようと決めたとき、私たちはその一つにはなりたくありませんでした。新しいプロトコルの設計が簡単ではないことはわかっていましたが、それこそが進むべき唯一の道だと考え、取り組み始めました。
開発の道のりでの苦闘
このプロトコルに情熱を注ぎ、懸命に取り組みました。壁にぶつかり、意気消沈し、ときには作業を完全に止めたことさえありました。それでも、そのたびに立て直し、新しい方法を試しました。特に Marius は、苦境から抜け出すうえで大きく貢献してくれました。プロジェクトリーダーとして、Vimeo、Google、Yahoo、ZeroMQ、Node.js のエンジニアからのフィードバックを取りまとめ、何を取り入れ、何を見送るか、その大部分を判断しました。
こうした苦労を重ねた末、ようやく tus 1.0 のリリースを迎えられたときは、心からほっとしました。すぐにコミュニティへの参加が増え、好きなプログラミング言語で tus を実装する人も増えました。v1.0 によって、自分のコンポーネントが今後何年にもわたり、ほかの tus コンポーネントと確実に連携すると信頼できるようになったのです。コミュニティによる優れた実装は、その後、公式サポート対象となり、共通の拠点である https://github.com/tus/ でホストされています。今ではどの開発者も、これらのライブラリをアプリに組み込むだけで、転送速度と信頼性を高められます。
tus コミュニティが成長していく姿を見るのは、本当にうれしいことでした。たとえば、Vimeo による tus の採用も、プロジェクトにとって大きな成果でした。アイデアでもコードへの貢献でも、Vimeo からは実に力強い支援を受けてきました。
そして今日、私たち自身の API にも、tus の再開可能なファイルアップロード機能を搭載できました。実際にはソフトローンチを選び、可能なところから徐々に tus への移行を進めてきました。数か月が過ぎ、半ペタバイト(写真にして 500 百万枚)を扱った今、世界中のエンドユーザーが、意識することなく tus による信頼性の高いファイルアップロードを利用しています。「ただ動く」のです。どれほど大きな猫の動画をアップロードしていても、地下室に降りたくらいでは失敗しません。それこそがあるべき姿です。ユーザーが意識してしまうなら、私たちの失敗です。
クライアント側の対応
すでに Transloadit をご利用の場合、ソフトウェアから API を直接呼び出すのではなく、SDK をお使いのことが多いでしょう。SDK なら、私たちのベストプラクティスをすぐに活用でき、使用するプログラミング言語で定型コードを書く手間も省けます。うれしいことに、多くの SDK が tus に対応しています。次の一覧は自動更新されるので、いつでも確認してください。
| プラットフォーム | SDK | tus 対応 |
|---|---|---|
| Android | Android SDK | はい |
| ブラウザー | ブラウザー | はい |
| Convex | Convex | はい |
| cURL | cURL | いいえ |
| Go | Go SDK | いいえ |
| Java | Java SDK | はい |
| エージェント | MCP Server | はい |
| レガシーブラウザー | マルチパートフォーム | いいえ |
| Node.js | Node.js SDK | はい |
| PHP | PHP SDK | いいえ |
| React | Next.js 向け Viewer | 該当なし |
| Python | Python SDK | はい |
| Ruby | Ruby SDK | いいえ |
| Terraform | Terraform | 該当なし |
| iOS & macOS | TransloaditKit | はい |
| Zapier | Zapier 連携 | はい |
すでに tus に対応した SDK をお使いなら、最新のメジャーバージョンにアップグレードするだけで、再開可能なファイルアップロードがデフォルトで有効になります。ほかの SDK についても、すべてで tus を使えるよう順次対応を進めていますので、続報をお待ちください。tus への参加や SDK の改善に関心のある開発者の方は、ぜひお問い合わせください。改善のアイデアをお聞きできればうれしく思います。
クライアント側、特にブラウザー側については、Uppy チームによる着実な信頼性向上の取り組みにも触れておきたいと思います。tus への完全対応に加え、ブラウザーのクラッシュ後にファイルアップロードを再開できるプラグインも開発しました。どちらも業界初の取り組みであることを誇りに思います。

内部の仕組み 🔩
このセクションでは、現在のデプロイ構成ではなく、公開時の 2017 年のインフラを説明します。上の SDK 一覧は、現在のドキュメントを反映しています。
作業の大部分は、プロトコルそのものと、コミュニティと協力して実装を練り上げることに費やしました。それらが十分に整えば、既存のエンコード・アップロードサービスに tus を組み込むのは比較的簡単でした。
アップロードを処理するすべてのマシンで、既存の受信ソフトウェアと並行して、標準の tusd サーバーを動かしています。HAProxy が、/resumable/* 宛てのリクエストを、それらのマシン上で動作する tusd インスタンスに振り分けます。
tus 対応の SDK は、通常どおり Assembly を作成します。ただし、すぐにアップロードするのではなく、Assembly がアップロードを受け付ける tus の /resumable/ エンドポイントを返します。この tus エンドポイントへのアップロード時に、SDK は
Assembly 固有の場所をメタデータとして付加します。アップロードが完了するたびに tusd のフックが発火し、このメタデータを解釈して
Assembly を見つけ、アップロードの完了を通知します。これにより、ほかのアップロードがまだ進行中でも、そのファイルのエンコードを開始できます。SDK は予定されるアップロード数も伝えるため、Assembly はすべての処理が終わったことを把握し、エンコード結果を通知するタイミングを判断できます。
安定した運用のために、使い慣れた Upstart を活用しています。Upstart の使い方は、2009 年当時の方法とあまり変わりません。tusd が公開する /metrics エンドポイントも活用しています。このエンドポイントには、負荷の増減に応じて EC2 インスタンスを起動・終了するために、オートスケーラーが使用する数値が含まれています。これらのメトリクスは
Librato にも送り、プロセスの健全性を細かく監視し、問題があれば通知を受け取れるようにしています。

インフラのかなりの部分を Kubernetes に移す計画があるため、tusd の /metrics エンドポイントが、Kubernetes で定番の監視ツールである
Prometheus にすでに対応しているのは心強いことです。最先端のコンテンツ取り込みネットワークを Kubernetes や、同様に Docker に対応したプラットフォーム(Nomad、Swarm、Mesos など)にデプロイしたい方に役立つ取り組みとして、公式の _/tusd Docker イメージの公開準備も進めています。コンテンツ配信・取り込みネットワークを運用するための
Kubernetes Operatorが、tus と Uppy に続く、相互に補完し合う三つ目の大きなオープンソースプロジェクトになるかどうかも検討しています。この件について意見交換をご希望でしたら、お問い合わせください。
tus サーバーを自分で動かしたいものの、コンテナや専用サーバーの運用は避けたい場合にも、Node.js、Ruby、PHP、Python など、既存のウェブサーバーと組み合わせて使える実装が多数あります。既存のアプリにコードを追加するだけで使えます。すべての実装は MIT ライセンス(つまり、あらゆる意味で自由かつ無料)で提供されているため、必要なのは数分の時間だけです。
おわりに
2013 年に初めて tus についてお話ししたときは、すぐに大失敗するか、一年以内に成功するかのどちらかだろうと考えていました。しかし、正しいやり方を貫こうとすると、必ずしも最短の道や、抵抗の少ない道を進めるわけではありません。
「長い時間がかかったけれど、変化はきっと訪れるとわかっている」
— Sam Cooke
長年にわたって力を注いできたオープンソースの取り組みが、ついに実を結び、本番で使えるまでに成熟したことを、どれほどうれしく思っているか、想像していただけるでしょう。お客様に役立つだけでなく、私たち自身もそのほんの一部にすぎないエコシステムを、新たに形作るためにも使えるようになったのです。
最後までお付き合いいただき、ありがとうございます。待ったかいがあったと感じていただければ幸いです。
さらに詳しく知りたい方や、世界中の誰もが使うファイルアップロードの改善に協力したい方は、tus.io と uppy.io をご覧ください。いつもどおり、サポートページや HN/Redditでも、ご意見をお待ちしています。
