Transloadit の 2021年の節目と進歩を祝って
Transloadit では、改善が必要なことに目を向けるのを大切にしています。運営を始めて 13年になりますが、今でも毎日のように改善点が見つかります。この姿勢は多くの良い結果につながる一方で、順調に進んでいることを過小評価しがちにもなります。すぐ次の課題に取りかかり、たった今成し遂げたことを忘れてしまうのです。懸命な努力と献身によってようやく実現したことも、あっという間に当たり前の現状と見なされてしまいます。
先日、完了した大規模プロジェクトをいくつか偶然見つけました。取り組み始めたときには、とても乗り越えられないと感じたのを覚えています。それが今では、「完了」という目立たないタブの下に隠れ、小さな緑色のチェックマークが付いていました。その成果は今、昔からそうだったかのように使われています。そこで今回は、その「完了」タブや、カンバンの「アーカイブ済み」列、Getting Things Done の「完了」に光を当てて祝いたいと思います。
チームには、新型コロナウイルス感染症や、それに直接・間接的に伴う困難に苦しんだ仲間もいます。うつや、漠然としたいらだち、絶望感などです。さらに共同創業者の Tim は、昨年、妻の Cindy ががんと診断されてから、実に多くのことに向き合わなければなりませんでした。こうした出来事には無力感を覚えることもあり、仕事がありがたい気晴らしになる場面も多くありました。だからこそ、この厳しい時期には特に、これまでの進歩を振り返り、祝うことが大切だと感じます。
ここからは、当社の昨年の主な成果を紹介します。

API
新機能
- /azure/import:Azure からのファイルのインポート
- /image/ocr:画像内のテキスト認識
- /script/run:独自のコードを当社のシステム上で実行して、大胆なものを作れます。私たちがまだ想像もしていないものを、ぜひ発想してください!Deno を基盤としています。
- /speech/transcribe:音声のテキスト化
- /text/speak:テキストの音声化
- /text/translate:多様な自然言語間でのテキスト翻訳
- /vimeo/store:Vimeo への動画のアップロード
- Smart CDN(ベータ版)の本番利用が始まり、最初のお客様への課金も行いました。
改善点
- /audio/artwork:異なる ExifTool スタックを選択できるようになりました。
- /document/convert:MS Office 文書と Markdown も HTML に変換できるようになりました。
- /image/facedetect:大手クラウドベンダーの AI を活用して精度を向上
- /file/filter:条件の動作をより直感的に改善
- /http/import:Google Docs と Dropbox の URL からのインポートを簡単にし、失敗時の再試行を無効にできる
fail_fastオプションを追加 - /image/describe:
explicit_descriptionsパラメーターで、画像内の不適切なコンテンツ(NSFW)を検出できるようになりました。 - /s3/store:S3 への保存後にファイルの整合性を検証するようになりました。
パフォーマンス
- Assembly のオーバーヘッドを削減し、小規模な Assembly を 5倍高速化しました。
- オートスケーラーの大部分を書き直し、マシンの起動からエンコード開始までの時間を 5分の1に短縮して、キューの待ち時間を削減
- c6 マシンの活用によるトランスコード時間の短縮
- 可能な箇所で ImageMagick を libvips に置き換え、画像のリサイズ時間を 10分の1に短縮しました。
会社
チームと専門性
- Nix、FFmpeg、Prometheus、Jekyll など、当社にとって不可欠なソフトウェアの作者と提携しました。また、Slack ですぐに相談できる AWS のコンサルタントとも協力体制を築きました。
- チーム全体でリーダー層が育ちました。創業者の私たちが席を外さなければならない場面が増える中、ほかのメンバーが進んで穴を埋めてくれるようになりました。不在時に意思決定を担う正式なリーダーも任命しました。
- Yukesh、Joseph、Merlijn、Antoine、Florian を採用しました。これにより、2021年末には 21名の Transloadians が在籍するチームになりました。皆さん、ようこそ!
- 週次ミーティングの効率化や、特定のテーマに集中するテーマ月間など、新しい習慣の定着を支援できるようチャットボットを改善
経理と財務
- 手作業による経理業務の多くを自動化
- オランダ支店を設立
- Transloadit Ltd を解散し、Transloadit-II GmbH に統合
- ドイツの従業員向けの給与支払い体制を整備
- お客様への請求とクレジットカード情報の保管を、Worldpay から Stripe に移行
- 国際的な事業運営により適切に対応できるよう、世界各地に拠点を持つ大手会計事務所に変更
- 弁護士を変更し、フリーランサーおよび企業向けの契約を改訂
開発者体験
どのようなものづくりでも、汚く危険な作業場と、切れ味が悪く半ば壊れた道具では、優れた成果は生まれにくいものです。不可能ではありませんが、その数はずっと少なくなります。プログラミングも同じです。作業の障害を減らすことは創造性と生産性を高めるだけでなく、人材の獲得と定着にも役立ちます。そのため、清潔で安全な作業環境と、道具の改善に力を注いでいます。
CI
- すべてのプルリクエストに、ブラウザーで閲覧できるウェブサイトのプレビューを追加
- API リリース間の変更を追跡しやすくするため、デプロイ時に Git タグを作成
- API テストスイートの実行時間を半減
- OS イメージ(AMI)のビルド時間を 3分の1に短縮
- Jenkins を GitHub Actions に置き換え、Hetzner のランナーを 3台追加し、簡単に追加するためのスクリプトも作成しました。また、ビルド番号からビルド URL に切り替え、異なるブランチ、CI 環境、ソースからのデプロイを簡単にしました。
- すべての SDK を Travis から GitHub Actions に移行
- 独自のデプロイ方式から、全面的な CI/CD に移行
- すべてのプルリクエストにウェブサイトの Lighthouse スコアを表示
コード品質
- Internet Explorer のサポートを終了しました。
- ウェブサイトで発生しうるクライアント側のエラーを把握するため、Sentry を導入
- 多くのコードベースに React + Hooks、TypeScript、Jest、Playwright、Async/await を導入
- 独自の Lint を展開し、すべての大規模 JS プロジェクトに適用
- knox、required-cache などのメンテナンスされていないモジュールや、async、aws-sdk、lodash などのメンテナンスされていないバージョンの使用を終了
- API を Node 10 から Node 14 にアップグレードし、オプショナルチェーンなどを利用できるようにしました。
開発サイクルの所要時間
- 手動操作なしで開発環境を初期構築できるようにし、そのドキュメントも改善
- ステージングクラスターの起動と破棄を、楽しく感じられるほど簡単にしました。ログ処理も分離し、運用チームを起こさなくても問題を確認できるようにしました。
- エディターのコード補完を改善するため、すべての require、import パスから変数を排除
- 静的コンテンツのビルドを 14倍高速化
- Webpack を 2 から 5 にアップグレードし、Dart Sass と CSS・コード分割に切り替えて、アセットのビルドとダウンロードを改善しました。Docker ベースの Jekyll は macOS 上で遅すぎるため、使用をやめました。
プロジェクト管理
- Asana を GitHub Projects に置き換え、自動化によってプロジェクト管理を簡略化
- GitHub の無料プランに切り替え、不足する機能の一部を補うアクションを追加
成長
- パーティーにも着ていける T シャツをデザイン
- 売上がほぼ倍増しました。
- 特に大切なお客様向けに Slack Connect を導入
- Dev Times (English) の第50号を配信
- 初の OSS サポート契約を締結
- WeTransfer、Blackboard など、多くの新規顧客を獲得
インフラと技術スタック
- HAProxy と Nginx のリロードに対応し、サービスに影響しないデプロイを実現
- ビルドごとの nix プロファイルに切り替え、本番環境の技術スタックに関する問題を、すべてとはいかないまでも大幅に解消
- 本番環境を強化し、20分間のデータベース停止に耐えられるようにしました。
- Spot インスタンス終了時の処理を改善し、ほかのマシンへのジョブの引き継ぎをより円滑にしました。
- クライアントが対処しやすいように、レート制限とレスポンスを改善
- レガシーな AWS インフラをすべて VPC に移行
- AWS でマシンを起動する際、接続するどのドライブでも堅牢かつ正確に初期設定できるよう、raidmaker を Bash から Python に移植
- ベース OS を Ubuntu Focal にアップグレードし、snap を撤去して、apt によるセキュリティパッチの自動適用をスケジュールしました。コアダンプを調査するツールも追加しました。
- Terraform を
1.0、FFmpeg を4.3、Nix を2.3、HAProxy を2.0にアップグレード
オープンソース
Uppy
- 売上から Uppy に配分する金額を 2倍超に増やしました。
- Uppy に画面キャプチャー機能を追加
- Uppy Companion のアップロードをストリーミング化し、速度とリソース効率を大幅に向上
- Uppy の DX の課題に対応(corepack、Lerna から Yarn 3 への移行、GitHub Actions、Vite、ESBuild、Stale Bot、自動リリース)
- Uppy の未解決 Issue を 120件から 40件に削減
- 仮想ファイルリストにより、数千のファイルでも Uppy がスムーズに動作するよう改善
- IE ポリフィルの削除などにより、Uppy のバンドルサイズを削減
- Uppy 2.0 をリリース
- Uppy の Preact を最新バージョンにアップグレード
tus
tusdを高速化し、RST に対応させ、HashiCorp の Go プラグインシステムを実装- tus-v2 の開発に着手しました。Apple、Cloudflare、Vimeo の協力を得て、HTTP での標準化を目指しています。
SDK と Node.js
- Terraform 連携を追加
- すべての公式 SDK が再び CI を通過するよう修正
- Android SDK、Java SDK、Zapier 連携、Node.js SDK(v3)を書き直し、モダン化
- Node.js の技術運営委員会に所属する Transloadian が、稼働時間の 20% を Node.js の内部実装に充てられるよう支援
運用
- Prometheus と Grafana で可観測性を導入しました。障害対応を効率化するため、呼び出し通知にグラフのスナップショットも含めました。
- 多数のタブやペインでマシンへのセッションを素早く開ける SSH ツールを追加
- セキュリティとオンコールのローテーションに関するチーム方針を策定
- オンコールチームを増員し、既存メンバーの負担を軽減
- 夜中に起きず、朝に確認しても問題ない「低重大度」の呼び出し通知を導入
セキュリティ
- ホワイトハッカーからの 20件を超えるセキュリティ報告に対応して修正
- エンコードツールのサンドボックス化をさらに進めるため、nsjail を導入
- 各マシンロールに必要な権限を正確に分析し、不要なものを除去して IAM 権限を削減
- シークレットのローテーションを簡略化し、すべてのシークレットを更新
ウェブ
- ホームページで Lighthouse のアクセシビリティスコア 100点を達成しました。今後も後退しないよう、100点を下回ったら CI が失敗するよう設定しました。
- 新しいデモ (English)を 10件超作成
- コンテンツ配信ページを新設し、Smart CDN のほぼリアルタイムのリサイズ速度を体験できるインタラクティブなデモを追加
- セキュリティページを新設し、多くの疑問に回答しました。脆弱性を発見・報告したホワイトハッカーの功績をたたえる一覧も掲載しています。
- Template ウィザードの UX を改善
- すべての Robot に、機能、デモ、料金を紹介するページを導入
- ウェブサイトの大部分を S3 と CloudFront に移し、ページ読み込みを大幅に高速化(US:2倍、EU:6倍、AP:100倍)
- Console の多くの部分を React に移行しました(段階的に進めており、すでに約80%を公開済みです)。お客様にはより高速で快適な UI を、開発者にはより快適な開発体験を提供できるようになりました。
- ホームページのデザインを刷新
- すべてのドキュメントを書き直し、デザインも刷新しました。
- ステータスページを書き直してデザインを刷新し、AWS から完全に移行しました。ドメインレジストラーに至るまで、本番環境とは完全に分離されています。
おわりに
このほかにも、600件を超える小さな修正や改善を加え、全体をより円滑に運用できるようにしました。
リモートでデジタルに事業を営む会社として、このパンデミックでは幸運に恵まれました。ほかの企業が存続の危機に直面する中でも、私たちは多くの場合、従来どおりに働き続けられました。それを当たり前とは思わず、できるところで価値を生み出し続けると自ら決めて行動しました。
その後に成し遂げた仕事の中で、私個人の功績と呼べるものはごくわずかです。だからこそ、仲間たちと、彼らが乗り越えてきた数え切れないほどの難題を、心から誇りに思います。仲間たちは船を沈めずに保つだけでなく、未知の海へと進めてくれました。踏ん張るべきときには粘り強く、楽しめるときには良い時間を楽しんだチームでした。
大切な Transloadians の皆さん、すべての貢献に感謝しています。これほど才能豊かで思いやりのある仲間がどうやって集まったのか、不思議に思うほどです。この冒険を共にするなら、このチーム以外は考えられません。
(とはいえ、仲間を増やす余地はあります。Transloadit で働くことに興味があれば、/jobs/ (English) をご覧ください。)
昨年成し遂げたことをリストにしましたか?パンデミックやさまざまな困難で、無力感を覚えることもありました。だからこそ、少し立ち止まって、実際に達成できたことを振り返ってみるとよいと思います。思っている以上に多くのことを成し遂げているかもしれません。
— transloadit(🤖 Transloadit)2022年2月3日