エンコーディング性能を高める FFmpeg の改良
過去の記事について:この記事は 2015年に公開され、FFmpeg スタック
v2.2.3について説明しています。このスタックは 2020年2月1日にサポートが終了し、現在は受け付けていません。Robot ドキュメントで、現在推奨されるffmpeg_stackの値をご確認ください。
Transloadit は少人数のエンジニアチームであり、コードであり、高いスケーラビリティを備えたプラットフォームでもあります。そして、指示に応じてメディアをインポートして変換する、個性豊かなロボットたちでもあります。その中核では、多くの場合、オープンソースツールが負荷の高い処理を担っています。中でも特に重要なのが FFmpeg です。

これまでの経緯
2009年のサービス開始以来、FFmpeg を使い続けています。当初のバージョンは 1つだけで、現在は v0.0.1 と呼んでいます。2011年には、当時まだできなかった
webm ファイルへの透かし追加をお客様に提供するため、FFmpeg のコア開発者である
Stefano Sabatini を支援し、専用の新しいバージョンを開発してもらいました。
技術の進歩は常に速く、メディアエンコーディングも例外ではありません。最新の技術に対応するには、FFmpeg を継続的にアップグレードする必要があります。一方で、後方互換性の問題によって、お客様の既存の設定が動かなくなることは避けたいと考えています。Transloadit は、たとえば動画を iPad 向けに最適化する便利なプリセットを提供しており、これらは比較的簡単に移行できます。同時に、上級ユーザー向けに FFmpeg の動作を細かく制御する機能も提供しています。特に後者のお客様にとって、アップグレードによって細かな処理設定が突然サポートされなくなるのは、当然ながら受け入れがたいことです。
複数バージョンの共存
既存の設定を壊さずに進化させたいという思いから、エンコーディングツールの新バージョンを既存のバージョンと共存させ、利用者が明示的に選択した場合にのみ使える仕組みを構築しました。
これまでに、次のスタックバージョンを導入しています。
v0.0.1:2009年7月13日v1.0.0:2011年4月27日v2.0.0:2013年7月7日v2.1.0:2013年11月12日v2.2.3:2014年6月3日
これまですべて独自のビルドを使用してきたため、スタックごとに対応する形式とコーデックを掲載する専用ページを用意しています。
段階的な公開
長年の間に、自動テストは 9905件に増えました。その多くは画像の差分比較を使い、エンコーディングが期待どおりに動作することを確認しています。それでも、ときにはエンドユーザーが作成した特殊な mp4 に特殊な第2動画ストリームが含まれ、まだテストで網羅していなかった問題が起きることがあります。もちろん、その日の終わりまでには、そのテストも必ず追加します。😄
このため、これまでは常にスタックの新バージョンを段階的に公開してきました。通常は少数のお客様と協力して検証し、新しいビルドへの確信が深まるにつれて、推奨するお客様の範囲を広げていきます。
最終的には、ドキュメントでもそのバージョンを推奨スタックとして案内します。こうして自然にアップグレードが進んでいきます。
これまでスタックを非推奨にしたことはなく、この方法は私たちにとってもお客様にとってもうまく機能してきました。ただし、今後は変わるかもしれません。その理由を説明します。
非推奨化
これまで、スタックを非推奨にしたことはありません。しかし実際には、スタックを追加するたびにデプロイが少し遅くなり、カスタマーサポートの負担も少しずつ増えています。また、クラスターの OS をアップグレードするたびに、古いスタックのコンパイルは難しくなり、安定した動作も難しくなっています。コンテナーへの移行を進めており、こうした互換性の問題には役立ちますが、デプロイ、サポート、保守の負担軽減にはつながりません。
そこで、2009年の FFmpeg スタック v1.0.0 を、今後 1年のうちに非推奨にすることを検討しています。できるだけ早くお知らせするのがよいと考えました。もちろん、無謀な変更は行いません。今日この件を検討したため、今このタイミングで共有しています。
FFmpeg スタック v2.2.3
注:バージョン番号は SemVer に似ていますが、SemVer ではありません。Transloadit 内部のバージョン管理用であり、外部向けの意味付けはありません。どのバージョンでも後方互換性が失われる可能性があるため、アップグレード時にはその前提で扱ってください。
最新のスタックは、これまでで最も誇りに思えるバージョンです。確かに v1.0.0 のほうが本番稼働期間は長く、時代を先取りしていました 😄。それでも、v2.2.3 には、ほかのどのバージョンよりも多くの労力を注いできました。すでに 1年以上本番環境で稼働しており、処理したトラフィックも従来のどのバージョンより多くなっています。ビルド自体の不備に起因する問題は、私たちの経験ではほとんど見られません(まったくないという表現は危険なので、避けるようにしています)。
最大規模の企業のお客様の一部にも、非常に特殊なケースで使っていただいてきました。その経験から、音声と動画のあらゆるエンコーディング用途に向けて、すべてのお客様にこのビルドを自信を持ってお勧めできます。
アップグレード
次の処理設定例をご覧ください。アップロードされたファイルを iPad 向けの形式に変換し、プレビュー用のサムネイルを抽出した後、すべての結果を SFTP でプライベートサーバーにエクスポートします。
steps:
ipad:
use : ":original"
robot : "/video/encode"
preset : "ipad-high"
thumbnails:
use : "ipad"
robot : "/video/thumbs"
store:
use : [ ":original", "ipad", "thumbnails" ]
robot : "/sftp/store"
user : "transloadit-uploader"
host : "my.website.com"
path : "./transloadit-uploads"
url_template: "https://my.website.com/transloadit-uploads/${file.url_name}"
この処理設定は読みやすさを優先して表記していますが、サービスに送信する際は有効な JSON としてエンコードする必要があります。
この処理設定で最新のスタックを使うには、エンコーディングを行う
Stepに ffmpeg_stack パラメーターを追加します。
steps:
ipad:
use : ":original"
robot : "/video/encode"
preset : "ipad-high"
ffmpeg_stack: "v2.2.3"
thumbnails:
use : "ipad"
robot : "/video/thumbs"
ffmpeg_stack: "v2.2.3"
store:
use : [ ":original", "ipad", "thumbnails" ]
robot : "/sftp/store"
user : "transloadit-uploader"
host : "my.website.com"
path : "./transloadit-uploads"
url_template: "https://my.website.com/transloadit-uploads/${file.url_name}"
これだけです!😄
ffmpeg_stack パラメーターは、次の Robot に適用できます。
エンコーディングが高速になるだけでなく、品質も向上し、過去のどのバージョンよりも多くの入力形式に対応できます。
注意点
話がうますぎるでしょうか。そうではありませんが、マッピングとパラメーター名の変更には注意が必要です。
マッピング
すべての v2.2.3 プリセット(android や
iphone など)を調整し、データストリームと字幕ストリームをすべて破棄するようにしました。これらのストリームを使うお客様はごく少数でした。以前は出力ファイルに含めようとしていましたが、ときどき失敗し、「とにかく結果が欲しい」という大多数のお客様を、意図せず悩ませてしまっていました。
データストリームや字幕ストリームが必要な場合も、v2.2.3 プリセットを使い、このリリースのほかの改善点を活用できます。ただし、map パラメーターを
0 で上書きする必要があります。これにより、すべての入力ストリームが出力ファイルに含まれます。一方、FFmpeg が未対応のデータストリームを解釈しようとするため、一部のファイルでは FFmpeg の処理が失敗するという代償があります。
あるお客様から、動画ストリームを 2つ含む入力ファイルで問題が起きたという報告がありました。当社の v2.2.3 プリセットは、すべての動画ストリームと音声ストリームを新しいファイルに含めようとします。動画と音声のストリームがそれぞれ 1つだけ必要な場合は、マッピングを次のように設定してください。
ipad:
use : ":original"
robot : "/video/encode"
preset : "ipad-high"
ffmpeg_stack: "v2.2.3"
ffmpeg:
map: [
"0:v:0?"
"0:a:0?"
"-0:d"
"-0:s"
]
これは最も問題が起きにくいマッピングですが、同じメディア種別の第2ストリームは破棄される点に注意してください。
実際のところ、私たちが見ているケースの 99% では、エンドユーザーにとって問題にならないようです。そのため、次のスタックでは、携帯端末向けプリセットのデフォルトにすることを検討しています。
エンコーディング結果とともに :original ファイルもエクスポートすることを、常にお勧めしています。設定に満足できない場合に、新しいエンコーディングパラメーターで
Assemblyを簡単に再実行できるためです。
パラメーター名の変更
FFmpeg は従来、動画ビットレートに -b、音声ビットレートに
-ab パラメーターを使っていましたが、-b:v と -b:a という構文に移行しつつあります。-codec:v と -codec:a など、ほかの多くのパラメーターも同様です。
一貫性が増すだけでなく、より細かい指定もできるようになります。たとえば、第2音声ストリームのコーデックだけを指定したい場合は、-codec:a:1 と記述できます(最初のストリームのインデックスは
0 なので、2番目は 1 です)。
そのため、v2.2.3 の ipad-high プリセットで音声ビットレートを上書きする場合は、ab が b:a に変わった点に注意が必要です。そうしないと、プリセットへの変更指定が反映されないおそれがあります。
ipad:
use : ":original"
robot : "/video/encode"
preset : "ipad-high"
ffmpeg_stack: "v2.2.3"
ffmpeg:
"b:a": 144000
まとめ
最新の FFmpeg スタックでは、大きな改善を実感しています。高速化と品質向上に加え、アダプティブライブストリーミング(HLS)などにも対応しています。
すべてのお客様に、まずはAssemblyのごく一部からでも使い始めていただくことをお勧めします。ここで挙げた注意点以外に問題が見つかった場合は、ぜひご報告ください。
主に皆様からのフィードバックを踏まえ、今年の後半には、その時点で稼働から 7年となる
v1.0.0 スタックを非推奨にする予定です。そのときは、ぜひ一緒に乾杯しましょう!😄






