リアルタイムエンコード - 150 倍以上の高速化
過去の機能に関する注記:リアルタイムエンコードは 2012 年 5 月に廃止されました。以下の機能と設定は、現在のオプションではなく、2010 年の初回リリース時のものです。
本日は、大きな新機能であるリアルタイムエンコードを発表します。
リアルタイムエンコードでは、動画のアップロード中にエンコードを進められます。当社のサーバーは、ほとんどのユーザーのアップロード速度を大きく上回る速度で動画ファイルをエンコードできるため、動画のアップロード後にエンコードの完了を待つ必要がなくなります。上のスクリーンキャストでご覧のとおり、実質的にエンコード速度が 150 倍になります。
既存のお客様は、動画エンコード用の Step に
"realtime": true を追加するだけで、この機能を有効にできます。この機能のドキュメントも更新しました。
Transloadit を初めて利用する場合は、アカウントを登録すると、この機能を試せます。
技術的な詳細
技術的には、リアルタイムエンコードは動画のアップロードストリームを標準入力経由で FFmpeg に送り込むことで動作します。
理論上は簡単に聞こえますが、ほとんどの技術スタックでは実現がかなり困難です。幸い、当社のシステムは、この種のストリームのリダイレクトに適した Node.js を基盤としています。
これを実現するために、独自に開発したファイルアップロードパーサーを使っています。このパーサーはアップロードされたファイルをディスクに書き込みながら、進捗イベントを通知します。進捗イベントごとに、動画の新しいチャンクを FFmpeg に送ります。ただし、FFmpeg の処理が追いつかない場合は、標準入力ストリームのバッファーが空くまで待ちます。これにより、メモリーにデータが蓄積することはありません。
エラーへの対応も重要です。リアルタイムエンコード中に FFmpeg がエラーを返した場合は、その処理を中止して、通常のエンコードに切り替えます。
仕組みの概要は以上です。さらに詳しく知りたい場合は、コメントをお寄せください。すでに独自の動画処理基盤に多くの投資をしている場合は、この技術をお客様のプラットフォームに導入するためのコンサルティングも承ります。お気軽にお問い合わせください。
今後の予定
これは、サービスのあらゆる部分にストリーミング機能を導入するための取り組みの一つにすぎません。次に取り組む必要があるのは、リアルタイムでエンコードした動画を Amazon S3 にストリーミングすることです。
もう一つの課題は、ファイルの末尾にメタデータを持つ一部の "mov" ファイルへの対応です。幸い、Daniel G. Taylor がこの課題に興味を持ち、自身の qtfaststart の Python 版を
JavaScript に移植してくれました。そのため、jQuery SDK の次回アップグレードで、これらの課題をすべて解決できると確信しています。
また、Daniel は現在リモートの仕事を探しています。非常に優秀なハッカーをチームに迎えたいと考えているなら、ぜひ連絡してみてください。
おわりに
当社の使命は、ウェブでのファイルアップロードを改善することです。ほかにもアップロードで困っていることがあれば、ぜひお知らせください。喜んで解決策を開発します!
クレジット
スクリーンキャストでアップロードしたサンプル動画は、友人の némata が制作しました。
