多重化とは?

多重化は、エンコード済みの動画、音声、字幕、タイミング情報を、同期したコンテナーにまとめる処理です。既存のストリームを格納する処理であり、必ずしもメディア内容のデコードや再圧縮を伴いません。

多重化の仕組み

メディアの多重化では、エンコード済みのエレメンタリーストリームを交互に配置し、選択したコンテナーに必要なインデックス、タイムスタンプ、記述メタデータを書き込みます。マルチプレクサーは、各ストリームのタイミングをコンテナーのタイムベースに変換し、コーデックごとのフレーミング規則に従う必要があります。通常、圧縮済みサンプルを変更せずに通せるため、再エンコードと比べて高速で、品質劣化もありません。エンコード後、保存や配信の前に行うパッケージング工程にあたり、逆に分離する処理が分離多重化です。

要点

  1. マルチプレクサーは、すべての圧縮済みフレームを変更せずにコピーする場合でも、デコーダー初期化データなど、通常のサンプルとは別のコーデック設定レコードを必要とすることがあります。
  2. 両方のエレメンタリーストリームを正しくデコードできても、タイムスタンプが単調増加していない場合や欠落している場合は、サンプルの拒否、シークの不具合、音声と映像のずれが発生することがあります。
  3. MP4 から MPEG-TS への変更が再多重化になるのは、出力先コンテナーが既存のコーデックに対応し、再エンコードなしでメタデータを表現できる場合に限ります。

多重化が重要になる場面

パッケージングだけを変更する場合は、互換性のある H.264 動画と AAC 音声を MP4 に多重化してください。タイムスタンプ、コーデック、コンテナーの制約が競合すると、再多重化が失敗し、トランスコードが必要になることがあります。

メディアの知識を実用的なパイプラインに

単一の宣言的 API で、アップロード、処理、AI、ストレージ、配信を連携できます。エンコードスタックの管理、スケーリング、形式の変化への対応はお任せください。

Transloadit を無料で試す