Untertitel zu Videos hinzufügen

🤖/video/subtitle fügt Videos Untertitel und Closed Captions hinzu.

Anwendungsbeispiel

{
  "steps": {
    "captioned": {
      "ffmpeg_stack": "v7",
      "preset": "empty",
      "robot": "/video/subtitle",
      "style": "social",
      "subtitles_type": "burned",
      "use": {
        "steps": [
          {
            "as": "video",
            "name": ":original"
          },
          {
            "as": "subtitles",
            "name": "transcript"
          }
        ]
      }
    },
    "transcript": {
      "format": "json",
      "provider": "aws",
      "robot": "/speech/transcribe",
      "source_language": "en-US",
      "use": ":original"
    }
  }
}

Parameter

• interpolate

  boolean | Record<string, boolean>

  Steuert, ob einzelne Robot-Anweisungsfelder Assembly Variables interpolieren.

  Standardmäßig interpolieren die meisten Robot-Anweisungsfelder Assembly Variables. Mit dem Wert false behandeln Sie alle Anweisungsfelder als Literaltext. Wenn Sie stattdessen einen einzelnen Feldpfad auf false setzen, wird nur dieses Feld als Literaltext behandelt. Bei Feldern eines bestimmten Robots, die standardmäßig als Literaltext behandelt werden, aktivieren Sie die Interpolation wieder, indem Sie hierfür true festlegen oder für den jeweiligen Feldpfad den Wert true verwenden.

  Verwenden Sie Feldnamen wie path oder für verschachtelte Objekte Punktpfade wie ffmpeg.vf als Pfadangabe.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Damit können Sie eine Reihe von Metadaten festlegen, deren Berechnung mehr CPU-Ressourcen beansprucht. Sie sind daher standardmäßig deaktiviert, damit Ihre Assemblies schnell verarbeitet werden.

  Für Bilder können Sie diesem Objekt den Eintrag "has_transparency": true hinzufügen, um zu ermitteln, ob das Bild transparente Bereiche enthält. Mit dem Eintrag "dominant_colors": true können Sie außerdem ein Array mit hexadezimalen Farbcodes aus dem Bild extrahieren.

  Für Bilder können Sie auch den Eintrag "blurhash": true hinzufügen, um einen BlurHash⁠ als String zu extrahieren – eine kompakte Darstellung eines Platzhalters für das Bild, mit der Sie eine unscharfe Vorschau anzeigen können, während das vollständige Bild geladen wird.

  Für Bilder extrahiert der Eintrag "thumbhash": true stattdessen einen base64-codierten ThumbHash⁠ nach meta.thumbhash, zusammen mit meta.has_alpha (gibt an, ob ein Alphakanal vorhanden ist, auch wenn das Bild vollständig deckend ist). Der Hash beschreibt die Pixel gemäß EXIF-Ausrichtung und verwendet bei animierten Bildern das erste Frame. Die Extraktion erfolgt nach dem Best-Effort-Prinzip: Bilder über 40 Megapixeln, nicht unterstützte Formate oder ein fehlgeschlagener bzw. durch Grenzwerte beschränkter Decodiervorgang erzeugen keinen Platzhalter. Eine erfolgreiche Extraktion verursacht eine zusätzliche Metadatengebühr in Höhe von 20 % der Bytes dieser Datei. Ist die Option deaktiviert oder wird kein Hash erzeugt, fällt kein ThumbHash-Aufschlag an.

  Setzen Sie diese Option für den Step, der das Bild erzeugt, etwa /upload/handle für hochgeladene Originale oder /image/resize für verarbeitete Ausgaben. Wird sie nur für /transloadit/store gesetzt, wird keine Extraktion angefordert: Die Speicherung behält die Metadaten des erzeugenden Steps bei. Transloadit Storage speichert einen erzeugten Hash dauerhaft zusammen mit seiner unveränderlichen Version und gibt ihn in gespeicherten Ergebnissen sowie beim nativen Lesen von Assets zurück. Direkte S3-Uploads erzeugen keine Platzhalter. Ein Platzhalter enthält Bildinformationen; schützen Sie ihn daher mit denselben Zugriffskontrollen wie das vollständige Bild.

  Für Videos können Sie den Parameter "colorspace": true hinzufügen, um den Farbraum des Ausgabevideos zu extrahieren.

  Für Videos können Sie außerdem den Eintrag "interlaced": true hinzufügen, um zu erkennen, ob das Video im Zeilensprungverfahren vorliegt. Dazu wird die ressourcenschonende ffprobe-Option field_order mit einem begrenzten Stichprobendurchlauf mithilfe von idet über die ersten Frames der Quelle kombiniert. Die Ergebnisse interlaced und field_order sowie das Diagnoseobjekt interlace_detection werden dabei unter file.meta ausgegeben. Dies ist rechenintensiv und wird entsprechend abgerechnet.

  Für Audio können Sie den Eintrag "mean_volume": true hinzufügen, um einen einzelnen Wert für die durchschnittliche Lautstärke der Audiodatei zu erhalten.

  Sie können diesen Parameter auch auf false setzen, um die Metadatenextraktion zu überspringen und das Transkodieren zu beschleunigen.

• user_meta

  Record<string, any>(Standard: {})

  Fügt jeder ausgegebenen Datei benutzerdefinierte JSON-Metadaten hinzu, ohne den Dateiinhalt zu verändern. Verschachtelte Objekte und Arrays werden unterstützt.

  Die Vererbung hängt vom Robot ab. Die Werte werden mit vorhandenen user_meta der Ausgabedatei zusammengeführt; der aktuelle Step ersetzt übereinstimmende Schlüssel auf oberster Ebene. Weisen Sie erforderliche Schlüssel explizit zu, wenn ein Robot neue Ausgabedateien erstellt.

  In Steps zur Verarbeitung bezieht sich ${file.*} auf die erste Eingabe und ${result.*} auf die ausgegebene Datei. Die Werte werden nach der Ausführung des Robots für jede Ausgabedatei ausgewertet, bevor die anschließende Metadatenextraktion und temporäre Speicherung erfolgen. Bei :original werden die Werte für jeden Upload vor der Metadatenextraktion ausgewertet.

  Nachfolgende Steps lesen ${file.user_meta.key}. Ein vollständiges Beispiel und die Vererbungsregeln finden Sie unter Benutzerdefinierte Metadaten.

• result

  boolean(Standard: false)

  Ob die Ergebnisse dieses Steps im Assembly Status JSON enthalten sein sollen

• queue

  batch

  Wenn Sie die Queue auf „batch“ setzen, wird die Priorität der Jobs für diesen Step manuell herabgestuft. So vermeiden Sie, Priority Job Slots für Jobs zu belegen, die keine Wartezeit von null in der Queue benötigen.

• force_accept

  boolean(Standard: false)

  Erzwingt, dass ein Robot einen Dateityp akzeptiert, den er sonst ignorieren würde.

  Standardmäßig ignorieren Robots Dateien, deren Typ sie nicht kennen. 🤖/video/encode ignoriert beispielsweise problemlos Eingabebilder.

  Wenn Sie den Parameter force_accept auf true setzen, können Sie erzwingen, dass Robots alle übergebenen Dateien akzeptieren. Dies führt in der Regel zu Fehlern und sollte nur zur Fehlersuche oder zur Behandlung von Grenzfällen verwendet werden.

• ignore_errors

  boolean | Array<meta | execute>(Standard: [])

  Fehler in bestimmten Verarbeitungsphasen ignorieren.

  Wenn Sie hierfür ["meta"] festlegen, ignoriert der Robot Fehler bei der Metadatenextraktion.

  Wenn Sie hierfür ["execute"] festlegen, ignoriert der Robot Fehler während der Hauptausführungsphase.

  Wenn Sie hierfür true festlegen, entspricht dies ["meta", "execute"] und Fehler in beiden Phasen werden ignoriert.

• use

  string | Array<string> | Array<object> | object

  Gibt an, welche Steps als Eingabe verwendet werden sollen.

  • Sie können beliebige Namen für Steps wählen, außer ":original" (reserviert für von Transloadit verarbeitete Benutzer-Uploads)
  • Sie können mehrere Steps mithilfe von Arrays als Eingabe angeben:

    {
      "use": [
        ":original",
        "encoded",
        "resized"
      ]
    }
    

  • Sie können Eingabe-Steps außerdem mit as kennzeichnen, um Robots die semantische Funktion zu übermitteln:

    {
      "use": [
        {
          "name": ":original",
          "as": "image"
        },
        {
          "name": ":original",
          "as": "mask"
        }
      ]
    }
    

  Tipp

  Das ist wahrscheinlich alles, was Sie über use wissen müssen. Sie können sich jedoch auch die erweiterten Anwendungsfälle ansehen.

• ffmpeg

  object

  Ein Parameterobjekt, das an FFmpeg übergeben wird. Wenn eine Voreinstellung verwendet wird, werden die angegebenen Optionen mit deren Optionen zusammengeführt. Verfügbare Optionen finden Sie in der FFmpeg-Dokumentation⁠. Die hier angegebenen Optionen haben Vorrang vor den Optionen der Voreinstellung.

• ffmpeg_stack

  v6 | v7 | v8 | string(Standard: "v6.0.0")

  Wählt die Version des FFmpeg-Stacks aus, die zum Encoding verwendet werden soll. Derzeit empfehlen wir „v7“. Die exakten Versionen „v6.0.0“, „v7.0.0“ und „v8.0.0“ sind Legacy-Werte, die aus Gründen der Abwärtskompatibilität weiterhin akzeptiert werden. Veraltete „v5.x“-Werte werden ebenfalls akzeptiert.

• width

  string | number | null

  Breite des neuen Videos in Pixeln.

  Wenn der Wert nicht angegeben und der Parameter preset verfügbar ist, wird die angegebene Breite aus der Voreinstellung preset übernommen.

• height

  string | number | null

  Höhe des neuen Videos in Pixeln.

  Wenn der Wert nicht angegeben und der Parameter preset verfügbar ist, wird die angegebene Höhe aus der Voreinstellung preset übernommen.

• preset

  android | android-high | android-low | android_high | android_low | dash-1080p-video | dash-1080p_video | 195 weitere ↓

  Konvertiert ein Video gemäß einer Voreinstellung.

  Sie können hier den Wert 'empty' verwenden, wenn Sie eigene FFmpeg-Parameter festlegen und dafür den Robot verwenden oder wenn Sie nicht möchten, dass Transloadit Encoding-Einstellungen festlegt.

• subtitles_type

  burned | external | burn(Standard: "external")

  Legt fest, ob Untertitel dem Video als separater Stream hinzugefügt werden (Wert "external"), sodass sie im Videoplayer ein- und ausgeschaltet werden können, oder ob sie direkt in das Video eingebrannt werden sollen (Wert "burned" oder "burn"), sodass sie Teil des Videostreams werden.

• style

  social

  Wendet ein vorgefertigtes Erscheinungsbild auf eingebrannte Untertitel an: Poppins-Text in kräftiger Schriftstärke, eine dicke Kontur und ein weicher schwarzer Schatten. JSON-Untertitel werden in Großbuchstaben im unteren Drittel dargestellt. Standardmäßig richtet sich die JSON-Schriftgröße nach der kürzeren Videoseite und wird für jeden Untertitel an die sichere Breite angepasst, bevorzugt auf eine und höchstens auf zwei Zeilen. Wörter werden nie getrennt. Jeder Untertitel wächst innerhalb von 120 Millisekunden von 85 % auf die volle Größe. Danach bleiben seine Wörter an derselben Position, während die Hervorhebung die Farbe wechselt. Die Transkriptdatei bleibt erhalten. Vorhandene Stilparameter überschreiben die Voreinstellung; ein explizit angegebener Wert für font_size deaktiviert die automatische Anpassung. ASS-Dateien behalten ihre eigenen Stile. Bei JSON mit Zeitstempeln aus /speech/transcribe bleibt das aktive Wort hervorgehoben, bis das nächste Wort oder der nächste Untertitel beginnt; andere Wörter verwenden font_color. Abschließende Kommas und Punkte werden in JSON-Untertiteln im Social-Stil weggelassen; Fragezeichen und Ausrufezeichen bleiben erhalten. Worthervorhebung und Gruppierung erfordern eine JSON-Eingabe.

• highlight_color

  string | string(Standard: "FFD60A")

  Die Akzentfarbe des aktiven Wortes in JSON-Untertiteln. Gilt nur für eingebrannte JSON-Untertitel. Mit "style": "social" bleibt das vorherige Wort während kurzer Pausen hervorgehoben, bis das nächste Wort oder der nächste Untertitel beginnt. Ohne den Social-Stil wird während Pausen font_color für den gesamten Untertitel verwendet.

  Verwenden Sie das Format "rgb", "rrggbb" oder "aarrggbb", optional mit dem Präfix #. Dreistellige Farben werden auf sechs Stellen erweitert. Farben ohne Alpha sind vollständig deckend. Bei achtstelligen Farben legen die ersten beiden Stellen die Transparenz fest ("00" ist vollständig deckend, "ff" ist vollständig transparent).

• max_words_per_caption

  string | number(Standard: 3)

  Die angestrebte maximale Anzahl von JSON-Wörtern mit Zeitstempeln, die in einem Untertitel angezeigt werden. Untertitel enden bei Satzendezeichen oder Pausen von mehr als 0,4 Sekunden früher. Mit "style": "social" wird ein abschließendes englisches Funktionswort wie „by“, „to“ oder „the“ nach Möglichkeit in den nächsten Untertitel verschoben. Kurze Wendungen wie „line of code“ können zusammenbleiben, und ein einzelnes Wort am Satzende kann an den vorherigen Untertitel angefügt werden. Diese Anpassungen erlauben höchstens ein zusätzliches Wort pro Untertitel, ohne Satzenden oder lange Pausen zu überschreiten. Untertitel mit einem Wort bleiben erhalten, wenn das Limit 1 beträgt. Bei einer Pause von höchstens 0,4 Sekunden bleibt ein Untertitel sichtbar, bis der nächste beginnt; bei längeren Pausen verschwindet er am Ende seines letzten Wortes. Ändert keine SRT-, VTT- oder ASS-Untertiteleinträge.

• border_style

  box | outline | shadow(Standard: "outline")

  Legt den Stil des Untertitels fest. Verwenden Sie den Parameter border_color, um die Farbe des Rahmens festzulegen.

• border_color

  string | string(Standard: "000000")

  Die Farbe des Untertitelrahmens. Standard ist deckendes Schwarz. Gilt nur für eingebrannte Untertitel.

  Verwenden Sie das Format "rgb", "rrggbb" oder "aarrggbb", optional mit dem Präfix #. Dreistellige Farben werden auf sechs Stellen erweitert. Farben ohne Alpha sind vollständig deckend. Bei achtstelligen Farben legen die ersten beiden Stellen die Transparenz fest ("00" ist vollständig deckend, "ff" ist vollständig transparent).

• font

  string

  Die zu verwendende Schriftfamilie. Umfasst auch Schriftstärke und Schriftstil. Standardmäßig wird Arial verwendet. Mit "style": "social" wird standardmäßig Poppins verwendet, für JSON-Untertitel in der Schriftstärke ExtraBold. Eine explizit angegebene Schriftart überschreibt den Stil.

  Hier finden Sie eine Liste aller unterstützten Schriftarten.

• font_color

  string | string(Standard: "FFFFFF")

  Die Farbe des Untertiteltexts. Gilt nur für eingebrannte Untertitel.

  Verwenden Sie das Format "rgb", "rrggbb" oder "aarrggbb", optional mit dem Präfix #. Dreistellige Farben werden auf sechs Stellen erweitert. Farben ohne Alpha sind vollständig deckend. Bei achtstelligen Farben legen die ersten beiden Stellen die Transparenz fest ("00" ist vollständig deckend, "ff" ist vollständig transparent).

• font_size

  string | number

  Legt die Größe des Textes im Untertitelkoordinatenraum mit 288 Pixeln fest, der mit der Videohöhe skaliert wird. Der Standardwert ist 16. Mit "style": "social" ist der Standardwert 54. Wenn für JSON-Untertitel im Social-Stil kein Wert angegeben wird, wird dieser Standardwert anhand der kürzeren Videoseite skaliert, bei Videos im Hochformat um 18 % erhöht und der Untertitel bei Bedarf auf höchstens zwei Zeilen verkleinert. Vor dieser Anpassung sind Poppins-Großbuchstaben etwa 7,5 % der kürzeren Seite hoch, bei Videos im Hochformat etwa 9 %. Ein expliziter Wert behält die höhenrelative Größenberechnung bei und deaktiviert die automatische Anpassung.

• bold

  boolean

  Legt fest, ob der Untertiteltext fett dargestellt werden soll. Gilt nur für eingebrannte Untertitel. Der Standardwert ist false. Mit "style": "social" ist der Standardwert true; ein explizites false überschreibt den Stil.

• italic

  boolean(Standard: false)

  Legt fest, ob der Untertiteltext kursiv dargestellt werden soll. Gilt nur für eingebrannte Untertitel.

• outline_width

  string | number | null

  Legt die Breite der Textkontur im Untertitelkoordinatenraum mit 288 Pixeln fest, der mit der Videohöhe skaliert wird. Numerische Strings wie "4" werden ebenfalls akzeptiert. Gilt nur für eingebrannte Untertitel mit den Rahmenstilen "outline" oder "box". Wenn der Wert fehlt oder null ist, wird die Standardbreite verwendet (2 mit "style": "social", bei JSON-Untertiteln im Social-Stil proportional zur endgültigen angepassten Schriftgröße).

• position

  bottom | bottom-left | bottom-right | center | left | right | top | 2 weitere ↓(Standard: "bottom")

  Legt die Position der Untertitel fest. Mit "style": "social" platziert die standardmäßige untere Position JSON-Untertitel im unteren Drittel, bei Videos im Hochformat mit zusätzlichem Abstand zum unteren Rand. Ein expliziter Wert überschreibt den Stil.

• language

  string | null

  Legt die Sprache des Untertitelstreams mit einem dreistelligen Sprachcode fest (z. B. "eng", "deu", "spa"). Wird nur bei externen Untertiteln verwendet. Wenn Sie mehrere Untertitelstreams hinzufügen, legen Sie für jeden Stream eine andere Sprache fest, damit Videoplayer eine Sprachauswahl anbieten können.

• name

  string | null

  Legt einen verständlichen Namen für die Untertitelspur fest (z. B. "English", "Deutsch", "Español"). Wird nur bei externen Untertiteln verwendet. Dieser Name wird in den Untertitelmenüs des Videoplayers zusammen mit der Sprache angezeigt.

• keep_subtitles

  boolean(Standard: false)

  Legt fest, ob vorhandene Untertitel in der Eingabedatei beibehalten oder durch den neuen Untertitel ersetzt werden sollen. Wird nur bei externen Untertiteln verwendet. Setzen Sie diesen Wert auf true, wenn Sie mehrere Steps mit /video/subtitle verketten, um demselben Video mehrere Untertitelstreams hinzuzufügen, beispielsweise in verschiedenen Sprachen.

Demos

Verwandte Blogbeiträge