Sprache in Audio- oder Videodateien transkribieren

🤖/speech/transcribe transkribiert Sprache in Audio- oder Videodateien.

{
  "steps": {
    "transcribed": {
      "use": ":original",
      "robot": "/speech/transcribe",
      "provider": "aws",
      "format": "json",
      "speaker_labels": true,
      "max_speakers": 3
    }
  }
}

{
  "text": "Hello there. Hi!",
  "words": [
    { "text": "Hello", "startTime": 0, "endTime": 0.5, "speaker": "speaker_1" },
    { "text": "there", "startTime": 0.6, "endTime": 1, "speaker": "speaker_1" },
    { "text": "Hi!", "startTime": 1.2, "endTime": 1.8, "speaker": "speaker_2" }
  ],
  "segments": [
    { "text": "Hello there", "startTime": 0, "endTime": 1, "speaker": "speaker_1" },
    { "text": "Hi!", "startTime": 1.2, "endTime": 1.8, "speaker": "speaker_2" }
  ]
}

Anwendungsbeispiel

{
  "steps": {
    "transcribed": {
      "robot": "/speech/transcribe",
      "use": ":original",
      "provider": "replicate",
      "target_language": "french",
      "format": "text"
    }
  }
}

Parameter

• interpolate

  boolean | Record<string, boolean>

  Steuert, ob einzelne Robot-Anweisungsfelder Assembly Variables interpolieren.

  Standardmäßig interpolieren die meisten Robot-Anweisungsfelder Assembly Variables. Mit dem Wert false behandeln Sie alle Anweisungsfelder als Literaltext. Wenn Sie stattdessen einen einzelnen Feldpfad auf false setzen, wird nur dieses Feld als Literaltext behandelt. Bei Feldern eines bestimmten Robots, die standardmäßig als Literaltext behandelt werden, aktivieren Sie die Interpolation wieder, indem Sie hierfür true festlegen oder für den jeweiligen Feldpfad den Wert true verwenden.

  Verwenden Sie Feldnamen wie path oder für verschachtelte Objekte Punktpfade wie ffmpeg.vf als Pfadangabe.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Damit können Sie eine Reihe von Metadaten festlegen, deren Berechnung mehr CPU-Ressourcen beansprucht. Sie sind daher standardmäßig deaktiviert, damit Ihre Assemblies schnell verarbeitet werden.

  Für Bilder können Sie diesem Objekt den Eintrag "has_transparency": true hinzufügen, um zu ermitteln, ob das Bild transparente Bereiche enthält. Mit dem Eintrag "dominant_colors": true können Sie außerdem ein Array mit hexadezimalen Farbcodes aus dem Bild extrahieren.

  Für Bilder können Sie auch den Eintrag "blurhash": true hinzufügen, um einen BlurHash⁠ zu extrahieren – eine kompakte Darstellung eines Platzhalters für das Bild, mit der Sie eine unscharfe Vorschau anzeigen können, während das vollständige Bild geladen wird.

  Für Videos können Sie den Parameter "colorspace": true hinzufügen, um den Farbraum des Ausgabevideos zu extrahieren.

  Für Videos können Sie außerdem den Eintrag "interlaced": true hinzufügen, um zu erkennen, ob das Video im Zeilensprungverfahren vorliegt. Dazu wird die ressourcenschonende ffprobe-Option field_order mit einem begrenzten Stichprobendurchlauf mithilfe von idet über die ersten Frames der Quelle kombiniert. Die Ergebnisse interlaced und field_order sowie das Diagnoseobjekt interlace_detection werden dabei unter file.meta ausgegeben. Dies ist rechenintensiv und wird entsprechend abgerechnet.

  Für Audio können Sie den Eintrag "mean_volume": true hinzufügen, um einen einzelnen Wert für die durchschnittliche Lautstärke der Audiodatei zu erhalten.

  Sie können diesen Parameter auch auf false setzen, um die Metadatenextraktion zu überspringen und das Transcoding zu beschleunigen.

• user_meta

  Record<string, any>(Standard: {})

  Fügt jeder von diesem Robot ausgegebenen Datei benutzerdefinierte Metadaten hinzu, ohne den Dateiinhalt zu verändern.

  Die Werte werden mit allen bereits in der Eingabedatei enthaltenen user_meta zusammengeführt. Wenn beide Objekte denselben Schlüssel enthalten, hat der Wert dieses Robots Vorrang. Assembly Variables werden unterstützt, zum Beispiel { "internal_file_id": "${file.id}" }.

• result

  boolean(Standard: false)

  Ob die Ergebnisse dieses Steps im Assembly Status JSON enthalten sein sollen

• queue

  batch

  Wenn Sie die Queue auf „batch“ setzen, wird die Priorität der Jobs für diesen Step manuell herabgestuft. So vermeiden Sie, Priority Job Slots für Jobs zu belegen, die keine Wartezeit von null in der Queue benötigen.

• force_accept

  boolean(Standard: false)

  Erzwingt, dass ein Robot einen Dateityp akzeptiert, den er sonst ignorieren würde.

  Standardmäßig ignorieren Robots Dateien, deren Typ sie nicht kennen. 🤖/video/encode ignoriert beispielsweise problemlos Eingabebilder.

  Wenn Sie den Parameter force_accept auf true setzen, können Sie erzwingen, dass Robots alle übergebenen Dateien akzeptieren. Dies führt in der Regel zu Fehlern und sollte nur zur Fehlersuche oder zur Behandlung von Grenzfällen verwendet werden.

• ignore_errors

  boolean | Array<meta | execute>(Standard: [])

  Fehler in bestimmten Verarbeitungsphasen ignorieren.

  Wenn Sie hierfür ["meta"] festlegen, ignoriert der Robot Fehler bei der Metadatenextraktion.

  Wenn Sie hierfür ["execute"] festlegen, ignoriert der Robot Fehler während der Hauptausführungsphase.

  Wenn Sie hierfür true festlegen, entspricht dies ["meta", "execute"] und Fehler in beiden Phasen werden ignoriert.

• use

  string | Array<string> | Array<object> | object

  Gibt an, welche Steps als Eingabe verwendet werden sollen.

  • Sie können beliebige Namen für Steps wählen, außer ":original" (reserviert für von Transloadit verarbeitete Benutzer-Uploads)
  • Sie können mehrere Steps mithilfe von Arrays als Eingabe angeben:

    {
      "use": [
        ":original",
        "encoded",
        "resized"
      ]
    }
    

  • Sie können Eingabe-Steps außerdem mit as kennzeichnen, um Robots die semantische Funktion zu übermitteln:

    {
      "use": [
        {
          "name": ":original",
          "as": "image"
        },
        {
          "name": ":original",
          "as": "mask"
        }
      ]
    }
    

  Tipp

  Das ist wahrscheinlich alles, was Sie über use wissen müssen. Sie können sich jedoch auch die erweiterten Anwendungsfälle ansehen.

• provider

  auto | aws | gcp | replicate(Standard: "auto")

  Wählt anhand Ihrer Anfrage den besten Anbieter aus.

  Legen Sie hierfür "aws", "gcp" oder "replicate" fest, um einen bestimmten Anbieter zu erzwingen. Bei "auto" verwendet Transloadit standardmäßig "replicate" und bei aktiviertem speaker_labels stattdessen "aws".

• granularity

  full | list(Standard: "full")

  Sowohl "full" als auch "list" geben derzeit dieselbe vollständige Transkriptionsantwort zurück. "list" wird aus Gründen der Abwärtskompatibilität weiterhin akzeptiert.

• format

  json | meta | srt | text | webvtt(Standard: "json")

  Ausgabeformat der Transkription.

  • "text" gibt eine einfache Textdatei aus, die Sie speichern und verarbeiten können.
  • "json" gibt eine JSON-Datei mit Wörtern und Zeitstempeln aus. Wenn speaker_labels aktiviert ist, können Wörter speaker-Labels enthalten und das JSON kann außerdem nach Sprecher gruppierte segments enthalten.
  • "srt" und "webvtt" geben Untertiteldateien im jeweiligen Dateityp aus, die separat gespeichert oder in anderen Steps zum Encoding verwendet werden können.
  • "meta" gibt keine Datei zurück, sondern speichert die Daten im Dateiobjekt von Transloadit (unter ${file.meta.transcription.text}, ${file.meta.transcription.words} und, sofern Sprecher-Labels verfügbar sind, ${file.meta.transcription.segments}). Dieses wird zwischen Steps zum Encoding weitergegeben, sodass Sie die Werte verwenden können, um die Daten in Videos einzubrennen, danach zu filtern usw.

• speaker_labels

  boolean(Standard: false)

  Wenn diese Option aktiviert ist, fordert Transloadit den Transkriptionsanbieter auf, verschiedene Sprecher zu unterscheiden. JSON- und Meta-Ausgaben können dann speaker-Labels wie "speaker_1" für einzelne Wörter sowie nach Sprecher gruppierte segments enthalten. Das Ausgabeverhalten für Text, SRT und WebVTT bleibt unverändert.

  Sprecher-Labels kennzeichnen wiederkehrende Stimmen, keine realen Personennamen. Die Genauigkeit hängt von der Audioqualität, Hintergrundgeräuschen, gleichzeitigem Sprechen und der Anzahl der Sprecher ab.

• max_speakers

  string | number(Standard: 10)

  Die maximale Anzahl der zu erkennenden Sprecher, wenn speaker_labels aktiviert ist.

• source_language

  string(Standard: "en-US")

  Legt die gesprochene Sprache für die Anbieter "aws" und "gcp" fest. Die Transkription bleibt in der gesprochenen Sprache; dieser Parameter übersetzt die Sprache nicht.

  Die Sprache sollte im Format BCP-47⁠ angegeben werden, beispielsweise als "en-GB", "de-DE" oder "fr-FR". Beachten Sie außerdem die Liste der unterstützten Sprachen für den Anbieter gcp⁠ und den Anbieter aws⁠.

• target_language

  string

  Für den Anbieter "replicate" wird damit ein Hinweis zur gesprochenen Sprache festgelegt. Lassen Sie diesen Parameter weg, um die gesprochene Sprache automatisch zu erkennen. Wenn die gesprochene Sprache bekannt ist, geben Sie ihren vollständigen kleingeschriebenen englischen Namen an, beispielsweise "french" als Wert. Trotz seines Namens übersetzt dieser Parameter die Sprache nicht.

  Bei den Anbietern "aws" und "gcp" ist stattdessen source_language zu verwenden.

Demos

Verwandte Blogbeiträge