Media ETL neu gedacht für skalierbare Medienworkflows

Kevin van Zonneveld

Mitgründer · Amsterdam, Niederlande · Bio anzeigen

Im Data Engineering ist ETL (Extract, Transform, Load) seit Jahrzehnten eine grundlegende Methode. Doch mit dem rasanten Wachstum digitaler Medien in Umfang und Bedeutung stoßen klassische ETL-Ansätze bei Videos, Bildern und Audiodateien an ihre Grenzen. Hier setzt Transloadit an, mit einem Ansatz, den wir „Media ETL“ nennen – einer spezialisierten Medienverarbeitung mit der Zuverlässigkeit und Skalierbarkeit, die Dateningenieure von ihren ETL-Pipelines erwarten.

Klassisches ETL im Vergleich zu Media ETL

Klassisches ETL

Klassische ETL-Prozesse verarbeiten in der Regel strukturierte Daten aus Datenbanken, APIs und Anwendungen. Der Workflow sieht meist so aus:

1. Extrahieren: Daten aus Quellsystemen wie CRMs, ERPs oder operativen Datenbanken abrufen.
2. Transformieren: Daten bereinigen, normalisieren und neu strukturieren.
3. Laden: Transformierte Daten in ein Zielsystem wie ein Data Warehouse übertragen.

Diese Prozesse eignen sich hervorragend für tabellarische Daten. Bei unstrukturierten Mediendateien, die eine spezialisierte Verarbeitung erfordern, stoßen sie jedoch an ihre Grenzen.

Media ETL mit Transloadit

Media ETL nutzt dieselben Prinzipien, ist aber speziell auf Rich-Media-Inhalte ausgelegt:

1. Extrahieren: Videos, Bilder, Audio und Dokumente aus verschiedenen Quellen einlesen.
2. Transformieren: Spezielle Medienoperationen wie Transkodierung, Komprimierung, Größenänderung und Metadatenextraktion anwenden.
3. Laden: Verarbeitete Medien an Speicherdienste, CDNs oder Anwendungen ausliefern.

Warum klassische ETL-Tools bei Medien an ihre Grenzen stoßen

Wenn Sie schon einmal Videos oder Bilder mit klassischen ETL-Tools in großem Umfang verarbeitet haben, sind Ihnen vermutlich diese Herausforderungen begegnet:

• Hoher Ressourcenbedarf: Medienverarbeitung benötigt erhebliche CPU-/GPU-Ressourcen.
• Formatvielfalt: Hunderte Medienformate und Codecs müssen berücksichtigt werden.
• Skalierungsprobleme: Die Verarbeitung großer Mediendateien kann Standard-ETL-Pipelines überlasten.
• Spezialisierte Operationen: Für Vorgänge wie Videotranskodierung gibt es im Daten-ETL kein Gegenstück.
• Metadatenextraktion: Das Extrahieren von Metadaten aus Medien erfordert spezialisierte Tools.

Der Media-ETL-Ansatz von Transloadit

Transloadit wurde von Grund auf für Media-ETL-Workflows entwickelt, mit der Zuverlässigkeit, die Dateningenieure von ihren Datenpipelines erwarten. So gehen wir vor:

1. Medienspezifische Extraktoren

Unsere Plattform kann Medieninhalte aus nahezu jeder Quelle extrahieren:

• Direkte Uploads aus Browsern und von Mobilgeräten
• Cloud-Speicherdienste (S3, Google Cloud Storage, Azure Blob Storage)
• Bestehende Web-URLs
• FTP-Server
• Und mehr

Die nächsten drei JSON-Fragmente zeigen aufeinanderfolgende Teile, die zu einem Template gehören. Fassen Sie ihre steps vor der Ausführung in einem einzigen Objekt zusammen. Erstellen Sie separate gespeicherte Template-Zugangsdaten für S3 für den Eingabe- und den Ausgabe-Bucket. Speichern Sie darin jeweils den Namen und die Region des zugehörigen Buckets. Die Zugangsdaten für die Eingabe benötigen Lesezugriff auf die Quellobjekte für /s3/import; die Zugangsdaten für die Ausgabe benötigen Schreibzugriff unter uploads/, entsprechend der Richtlinie in der Einrichtungsanleitung. Ersetzen Sie die Zugangsdaten-Namen und den Eingabepfad durch Ihre eigenen Werte. Halten Sie den Ausgabe-Bucket privat; bucket-default setzt seine Bucket-Richtlinie nicht außer Kraft. Aktualisieren Sie die Richtlinie und den Ausgabepfad gemeinsam, wenn Sie das Präfix uploads/ ändern.

// Example: Extracting a video from S3
{
  "steps": {
    "import": {
      "robot": "/s3/import",
      "credentials": "YOUR_S3_INPUT_CREDENTIALS",
      "path": "raw-footage/interview.mp4"
    }
    // Further steps follow
  }
}

2. Leistungsstarke Medientransformationen

Sobald Ihre Medien eingelesen sind, bietet Transloadit Hunderte Transformationsmöglichkeiten:

• Video: Transkodierung, Thumbnail-Extraktion, Wasserzeichen, Zuschneiden
• Audio: Formatkonvertierung, Normalisierung, Wellenformerzeugung
• Bilder: Größenänderung, Optimierung, Gesichtserkennung, Farbkorrektur
• Dokumente: Textextraktion, Vorschauerzeugung, Formatkonvertierung

// Example: Transforming a video into multiple formats
{
  "steps": {
    "encode": {
      "use": "import",
      "robot": "/video/encode",
      "preset": "web/mp4/4k",
      "ffmpeg_stack": "v6"
    },
    "thumbnail": {
      "use": "import",
      "robot": "/video/thumbs",
      "count": 5,
      "format": "jpg"
    }
  }
}

3. Flexible Ladeoptionen

Nach der Transformation kann Transloadit Ihre verarbeiteten Medien an nahezu jedes Ziel übertragen:

• S3-kompatible Speicher
• Google Cloud Storage
• Microsoft Azure
• Backblaze B2
• Direkte Download-URLs
• Webhook-Benachrichtigungen nach Abschluss der Verarbeitung

// Example: Loading processed videos to a different S3 bucket
{
  "steps": {
    "export": {
      "use": ["encode", "thumbnail"],
      "robot": "/s3/store",
      "credentials": "YOUR_S3_OUTPUT_CREDENTIALS",
      "acl": "bucket-default",
      "path": "uploads/processed/${unique_prefix}/${file.url_name}"
    }
  }
}

Integration mit Transloadit

Um Media ETL in Ihre Anwendungen zu integrieren, können Sie eines unserer vielen SDKs nutzen. Hier ein Schnelleinstieg mit unserem SDK für Node.js:

npm install @transloadit/node

Grundkonfiguration:

import { Transloadit } from '@transloadit/node'

const authKey = process.env.TRANSLOADIT_AUTH_KEY
const authSecret = process.env.TRANSLOADIT_AUTH_SECRET
if (!authKey || !authSecret) {
  throw new Error('Set TRANSLOADIT_AUTH_KEY and TRANSLOADIT_AUTH_SECRET on your server')
}

const transloadit = new Transloadit({
  authKey,
  authSecret,
})

Registrieren Sie sich bei Transloadit, um Ihren API-Schlüssel und das zugehörige Secret zu erhalten. Führen Sie diese Einrichtung in Ihrem Backend aus, niemals im Browsercode. Sie konfiguriert einen Client, ohne einen Auftrag zu übermitteln. Folgen Sie der Anleitung zum Node.js-SDK, um Ihr gespeichertes Template auszuführen.

Anwendungsfälle aus der Praxis

Videopipeline für einen Streamingdienst

Ein Streamingdienst könnte eine Pipeline wie diese aufbauen:

1. Extrahieren: Unverarbeitete Videodateien von Inhaltsanbietern über S3 einlesen.
2. Transformieren:
   • In mehrere Formate mit adaptiver Bitrate transkodieren (HLS, DASH)
   • Thumbnails an verschiedenen Zeitpunkten erzeugen
   • Metadaten und Closed Captions extrahieren
   • Ausgaben für ein separat konfiguriertes Wiedergabe- und Zugriffskontrollsystem vorbereiten
3. Laden: Verarbeitete Dateien an Ursprungsserver und CDNs ausliefern.

Produktbildverarbeitung im E-Commerce

Eine E-Commerce-Plattform könnte Produktbilder so verarbeiten:

1. Extrahieren: Unverarbeitete Produktfotos von Händlern und Fotografen empfangen.
2. Transformieren:
   • Mehrere Größen für die responsive Darstellung im Web erzeugen
   • Für die Auslieferung im Web optimieren
   • Varianten erstellen (Zoomansichten, Thumbnails)
   • Hintergründe automatisch entfernen
   • Einen einheitlichen Weißabgleich anwenden
3. Laden: Für eine schnelle Auslieferung in einem an ein CDN angebundenen Speicher ablegen.

Netzwerk zur Verteilung von Audio-Podcasts

Ein Podcast-Hosting-Unternehmen könnte Dateien so für die Verteilung auf mehreren Plattformen vorbereiten:

1. Extrahieren: Unverarbeitete Podcast-Aufnahmen von den Erstellern einlesen.
2. Transformieren:
   • Audiopegel normalisieren
   • Komprimierte Versionen für Streaming erzeugen
   • Wellenformvisualisierungen erstellen
   • Transkriptionen mithilfe von KI gewinnen
   • An den von der Anwendung vorgegebenen Kapitelgrenzen aufteilen
3. Laden: An Podcast-Plattformen verteilen und im Langzeitspeicher archivieren.

Technischer Vergleich

Ihre Media-ETL-Pipeline mit Transloadit aufbauen

Der Einstieg in Media ETL ist unkompliziert. Hier ein einfacher Workflow zur Konvertierung von Videos für die Auslieferung auf mehreren Plattformen. Ersetzen Sie die Beispiel-Eingabe-URL durch eine Medien-URL, zu deren Verarbeitung Ihre Anwendung berechtigt ist. Konfigurieren Sie die Zugangsdaten für die Ausgabe und den privaten Bucket wie oben beschrieben:

{
  "steps": {
    // Extract
    "import": {
      "robot": "/http/import",
      "url": "https://example.com/raw-video.mp4"
    },

    // Transform - Create multiple formats
    "mp4_high": {
      "use": "import",
      "robot": "/video/encode",
      "preset": "web/mp4/1080p",
      "ffmpeg_stack": "v6"
    },
    "mp4_low": {
      "use": "import",
      "robot": "/video/encode",
      "preset": "web/mp4/480p",
      "ffmpeg_stack": "v6"
    },
    "webm": {
      "use": "import",
      "robot": "/video/encode",
      "preset": "web/webm/1080p",
      "ffmpeg_stack": "v6"
    },

    // Create thumbnails
    "thumbnails": {
      "use": "import",
      "robot": "/video/thumbs",
      "count": 3,
      "format": "jpg"
    },

    // Load to destination
    "export": {
      "use": ["mp4_high", "mp4_low", "webm", "thumbnails"],
      "robot": "/s3/store",
      "credentials": "YOUR_S3_OUTPUT_CREDENTIALS",
      "acl": "bucket-default",
      "path": "uploads/processed/${unique_prefix}/${file.url_name}"
    }
  }
}

Sie würden diesen Workflow als Template in Ihrem Transloadit-Workspace speichern und mit dem SDK darauf verweisen.

Wann Sie Media ETL wählen sollten

Ziehen Sie den Media-ETL-Ansatz von Transloadit in Betracht, wenn:

1. Ihre Daten hauptsächlich aus Mediendateien bestehen: Videos, Bilder, Audio, Dokumente.
2. Sie spezialisierte Medienverarbeitung benötigen, die über allgemeine ETL-Tools hinausgeht.
3. Skalierung wichtig ist – Sie verarbeiten große Mengen an Mediendateien.
4. Die Zeit bis zur Markteinführung entscheidend ist – Medienverarbeitungspipelines von Grund auf aufzubauen ist zeitaufwendig.
5. Sie einen einheitlichen Workflow benötigen, der Ihren gesamten Medienverarbeitungsbedarf abdeckt.

Media ETL in klassische Datenpipelines integrieren

Viele Unternehmen betreiben sowohl klassische Daten-ETL-Pipelines als auch Media-ETL-Pipelines. Transloadit lässt sich nahtlos in Ihre bestehende Datenarchitektur integrieren:

• Metadatenextraktion: Metadaten aus Medien extrahieren und in Ihr Data Warehouse einspeisen.
• Ereignisbasierte Auslöser: Transloadit-Workflows durch Ereignisse Ihrer bestehenden ETL-Pipeline auslösen.
• Webhook-Benachrichtigungen: Ihre Datenpipeline benachrichtigen, sobald die Medienverarbeitung abgeschlossen ist.
• Gemeinsame Berichte: Kennzahlen zur Medienverarbeitung mit den Kennzahlen Ihrer Datenpipeline kombinieren.

Fazit

Da Unternehmen immer mehr Medieninhalte erzeugen und nutzen, wird der Bedarf an robusten Media-ETL-Pipelines weiter wachsen. Klassische ETL-Ansätze eignen sich gut für strukturierte Daten, sind aber den besonderen Herausforderungen der Medienverarbeitung in großem Umfang nicht gewachsen.

Transloadit schließt diese Lücke mit einer spezialisierten Media-ETL-Plattform. Sie überträgt die Zuverlässigkeit, Skalierbarkeit und Flexibilität, die Ingenieure von ETL-Prozessen erwarten, auf Video, Audio, Bilder und Dokumente.

Ob Sie als Medienunternehmen Tausende Inhalte verwalten, als E-Commerce-Plattform Produktbilder verarbeiten oder als Content-Plattform nutzergenerierte Medien handhaben: Der Media-ETL-Ansatz von Transloadit bietet eine leistungsstarke Lösung für Ihren Medienverarbeitungsbedarf.

Bereit, Ihre Medienworkflows mit der Leistungsfähigkeit von ETL-Prinzipien neu zu denken? Starten Sie noch heute mit Transloadit.