Repensar Media ETL para flujos de trabajo multimedia escalables

Kevin van Zonneveld

Cofundador · Ámsterdam, Países Bajos · Mostrar bio

En el mundo de la ingeniería de datos, ETL (extracción, transformación y carga, por sus siglas en inglés) ha sido una metodología fundamental durante décadas. Sin embargo, a medida que el volumen y la importancia del contenido multimedia digital siguen creciendo de forma explosiva, los enfoques tradicionales de ETL se quedan cortos al manejar videos, imágenes y archivos de audio. Aquí es donde entra Transloadit, con lo que nos gusta llamar «Media ETL»: un enfoque especializado en el procesamiento de activos multimedia con la misma fiabilidad y escalabilidad que los profesionales de la ingeniería de datos esperan de sus pipelines de ETL.

ETL tradicional frente a Media ETL

ETL tradicional

Los procesos tradicionales de ETL suelen manejar datos estructurados de bases de datos, API y aplicaciones. El flujo de trabajo suele ser así:

1. Extraer: obtener datos de sistemas de origen como CRM, ERP o bases de datos operativas.
2. Transformar: depurar, normalizar y reestructurar los datos.
3. Cargar: colocar los datos transformados en un sistema de destino, como un almacén de datos.

Estos procesos destacan en el manejo de datos tabulares, pero tienen dificultades con los archivos multimedia no estructurados que requieren un procesamiento especializado.

Media ETL con Transloadit

Media ETL aplica los mismos principios, pero está diseñado específicamente para activos multimedia enriquecidos:

1. Extraer: recibir videos, imágenes, audio y documentos de diversas fuentes.
2. Transformar: aplicar operaciones multimedia especializadas como transcodificación, compresión, cambio de tamaño y extracción de metadatos.
3. Cargar: entregar el contenido multimedia procesado a servicios de almacenamiento, CDN o aplicaciones.

Por qué las herramientas tradicionales de ETL se quedan cortas para el contenido multimedia

Si alguna vez has intentado procesar videos o imágenes a gran escala con herramientas tradicionales de ETL, es probable que hayas encontrado estas dificultades:

• Uso intensivo de recursos: el procesamiento multimedia requiere muchos recursos de CPU/GPU.
• Complejidad de los formatos: manejar cientos de formatos multimedia y códecs.
• Problemas de escala: procesar archivos multimedia grandes puede sobrecargar los pipelines estándar de ETL.
• Operaciones especializadas: operaciones como la transcodificación de video no tienen equivalente en el ETL de datos.
• Extracción de metadatos: obtener metadatos del contenido multimedia requiere herramientas especializadas.

El enfoque de Transloadit para Media ETL

Transloadit se creó desde cero para manejar flujos de trabajo de ETL multimedia con la misma fiabilidad que los profesionales de la ingeniería de datos esperan de sus pipelines de datos. Así lo abordamos:

1. Extractores especializados en contenido multimedia

Nuestra plataforma puede extraer contenido multimedia de prácticamente cualquier lugar:

• Subidas directas desde navegadores y dispositivos móviles
• Servicios de almacenamiento en la nube (S3, Google Cloud Storage, Azure Blob Storage)
• URL web existentes
• Servidores FTP
• Y más

Los siguientes tres fragmentos JSON muestran partes consecutivas de un mismo Template. Combina sus steps en un solo objeto antes de ejecutarlos. Crea credenciales de Template para S3 almacenadas y separadas para los buckets de entrada y salida, y guarda el nombre y la región de cada bucket en su credencial. La credencial de entrada necesita acceso de lectura a los objetos de origen para /s3/import; la credencial de salida necesita acceso de escritura bajo uploads/, conforme a la política de la guía de configuración. Sustituye los nombres de las credenciales y la ruta de entrada por tus propios valores. Mantén privado el bucket de salida; bucket-default no anula su política. Actualiza la política y la ruta de salida conjuntamente si cambias el prefijo uploads/.

// Example: Extracting a video from S3
{
  "steps": {
    "import": {
      "robot": "/s3/import",
      "credentials": "YOUR_S3_INPUT_CREDENTIALS",
      "path": "raw-footage/interview.mp4"
    }
    // Further steps follow
  }
}

2. Potentes transformaciones multimedia

Una vez recibido tu contenido multimedia, Transloadit ofrece cientos de opciones de transformación:

• Video: transcodificación, extracción de miniaturas, marcas de agua, recorte
• Audio: conversión de formatos, normalización, generación de formas de onda
• Imágenes: cambio de tamaño, optimización, detección de rostros, corrección de color
• Documentos: extracción de texto, generación de vistas previas, conversión de formatos

// Example: Transforming a video into multiple formats
{
  "steps": {
    "encode": {
      "use": "import",
      "robot": "/video/encode",
      "preset": "web/mp4/4k",
      "ffmpeg_stack": "v6"
    },
    "thumbnail": {
      "use": "import",
      "robot": "/video/thumbs",
      "count": 5,
      "format": "jpg"
    }
  }
}

3. Opciones de carga flexibles

Tras la transformación, Transloadit puede cargar tu contenido multimedia procesado en prácticamente cualquier destino:

• Almacenamiento compatible con S3
• Google Cloud Storage
• Microsoft Azure
• Backblaze B2
• URL de descarga directa
• Notificaciones mediante webhooks al finalizar el procesamiento

// Example: Loading processed videos to a different S3 bucket
{
  "steps": {
    "export": {
      "use": ["encode", "thumbnail"],
      "robot": "/s3/store",
      "credentials": "YOUR_S3_OUTPUT_CREDENTIALS",
      "acl": "bucket-default",
      "path": "uploads/processed/${unique_prefix}/${file.url_name}"
    }
  }
}

Integración con Transloadit

Para integrar Media ETL en tus aplicaciones, puedes usar uno de nuestros numerosos SDK. Esta es una guía de inicio rápido con nuestro SDK para Node.js:

npm install @transloadit/node

Configuración básica:

import { Transloadit } from '@transloadit/node'

const authKey = process.env.TRANSLOADIT_AUTH_KEY
const authSecret = process.env.TRANSLOADIT_AUTH_SECRET
if (!authKey || !authSecret) {
  throw new Error('Set TRANSLOADIT_AUTH_KEY and TRANSLOADIT_AUTH_SECRET on your server')
}

const transloadit = new Transloadit({
  authKey,
  authSecret,
})

Regístrate en Transloadit para obtener tu clave y tu secreto de API. Ejecuta esta configuración en tu backend, nunca en el código del navegador. La configuración crea un cliente sin enviar tareas de procesamiento; sigue la guía del SDK de Node.js para ejecutar tu Template guardado.

Casos de uso reales

Pipeline de video de un servicio de streaming

Un servicio de streaming podría crear un pipeline como este:

1. Extraer: recibir archivos de video sin procesar de proveedores de contenido mediante S3.
2. Transformar:
   • Transcodificar a múltiples formatos de tasa de bits adaptativa (HLS, DASH)
   • Generar miniaturas en distintas marcas de tiempo
   • Extraer metadatos y Closed Captions
   • Preparar los archivos de salida para un sistema de reproducción y control de acceso configurado por separado
3. Cargar: entregar los archivos procesados a servidores de origen y CDN.

Procesamiento de imágenes de productos para comercio electrónico

Una plataforma de comercio electrónico podría procesar imágenes de productos de esta manera:

1. Extraer: recibir fotos de productos sin procesar de proveedores y profesionales de fotografía.
2. Transformar:
   • Generar varios tamaños para su visualización en sitios web adaptables
   • Optimizar para la entrega web
   • Crear variantes (vistas ampliadas, miniaturas)
   • Eliminar fondos automáticamente
   • Aplicar un balance de blancos uniforme
3. Cargar: guardar en un almacenamiento conectado a una CDN para una entrega rápida.

Red de distribución de podcasts de audio

Una empresa de alojamiento de podcasts podría preparar archivos para su distribución en múltiples plataformas de esta manera:

1. Extraer: recibir grabaciones de podcasts sin procesar de sus creadores.
2. Transformar:
   • Normalizar los niveles de audio
   • Generar versiones comprimidas para streaming
   • Crear visualizaciones de formas de onda
   • Extraer transcripciones mediante IA
   • Dividir en los límites de capítulo proporcionados por la aplicación
3. Cargar: distribuir a plataformas de podcasts y archivar en almacenamiento a largo plazo.

Comparación técnica

Crear tu pipeline de Media ETL con Transloadit

Empezar con Media ETL es sencillo. Este es un flujo de trabajo simple para convertir videos para su entrega en múltiples plataformas. Sustituye la URL de entrada del ejemplo por una URL multimedia que tu aplicación tenga autorización para procesar y configura la credencial de salida y el bucket privado como se indicó antes:

{
  "steps": {
    // Extract
    "import": {
      "robot": "/http/import",
      "url": "https://example.com/raw-video.mp4"
    },

    // Transform - Create multiple formats
    "mp4_high": {
      "use": "import",
      "robot": "/video/encode",
      "preset": "web/mp4/1080p",
      "ffmpeg_stack": "v6"
    },
    "mp4_low": {
      "use": "import",
      "robot": "/video/encode",
      "preset": "web/mp4/480p",
      "ffmpeg_stack": "v6"
    },
    "webm": {
      "use": "import",
      "robot": "/video/encode",
      "preset": "web/webm/1080p",
      "ffmpeg_stack": "v6"
    },

    // Create thumbnails
    "thumbnails": {
      "use": "import",
      "robot": "/video/thumbs",
      "count": 3,
      "format": "jpg"
    },

    // Load to destination
    "export": {
      "use": ["mp4_high", "mp4_low", "webm", "thumbnails"],
      "robot": "/s3/store",
      "credentials": "YOUR_S3_OUTPUT_CREDENTIALS",
      "acl": "bucket-default",
      "path": "uploads/processed/${unique_prefix}/${file.url_name}"
    }
  }
}

Guardarías este flujo de trabajo como un Template en tu Workspace de Transloadit y harías referencia a él mediante el SDK.

Cuándo elegir Media ETL

Considera el enfoque de Media ETL de Transloadit cuando:

1. Tus datos consisten principalmente en archivos multimedia: videos, imágenes, audio, documentos.
2. Necesitas procesamiento multimedia especializado que va más allá de lo que ofrecen las herramientas de ETL de uso general.
3. La escala importa: procesas grandes volúmenes de archivos multimedia.
4. El tiempo de salida al mercado es crucial: crear pipelines de procesamiento multimedia desde cero lleva mucho tiempo.
5. Necesitas un flujo de trabajo unificado para todas tus necesidades de procesamiento multimedia.

Integrar Media ETL con pipelines de datos tradicionales

Muchas organizaciones mantienen tanto pipelines tradicionales de ETL de datos como pipelines de ETL multimedia. Transloadit puede integrarse sin problemas con tu arquitectura de datos existente:

• Extracción de metadatos: extraer metadatos del contenido multimedia e incorporarlos a tu almacén de datos.
• Activadores basados en eventos: activar flujos de trabajo de Transloadit a partir de eventos de tu pipeline de ETL existente.
• Notificaciones mediante webhooks: notificar a tu pipeline de datos cuando finalice el procesamiento multimedia.
• Informes conjuntos: combinar las métricas de procesamiento multimedia con las métricas de tu pipeline de datos.

Conclusión

A medida que las organizaciones siguen generando y consumiendo más contenido multimedia, la necesidad de pipelines de Media ETL robustos seguirá creciendo. Los enfoques tradicionales de ETL que funcionan bien con datos estructurados simplemente no están preparados para afrontar los retos específicos del procesamiento multimedia a gran escala.

Transloadit cubre esta necesidad con una plataforma especializada de Media ETL que aplica la fiabilidad, la escalabilidad y la flexibilidad que los profesionales de ingeniería esperan de los procesos de ETL al mundo del video, el audio, las imágenes y los documentos.

Tanto si tu empresa de medios gestiona miles de activos, como si tu plataforma de comercio electrónico procesa imágenes de productos o tu plataforma de contenido maneja archivos multimedia generados por usuarios, el enfoque de Media ETL de Transloadit ofrece una solución potente para tus necesidades de procesamiento multimedia.

¿Quieres repensar tus flujos de trabajo multimedia con la potencia de los principios de ETL? Empieza con Transloadit hoy.