Reconocer objetos en imágenes

🤖/image/describe reconoce objetos en imágenes y los devuelve como palabras en inglés.

Ejemplo de uso

{
  "steps": {
    "described": {
      "robot": "/image/describe",
      "use": ":original",
      "provider": "aws"
    }
  }
}

Parámetros

• interpolate

  boolean | Record<string, boolean>

  Controla si las Assembly Variables se interpolan en campos de instrucciones individuales.

  De forma predeterminada, la mayoría de los campos de instrucciones de los Robots interpolan Assembly Variables. Establece esta opción en false para tratar todos los campos de instrucciones como texto literal, o establece la ruta de un campo individual en false para tratar únicamente ese campo como texto literal. En el caso de los campos específicos de un Robot que son literales de forma predeterminada, establece esta opción en true o la ruta de ese campo en true para volver a habilitar la interpolación.

  Usa nombres de campos como path o rutas con puntos como ffmpeg.vf para los objetos anidados.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Te permite especificar un conjunto de metadatos cuyo cálculo requiere más recursos de CPU y que, por lo tanto, está desactivado de forma predeterminada para que tus Assemblies se procesen rápidamente.

  Para imágenes, puedes añadir "has_transparency": true a este objeto para determinar si la imagen contiene partes transparentes y "dominant_colors": true para extraer un array de códigos de color hexadecimales de la imagen.

  Para imágenes, también puedes añadir "blurhash": true para extraer una cadena BlurHash⁠, una representación compacta de un marcador de posición para la imagen que resulta útil para mostrar una vista previa desenfocada mientras se carga la imagen completa.

  Para videos, puedes añadir el parámetro "colorspace": true para extraer el espacio de color del video de salida.

  Para videos, también puedes añadir "interlaced": true para detectar si el video está entrelazado. Esto combina el indicador field_order de ffprobe, cuyo costo en recursos de procesamiento es bajo, con una pasada de muestreo limitada mediante idet sobre los primeros fotogramas de la fuente, y expone interlaced, field_order y un objeto de diagnóstico interlace_detection en file.meta. Esto requiere muchos recursos computacionales y se factura en consecuencia.

  Para audio, puedes añadir "mean_volume": true para obtener un único valor que represente el volumen promedio del archivo de audio.

  También puedes establecerlo en false para omitir la extracción de metadatos y acelerar la transcodificación.

• user_meta

  Record<string, any>(valor predeterminado: {})

  Añade metadatos personalizados a cada archivo emitido por este Robot sin modificar el contenido del archivo.

  Los valores se combinan con los user_meta existentes en el archivo de entrada. Si ambos objetos contienen la misma clave, el valor de este Robot tiene prioridad. Se admiten Assembly Variables, por ejemplo { "internal_file_id": "${file.id}" }.

• result

  boolean(valor predeterminado: false)

  Indica si los resultados de este Step deben aparecer en el Assembly Status JSON

• queue

  batch

  Establecer la cola en «batch» reduce manualmente la prioridad de los Jobs de este Step para evitar consumir cupos prioritarios con Jobs que no necesitan un tiempo de espera cero en la cola

• force_accept

  boolean(valor predeterminado: false)

  Forzar a un Robot a aceptar un tipo de archivo que habría ignorado.

  De forma predeterminada, los Robots ignoran los archivos que no reconocen. 🤖/video/encode, por ejemplo, ignorará sin problemas las imágenes de entrada.

  Si configuras el parámetro force_accept como true, puedes forzar a los Robots a aceptar todos los archivos que reciban. Esto normalmente provocará errores y solo debe usarse para depuración o para abordar casos extremos.

• ignore_errors

  boolean | Array<meta | execute>(valor predeterminado: [])

  Ignorar errores durante fases específicas del procesamiento.

  Establecer este parámetro en ["meta"] hará que el Robot ignore los errores durante la extracción de metadatos.

  Establecer este parámetro en ["execute"] hará que el Robot ignore los errores durante la fase principal de ejecución.

  Configurar este parámetro como true equivale a ["meta", "execute"] y hará que se ignoren los errores en ambas fases.

• use

  string | Array<string> | Array<object> | object

  Especifica qué Step o Steps se usarán como entrada.

  • Puedes elegir cualquier nombre para los Steps, excepto ":original" (reservado para las subidas de usuarios gestionadas por Transloadit)
  • Puedes proporcionar varios Steps como entrada mediante arrays:

    {
      "use": [
        ":original",
        "encoded",
        "resized"
      ]
    }
    

  • También puedes etiquetar los Steps de entrada con as para comunicar la intención semántica a los Robots:

    {
      "use": [
        {
          "name": ":original",
          "as": "image"
        },
        {
          "name": ":original",
          "as": "mask"
        }
      ]
    }
    

  Consejo

  Probablemente eso sea todo lo que necesitas saber sobre use, pero puedes consultar los casos de uso avanzados.

• provider

  auto | aws | gcp(valor predeterminado: "auto")

  Se selecciona automáticamente el mejor proveedor según tu solicitud.

  Configura este parámetro con "aws" o "gcp" para forzar un proveedor específico.

• granularity

  full | list(valor predeterminado: "full")

  Indica si se debe devolver una respuesta completa ("full"), incluidos los porcentajes de confianza de cada etiqueta encontrada, o solo una lista simple de etiquetas ("list").

• format

  json | meta | text(valor predeterminado: "json")

  Formato en el que se devolverán las descripciones.

  • "json" devuelve un archivo JSON.
  • "meta" no devuelve ningún archivo, sino que almacena los datos dentro del objeto de archivo de Transloadit (en ${file.meta.descriptions}) que se pasa entre los Steps de encoding, para que puedas usar los valores a fin de incrustar los datos en videos, filtrarlos, etc.

• explicit_descriptions

  boolean(valor predeterminado: false)

  Indica si se deben devolver únicamente descripciones explícitas o únicamente descripciones no explícitas de la imagen proporcionada. Las descripciones explícitas incluyen etiquetas de contenido para adultos o inapropiado (desnudez, violencia, etc.). Si se establece en false, solo se devolverán descripciones no explícitas (como persona o silla). Si se establece en true, solo se devolverán descripciones explícitas.

  Las descripciones posibles dependen del proveedor elegido. Puedes consultar la lista de etiquetas de AWS en su documentación⁠. GCP etiqueta la imagen según cinco categorías, como se describe en su documentación⁠.

  Para ver un ejemplo de cómo rechazar automáticamente contenido para adultos o inapropiado y malware, consulta esta publicación del blog EN (English).

Demos

Publicaciones relacionadas del blog