ItemReader (Mapa)

Un estado de mapa distribuido puede aceptar una JSON entrada pasada desde un paso anterior del flujo de trabajo. Esta entrada debe ser una matriz o debe contener una matriz dentro de un nodo específico. Para seleccionar un nodo que contenga la matriz, puede usar el campo ItemsPath (Mapa).

Para procesar los elementos individuales de la matriz, el estado Map Distributed inicia la ejecución de un flujo de trabajo secundario para cada elemento de la matriz. Las siguientes pestañas muestran ejemplos de la entrada que se transfiere al estado Map y la entrada correspondiente a la ejecución de un flujo de trabajo secundario.

Un estado Map Distributed puede iterar sobre los objetos que se almacenan en un bucket de Amazon S3. Cuando la ejecución del flujo de trabajo alcanza el Map estado, Step Functions invoca la API acción ListObjectsV2, que devuelve una matriz de metadatos del objeto Amazon S3. En esta matriz, cada elemento contiene datos, como ETaguna clave, para los datos almacenados en el depósito.

Para procesar los elementos individuales de la matriz, el estado Map Distributed inicia la ejecución de un flujo de trabajo secundario. Por ejemplo, suponga que su bucket de Amazon S3 contiene 100 imágenes. A continuación, la matriz devuelta tras invocar la ListObjectsV2 API acción contiene 100 elementos. A continuación, el estado Map Distributed inicia 100 ejecuciones de flujos de trabajo secundarios para procesar cada elemento de la matriz.

En las siguientes pestañas se muestran ejemplos de la sintaxis del campo ItemReader y de la entrada que se transfiere a la ejecución de un flujo de trabajo secundario para este conjunto de datos.

Un estado de mapa distribuido puede aceptar un JSON archivo almacenado en un bucket de Amazon S3 como conjunto de datos. El JSON archivo debe contener una matriz.

Cuando la ejecución del flujo de trabajo alcanza el Map estado, Step Functions invoca la GetObjectAPIacción para recuperar el archivo especificadoJSON. A continuación, el estado Map se repite sobre cada elemento de la matriz e inicia la ejecución de un flujo de trabajo secundario para cada elemento. Por ejemplo, si el JSON archivo contiene 1000 elementos de matriz, el Map estado inicia 1000 ejecuciones de flujos de trabajo secundarios.

En las siguientes pestañas se muestran ejemplos de la sintaxis del campo ItemReader y de la entrada que se transfiere a la ejecución de un flujo de trabajo secundario para este conjunto de datos.

Para este ejemplo, imagine que tiene un JSON archivo llamadofactcheck.json. Ha almacenado este archivo en un prefijo llamado jsonDataset en un bucket de Amazon S3. El siguiente es un ejemplo del JSON conjunto de datos.

[
  {
    "verdict": "true",
    "statement_date": "6/11/2008",
    "statement_source": "speech"
  },
  {
    "verdict": "false",
    "statement_date": "6/7/2022",
    "statement_source": "television"
  },
  {
    "verdict": "mostly-true",
    "statement_date": "5/18/2016",
    "statement_source": "news"
  },
  ...
]

Un estado de mapa distribuido puede aceptar un CSV archivo almacenado en un bucket de Amazon S3 como conjunto de datos. Si usa un CSV archivo como conjunto de datos, debe especificar un encabezado de CSV columna. Para obtener información sobre cómo especificar un CSV encabezado, consulteContenido del ItemReader campo.

Step Functions analiza CSV los archivos según las siguientes reglas:

Para obtener más información sobre cómo Step Functions analiza un CSV archivo, consulteExample of parsing an input CSV file.

Cuando la ejecución del flujo de trabajo alcanza el Map estado, Step Functions invoca la GetObjectAPIacción para recuperar el archivo especificadoCSV. A continuación, el Map estado se repite en cada fila del CSV archivo e inicia la ejecución de un flujo de trabajo secundario para procesar los elementos de cada fila. Por ejemplo, supongamos que proporciona un CSV archivo que contiene 100 filas como entrada. Entonces, el intérprete pasa cada fila al estado Map. El estado Map procesa los elementos en orden de serie, a partir de la fila siguiente al encabezado.

En las siguientes pestañas se muestran ejemplos de la sintaxis del campo ItemReader y de la entrada que se transfiere a la ejecución de un flujo de trabajo secundario para este conjunto de datos.

Un estado Map Distributed puede aceptar un archivo de manifiesto de inventario de Amazon S3 almacenado en un bucket de Amazon S3 como conjunto de datos.

Cuando la ejecución del flujo de trabajo alcanza el Map estado, Step Functions invoca la GetObjectAPIacción para recuperar el archivo de manifiesto de inventario de Amazon S3 especificado. A continuación, el estado Map recorre en iteración los objetos del inventario para devolver una matriz de metadatos de objetos de inventario de Amazon S3.

A continuación se muestra un ejemplo de fichero de inventario en CSV formato. Este archivo incluye los objetos denominados csvDataset yimageDataset, que se almacenan en un bucket de Amazon S3 que lleva ese nombre amzn-s3-demo-source-bucket.

"amzn-s3-demo-source-bucket","csvDataset/","0","2022-11-16T00:27:19.000Z"
"amzn-s3-demo-source-bucket","csvDataset/titles.csv","3399671","2022-11-16T00:29:32.000Z"
"amzn-s3-demo-source-bucket","imageDataset/","0","2022-11-15T20:00:44.000Z"
"amzn-s3-demo-source-bucket","imageDataset/n02085620_10074.jpg","27034","2022-11-15T20:02:16.000Z"
...

El siguiente ejemplo de un archivo de manifiesto de inventario muestra CSV los encabezados de los metadatos de los objetos de inventario.

{
  "sourceBucket" : "amzn-s3-demo-source-bucket",
  "destinationBucket" : "arn:aws:s3:::amzn-s3-demo-inventory",
  "version" : "2016-11-30",
  "creationTimestamp" : "1668560400000",
  "fileFormat" : "CSV",
  "fileSchema" : "Bucket, Key, Size, LastModifiedDate",
  "files" : [ {
    "key" : "amzn-s3-demo-bucket/destination-prefix/data/20e55de8-9c21-45d4-99b9-46c732000228.csv.gz",
    "size" : 7300,
    "MD5checksum" : "a7ff4a1d4164c3cd55851055ec8f6b20"
  } ]
}

En las siguientes pestañas se muestran ejemplos de la sintaxis del campo ItemReader y de la entrada que se transfiere a la ejecución de un flujo de trabajo secundario para este conjunto de datos.