ItemReader (Mappa)

Uno stato della mappa distribuita può accettare un JSON input passato da una fase precedente del flusso di lavoro. Questo input deve essere un array o deve contenere un array all'interno di un nodo specifico. Per selezionare un nodo che contiene l'array, puoi usare il ItemsPath (Mappa) campo.

Per elaborare singoli elementi dell'array, lo stato Distributed Map avvia un'esecuzione del flusso di lavoro secondario per ogni elemento dell'array. Le schede seguenti mostrano esempi dell'input passato allo Map stato e dell'input corrispondente all'esecuzione di un workflow secondario.

Uno stato della mappa distribuita può iterare sugli oggetti archiviati in un bucket Amazon S3. Quando l'esecuzione del flusso di lavoro raggiunge lo Map stato, Step Functions richiama l'APIazione ListObjectsV2, che restituisce un array di metadati degli oggetti Amazon S3. In questo array, ogni elemento contiene dati, ad esempio una chiave, per i ETagdati archiviati nel bucket.

Per elaborare i singoli elementi dell'array, lo stato Distributed Map avvia l'esecuzione di un workflow secondario. Ad esempio, supponiamo che il bucket Amazon S3 contenga 100 immagini. Quindi, l'array restituito dopo aver richiamato l'ListObjectsV2APIazione contiene 100 elementi. Lo stato Distributed Map avvia quindi 100 esecuzioni di workflow secondarie per elaborare ogni elemento dell'array.

Le schede seguenti mostrano esempi della sintassi dei ItemReader campi e dell'input passato all'esecuzione di un workflow secondario per questo set di dati.

Uno stato della mappa distribuita può accettare un JSON file archiviato in un bucket Amazon S3 come set di dati. Il JSON file deve contenere un array.

Quando l'esecuzione del workflow raggiunge lo Map stato, Step Functions richiama l'GetObjectAPIazione per recuperare il file specificato. JSON Lo Map stato esegue quindi un'iterazione su ogni elemento dell'array e avvia un'esecuzione del flusso di lavoro secondario per ogni elemento. Ad esempio, se il JSON file contiene 1000 elementi dell'array, lo Map stato avvia 1000 esecuzioni di workflow secondarie.

Le schede seguenti mostrano esempi della sintassi dei ItemReader campi e dell'input passato all'esecuzione di un workflow secondario per questo set di dati.

Per questo esempio, immaginate di avere un JSON file denominato. factcheck.json Hai memorizzato questo file all'interno di un prefisso denominato jsonDataset in un bucket Amazon S3. Di seguito è riportato un esempio del set di dati. JSON

[
  {
    "verdict": "true",
    "statement_date": "6/11/2008",
    "statement_source": "speech"
  },
  {
    "verdict": "false",
    "statement_date": "6/7/2022",
    "statement_source": "television"
  },
  {
    "verdict": "mostly-true",
    "statement_date": "5/18/2016",
    "statement_source": "news"
  },
  ...
]

Uno stato della mappa distribuita può accettare un CSV file archiviato in un bucket Amazon S3 come set di dati. Se utilizzi un CSV file come set di dati, devi specificare un'intestazione di colonna. CSV Per informazioni su come specificare un'CSVintestazione, consulta. Contenuto del campo ItemReader

Step Functions analizza CSV i file in base alle seguenti regole:

Per ulteriori informazioni su come Step Functions analizza un CSV file, vedereExample of parsing an input CSV file.

Quando l'esecuzione del workflow raggiunge lo Map stato, Step Functions richiama l'GetObjectAPIazione per recuperare il file specificato. CSV Lo Map stato esegue quindi un'iterazione su ogni riga del CSV file e avvia un'esecuzione secondaria del flusso di lavoro per elaborare gli elementi di ogni riga. Ad esempio, supponete di fornire un CSV file che contiene 100 righe come input. Quindi, l'interprete passa ogni riga allo Map stato. Lo Map stato elabora gli elementi in ordine seriale, a partire dalla riga di intestazione.

Le schede seguenti mostrano esempi della sintassi dei ItemReader campi e dell'input passato all'esecuzione di un workflow secondario per questo set di dati.

Uno stato Distributed Map può accettare un file manifesto di inventario Amazon S3 archiviato in un bucket Amazon S3 come set di dati.

Quando l'esecuzione del flusso di lavoro raggiunge lo Map stato, Step Functions richiama l'GetObjectAPIazione per recuperare il file manifesto dell'inventario Amazon S3 specificato. Lo Map stato esegue quindi un'iterazione sugli oggetti nell'inventario per restituire una matrice di metadati degli oggetti di inventario Amazon S3.

Di seguito è riportato un esempio di modello di inventario in CSV formato. Questo file include gli oggetti denominati csvDataset andimageDataset, che sono archiviati in un bucket Amazon S3 denominato. amzn-s3-demo-source-bucket

"amzn-s3-demo-source-bucket","csvDataset/","0","2022-11-16T00:27:19.000Z"
"amzn-s3-demo-source-bucket","csvDataset/titles.csv","3399671","2022-11-16T00:29:32.000Z"
"amzn-s3-demo-source-bucket","imageDataset/","0","2022-11-15T20:00:44.000Z"
"amzn-s3-demo-source-bucket","imageDataset/n02085620_10074.jpg","27034","2022-11-15T20:02:16.000Z"
...

Il seguente esempio di file di manifesto dell'inventario mostra le CSV intestazioni dei metadati degli oggetti di inventario.

{
  "sourceBucket" : "amzn-s3-demo-source-bucket",
  "destinationBucket" : "arn:aws:s3:::amzn-s3-demo-inventory",
  "version" : "2016-11-30",
  "creationTimestamp" : "1668560400000",
  "fileFormat" : "CSV",
  "fileSchema" : "Bucket, Key, Size, LastModifiedDate",
  "files" : [ {
    "key" : "amzn-s3-demo-bucket/destination-prefix/data/20e55de8-9c21-45d4-99b9-46c732000228.csv.gz",
    "size" : 7300,
    "MD5checksum" : "a7ff4a1d4164c3cd55851055ec8f6b20"
  } ]
}

Le schede seguenti mostrano esempi della sintassi del ItemReader campo e dell'input passato all'esecuzione di un workflow secondario per questo set di dati.