ItemReader (지도)

분산 맵 상태는 워크플로의 이전 단계에서 전달된 JSON 입력을 받아들일 수 있습니다. 이 입력은 배열이거나 특정 노드 내의 배열을 포함해야 합니다. 배열이 포함된 노드를 선택하려면 ItemsPath (맵) 필드를 사용하면 됩니다.

배열의 개별 항목을 처리하기 위해 Distributed Map 상태는 배열 항목마다 하위 워크플로 실행을 시작합니다. 다음 탭에서는 Map 상태에 전달된 입력과 하위 워크플로 실행에 대한 해당 입력의 예제를 보여줍니다.

Distributed Map 상태는 Amazon S3 버킷에 저장된 객체를 반복할 수 있습니다. 워크플로 실행이 Map 상태에 도달하면 Step Functions가 ListObjectsV2 API 작업을 호출하여 Amazon S3 객체 메타데이터의 배열을 반환합니다. 이 배열의 각 항목에는 버킷에 저장된 데이터에 대한 데이터 (예: ETag및 Key) 가 포함됩니다.

배열의 개별 항목을 처리하기 위해 Distributed Map 상태는 하위 워크플로 실행을 시작합니다. 예를 들어 Amazon S3 버킷에 이미지 100개가 포함되어 있다고 가정해보겠습니다. 그러면 ListObjectsV2 API 작업을 호출한 후 반환되는 배열에는 100개의 항목이 포함됩니다. 그런 다음 Distributed Map 상태는 하위 워크플로 실행 100개를 시작하여 각 배열 항목을 처리합니다.

다음 탭에서는 이 데이터 세트의 하위 워크플로 실행에 전달된 ItemReader 필드 구문과 입력의 예제를 보여줍니다.

분산 맵 상태는 Amazon S3 버킷에 저장된 JSON 파일을 데이터세트로 받아들일 수 있습니다. JSON파일에는 배열이 포함되어야 합니다.

워크플로 실행이 Map 상태에 도달하면 Step Functions가 GetObjectAPI작업을 호출하여 지정된 JSON 파일을 가져옵니다. 그러면 Map 상태가 배열의 각 항목을 반복하고 항목마다 하위 워크플로 실행을 시작합니다. 예를 들어, JSON 파일에 1000개의 배열 항목이 포함된 경우 Map 상태는 1,000개의 하위 워크플로 실행을 시작합니다.

다음 탭에서는 이 데이터 세트의 하위 워크플로 실행에 전달된 ItemReader 필드 구문과 입력의 예제를 보여줍니다.

이 예시에서는 이름이 지정된 JSON factcheck.json 파일이 있다고 가정해 보겠습니다. 이 파일은 Amazon S3 버킷의 jsonDataset 접두사 내에 저장되었습니다. 다음은 JSON 데이터셋의 예시입니다.

[
  {
    "verdict": "true",
    "statement_date": "6/11/2008",
    "statement_source": "speech"
  },
  {
    "verdict": "false",
    "statement_date": "6/7/2022",
    "statement_source": "television"
  },
  {
    "verdict": "mostly-true",
    "statement_date": "5/18/2016",
    "statement_source": "news"
  },
  ...
]

분산 맵 상태는 Amazon S3 버킷에 저장된 CSV 파일을 데이터세트로 받아들일 수 있습니다. CSV파일을 데이터세트로 사용하는 경우 CSV 열 헤더를 지정해야 합니다. CSV헤더를 지정하는 방법에 대한 자세한 내용은 을 참조하십시오필드 콘텐츠 ItemReader .

Step Functions는 다음 규칙에 따라 CSV 파일을 파싱합니다.

Step Functions가 CSV 파일을 파싱하는 방법에 대한 자세한 내용은 을 참조하십시오Example of parsing an input CSV file.

워크플로 실행이 Map 상태에 도달하면 Step Functions가 GetObjectAPI작업을 호출하여 지정된 CSV 파일을 가져옵니다. 그러면 Map 상태가 CSV 파일의 각 행을 반복하고 하위 워크플로 실행을 시작하여 각 행의 항목을 처리합니다. 예를 들어 100개의 행이 포함된 CSV 파일을 입력으로 제공한다고 가정해 보겠습니다. 그러면 인터프리터에서 각 행을 Map 상태에 전달합니다. Map 상태는 헤더 행 다음부터 순차적으로 항목을 처리합니다.

다음 탭에서는 이 데이터 세트의 하위 워크플로 실행에 전달된 ItemReader 필드 구문과 입력의 예제를 보여줍니다.

Distributed Map 상태는 Amazon S3 버킷에 저장된 Amazon S3 인벤토리 매니페스트 파일을 데이터 세트로 허용할 수 있습니다.

워크플로 실행이 Map 상태에 도달하면 Step Functions는 GetObjectAPI작업을 호출하여 지정된 Amazon S3 인벤토리 매니페스트 파일을 가져옵니다. 그런 다음 Map 상태는 인벤토리의 객체를 반복하여 Amazon S3 인벤토리 객체 메타데이터 배열을 반환합니다.

다음은 CSV 형식의 재고 파일 예시입니다. 이 파일에는 amzn-s3-demo-source-bucket이라는 Amazon S3 버킷에 저장되어 있는 csvDataset 및 imageDataset 객체가 포함되어 있습니다.

"amzn-s3-demo-source-bucket","csvDataset/","0","2022-11-16T00:27:19.000Z"
"amzn-s3-demo-source-bucket","csvDataset/titles.csv","3399671","2022-11-16T00:29:32.000Z"
"amzn-s3-demo-source-bucket","imageDataset/","0","2022-11-15T20:00:44.000Z"
"amzn-s3-demo-source-bucket","imageDataset/n02085620_10074.jpg","27034","2022-11-15T20:02:16.000Z"
...

다음 인벤토리 매니페스트 파일 예제는 인벤토리 객체 CSV 메타데이터의 헤더를 보여줍니다.

{
  "sourceBucket" : "amzn-s3-demo-source-bucket",
  "destinationBucket" : "arn:aws:s3:::amzn-s3-demo-inventory",
  "version" : "2016-11-30",
  "creationTimestamp" : "1668560400000",
  "fileFormat" : "CSV",
  "fileSchema" : "Bucket, Key, Size, LastModifiedDate",
  "files" : [ {
    "key" : "amzn-s3-demo-bucket/destination-prefix/data/20e55de8-9c21-45d4-99b9-46c732000228.csv.gz",
    "size" : 7300,
    "MD5checksum" : "a7ff4a1d4164c3cd55851055ec8f6b20"
  } ]
}

다음 탭에서는 이 데이터 세트의 하위 워크플로 실행에 전달된 ItemReader 필드 구문과 입력의 예제를 보여줍니다.