Step Functions 如何解析输入文件 CSV - AWS Step Functions

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Step Functions 如何解析输入文件 CSV

Step Functions 根据以下规则解析CSV文件：

  • 逗号 (,) 是分隔字段的分隔符。

  • 换行符是分隔记录的分隔符。

  • 字段被视为字符串。对于数据类型转换，使用 ItemSelector （地图） 中的 States.StringToJson 内置函数。

  • 不要求使用双引号 (” “) 将字符串括起来。但是，用双引号括起来的字符串可以包含逗号和换行符，而不必充当记录分隔符。

  • 您可以通过重复双引号来保留它们。

  • 如果一行中的字段数少于标题中的字段数，Step Functions 会为缺失值提供空字符串。

  • 如果一行中的字段数大于标题中的字段数，Step Functions 会跳过其他字段。

例
解析输入文件 CSV

假设您提供了一个名为的CSV文件myCSVInput.csv，其中包含一行作为输入。然后，您已将此文件存储在名为 amzn-s3-demo-bucket 的 Amazon S3 存储桶中。该CSV文件如下所示。

abc,123,"This string contains commas, a double quotation marks (""), and a newline (
)",{""MyKey"":""MyValue""},"[1,2,3]"

以下状态机读取此CSV文件ItemSelector （地图）并用于转换某些字段的数据类型。

{
  "StartAt": "Map",
  "States": {
    "Map": {
      "Type": "Map",
      "ItemProcessor": {
        "ProcessorConfig": {
          "Mode": "DISTRIBUTED",
          "ExecutionType": "STANDARD"
        },
        "StartAt": "Pass",
        "States": {
          "Pass": {
            "Type": "Pass",
            "End": true
          }
        }
      },
      "End": true,
      "Label": "Map",
      "MaxConcurrency": 1000,
      "ItemReader": {
        "Resource": "arn:aws:states:::s3:getObject",
        "ReaderConfig": {
          "InputType": "CSV",
          "CSVHeaderLocation": "GIVEN",
          "CSVHeaders": [
            "MyLetters",
            "MyNumbers",
            "MyString",
            "MyObject",
            "MyArray"
          ]
        },
        "Parameters": {
          "Bucket": "amzn-s3-demo-bucket",
          "Key": "myCSVInput.csv"
        }
      },
      "ItemSelector": {
        "MyLetters.$": "$$.Map.Item.Value.MyLetters",
        "MyNumbers.$": "States.StringToJson($$.Map.Item.Value.MyNumbers)",
        "MyString.$": "$$.Map.Item.Value.MyString",
        "MyObject.$": "States.StringToJson($$.Map.Item.Value.MyObject)",
        "MyArray.$": "States.StringToJson($$.Map.Item.Value.MyArray)"
      }
    }
  }
}

当您运行这个状态机时，它会产生以下输出。

[
  {
    "MyNumbers": 123,
    "MyObject": {
      "MyKey": "MyValue"
    },
    "MyString": "This string contains commas, a double quote (\"), and a newline (\n)",
    "MyLetters": "abc",
    "MyArray": [
      1,
      2,
      3
    ]
  }
]