Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Das ItemReader Feld ist ein JSON-Objekt, das einen Datensatz und seinen Speicherort angibt. Ein Distributed-Map-Status verwendet diesen Datensatz als Eingabe.
Das folgende Beispiel zeigt die Syntax des ItemReader Felds in einem JSONPathbasierten Workflow für einen Datensatz in einer durch Text getrennten Datei, die in einem Amazon S3 S3-Bucket gespeichert ist.
"ItemReader": {
"ReaderConfig": {
"InputType": "CSV",
"CSVHeaderLocation": "FIRST_ROW"
},
"Resource": "arn:aws:states:::s3:getObject",
"Parameters": {
"Bucket": "myBucket",
"Key": "csvDataset/ratings.csv",
"VersionId": "BcK42coT2jE1234VHLUvBV1yLNod2OEt"
}
}Das folgende Beispiel zeigt, dass in JSONata basierten Workflows, durch Parameters Argumente ersetzt wird.
"ItemReader": {
"ReaderConfig": {
"InputType": "CSV",
"CSVHeaderLocation": "FIRST_ROW"
},
"Resource": "arn:aws:states:::s3:getObject",
"Arguments": {
"Bucket": "amzn-s3-demo-bucket",
"Key": "csvDataset/ratings.csv"
}
}Tipp
In Workflow Studio geben Sie den Datensatz und seinen Speicherort im Feld Elementquelle an.
Inhalt des ItemReader Felds
Je nach Datensatz variiert der Inhalt des ItemReader Felds. Wenn es sich bei Ihrem Datensatz beispielsweise um ein JSON-Array handelt, das aus einem vorherigen Schritt im Workflow übergeben wurde, wird das ItemReader Feld weggelassen. Wenn es sich bei Ihrem Datensatz um eine Amazon S3 S3-Datenquelle handelt, enthält dieses Feld die folgenden Unterfelder.
ReaderConfig-
Ein JSON-Objekt, das die folgenden Details spezifiziert:
-
InputTypeAkzeptiert einen der folgenden Werte:
CSV,JSON,JSONL,MANIFEST.Gibt den Typ der Amazon S3 S3-Datenquelle an, z. B. eine durch Text getrennte Datei (
CSV), ein Objekt, eine JSON-Datei, JSON-Zeilen oder eine Amazon S3 S3-Inventarliste. In Workflow Studio können Sie einen Eingabetyp aus der Dropdownliste Amazon S3 S3-Artikelquelle unter dem Feld Artikelquelle auswählen. -
CSVDelimiterGeben Sie dieses Feld nur an, wenn Sie
CSVas verwendenInputType, was auf eine durch Text getrennte Datei hinweist. Akzeptiert einen der folgenden Werte:COMMA(Standard),,,PIPESEMICOLON,SPACE.TABAnmerkung
Das
CSVDelimiterFeld bietetItemReadermehr Flexibilität bei der Unterstützung von Dateien, die durch andere Zeichen als das Komma getrennt sind. Gehen Sie daher davon aus, dass unsere Verweise auf CSV-Dateien in Bezug aufItemReaderauch Dateien umfassen, die Trennzeichen verwenden, die vom Feld akzeptiert werden.CSVDelimiter -
CSVHeaderLocationErforderlich, falls dies der
CSVFallInputTypeist, was auf eine durch Text getrennte Datei hinweist, deren Trennzeichen vom Feld akzeptiert werden.CSVDelimiterAkzeptiert einen der folgenden Werte, um die Position der Spaltenüberschrift anzugeben:
-
FIRST_ROW— Verwenden Sie diese Option, wenn die erste Zeile der Datei die Kopfzeile ist. -
GIVEN— Verwenden Sie diese Option, um den Header innerhalb der State-Machine-Definition anzugeben. Zum Beispiel, wenn Ihre Datei die folgenden Daten enthält.1,307,3.5,1256677221 1,481,3.5,1256677456 1,1091,1.5,1256677471 ...Stellen Sie das folgende JSON-Array als CSV-Header bereit.
"ItemReader": { "ReaderConfig": { "InputType": "CSV", "CSVHeaderLocation": "GIVEN", "CSVHeaders": ["userId","movieId","rating","timestamp"] } }
Wichtig
Derzeit unterstützt Step Functions Header von bis zu 10 KiB für textgetrennte Dateien.
Tipp
In Workflow Studio finden Sie diese Option unter Zusätzliche Konfiguration im Feld Artikelquelle.
-
-
MaxItemsBeschränkt die Anzahl der Datenelemente, die an den
MapBundesstaat übergeben werden. Nehmen wir beispielsweise an, Sie stellen eine durch Text getrennte Datei bereit, die 1000 Zeilen enthält, und geben einen Grenzwert von 100 an. Dann übergibt der Interpreter nur 100 Zeilen an den Bundesstaat.MapDerMapStatus verarbeitet Elemente in sequentieller Reihenfolge, beginnend nach der Kopfzeile.Standardmäßig durchläuft der
MapStatus alle Elemente im angegebenen Datensatz.Anmerkung
Derzeit können Sie einen Grenzwert von bis zu 100.000.000 angeben. Im Status Distributed Map werden keine Elemente mehr gelesen, die diesen Grenzwert überschreiten.
Tipp
In Workflow Studio finden Sie diese Option unter Zusätzliche Konfiguration im Feld Elementquelle.
Alternativ können Sie in Ihrer Statuseingabe für Distributed Map einen Referenzpfad zu einem vorhandenen Schlüssel-Wert-Paar angeben. Dieser Pfad muss in eine positive Ganzzahl aufgelöst werden. Sie geben den Referenzpfad im
MaxItemsPathUnterfeld an.Wichtig
Sie können entweder das
MaxItemsoder dasMaxItemsPathUnterfeld angeben, aber nicht beide.
-
Resource-
Die Amazon S3 S3-API-Aktion, die Step Functions aufrufen muss, hängt vom angegebenen Datensatz ab.
Parameters-
Ein JSON-Objekt, das den Amazon S3 S3-Bucket-Namen und den Objektschlüssel angibt, in dem der Datensatz gespeichert ist. In diesem Feld können Sie auch die Amazon S3 S3-Objektversion angeben, wenn für den Bucket die Versionierung aktiviert ist.
Wichtig
Stellen Sie sicher, dass sich Ihre Amazon S3 S3-Buckets unter demselben AWS-Konto und AWS-Region Ihrem Zustandsmaschine befinden.
Beispiele für Datensätze
Sie können eine der folgenden Optionen als Ihren Datensatz angeben:
Wichtig
Step Functions benötigt die entsprechenden Berechtigungen für den Zugriff auf die Amazon S3 S3-Datensätze, die Sie verwenden. Informationen zu den IAM-Richtlinien für die Datensätze finden Sie unter. IAM-Richtlinien für Datensätze
Ein Distributed-Map-Status kann eine JSON-Eingabe akzeptieren, die aus einem vorherigen Schritt im Workflow übergeben wurde. Diese Eingabe muss entweder ein Array sein oder ein Array innerhalb eines bestimmten Knotens enthalten. Um einen Knoten auszuwählen, der das Array enthält, können Sie das ItemsPath ( JSONPath Nur Karte) Feld verwenden.
Um einzelne Elemente im Array zu verarbeiten, startet der Status Distributed Map eine untergeordnete Workflow-Ausführung für jedes Array-Element. Die folgenden Registerkarten zeigen Beispiele für die an den Map Status übergebenen Eingaben und die entsprechende Eingabe für die Ausführung eines untergeordneten Workflows.
Anmerkung
Step Functions lässt das ItemReader Feld aus, wenn es sich bei Ihrem Datensatz um ein JSON-Array aus einem vorherigen Schritt handelt.
Ein Distributed Map-Status kann über die Objekte iterieren, die in einem Amazon S3 S3-Bucket gespeichert sind. Wenn die Workflow-Ausführung den Map Status erreicht, ruft Step Functions die ListObjectsV2-API-Aktion auf, die ein Array der Amazon S3 S3-Objektmetadaten zurückgibt. In diesem Array enthält jedes Element Daten, wie z. B. ETagund Key, für die im Bucket gespeicherten Daten.
Um einzelne Elemente im Array zu verarbeiten, startet der Status Distributed Map die Ausführung eines untergeordneten Workflows. Nehmen wir zum Beispiel an, dass Ihr Amazon S3 S3-Bucket 100 Bilder enthält. Dann enthält das nach dem Aufrufen der ListObjectsV2 API-Aktion zurückgegebene Array 100 Elemente. Der Status Distributed Map startet dann 100 untergeordnete Workflow-Ausführungen, um jedes Array-Element zu verarbeiten.
Anmerkung
-
Derzeit enthält Step Functions auch ein Element für jeden Ordner, den Sie mit der Amazon S3 S3-Konsole in einem bestimmten Amazon S3 S3-Bucket erstellen. Dies führt zu einer zusätzlichen untergeordneten Workflow-Ausführung, die durch den Status Distributed Map gestartet wird. Um zu vermeiden, dass für den Ordner eine zusätzliche untergeordnete Workflow-Ausführung erforderlich ist, empfehlen wir, die AWS CLI zum Erstellen von Ordnern zu verwenden. Weitere Informationen finden Sie unter Amazon S3 S3-Befehle auf hoher Ebene im AWS Command Line Interface Benutzerhandbuch.
Step Functions benötigt die entsprechenden Berechtigungen für den Zugriff auf die Amazon S3 S3-Datensätze, die Sie verwenden. Informationen zu den IAM-Richtlinien für die Datensätze finden Sie unter. IAM-Richtlinien für Datensätze
Die folgenden Registerkarten zeigen Beispiele für die ItemReader Feldsyntax und die Eingabe, die an die Ausführung eines untergeordneten Workflows für diesen Datensatz übergeben wurde.
Ein Distributed Map-Status kann eine JSON-Datei, die in einem Amazon S3 S3-Bucket gespeichert ist, als Datensatz akzeptieren. Die JSON-Datei muss ein Array enthalten.
Wenn die Workflow-Ausführung den Map Status erreicht, ruft Step Functions die GetObjectAPI-Aktion auf, um die angegebene JSON-Datei abzurufen. Der Map Status iteriert dann über jedes Element im Array und startet für jedes Element eine untergeordnete Workflow-Ausführung. Wenn Ihre JSON-Datei beispielsweise 1000 Array-Elemente enthält, startet der Map Status 1000 untergeordnete Workflow-Ausführungen.
Anmerkung
-
Die Ausführungseingabe, die zum Starten einer untergeordneten Workflow-Ausführung verwendet wird, darf 256 KiB nicht überschreiten. Step Functions unterstützt jedoch das Lesen eines Elements mit einer Größe von bis zu 8 MB aus einer durch Text getrennten Datei, JSON- oder JSON-Zeilendatei, wenn Sie anschließend das optionale
ItemSelectorFeld anwenden, um die Größe des Elements zu reduzieren. -
Derzeit unterstützt Step Functions 10 GB als maximale Größe einer einzelnen Datei in Amazon S3.
Step Functions benötigt die entsprechenden Berechtigungen für den Zugriff auf die Amazon S3 S3-Datensätze, die Sie verwenden. Informationen zu den IAM-Richtlinien für die Datensätze finden Sie unter. IAM-Richtlinien für Datensätze
Die folgenden Registerkarten zeigen Beispiele für die ItemReader Feldsyntax und die Eingabe, die an die Ausführung eines untergeordneten Workflows für diesen Datensatz übergeben wurde.
Stellen Sie sich für dieses Beispiel vor, Sie haben eine JSON-Datei mit dem Namenfactcheck.jsonjsonDataset
[
{
"verdict": "true",
"statement_date": "6/11/2008",
"statement_source": "speech"
},
{
"verdict": "false",
"statement_date": "6/7/2022",
"statement_source": "television"
},
{
"verdict": "mostly-true",
"statement_date": "5/18/2016",
"statement_source": "news"
},
...
]Ein Distributed Map-Status kann eine JSON Lines-Datei, die in einem Amazon S3 S3-Bucket gespeichert ist, als Datensatz akzeptieren.
Anmerkung
-
Die Ausführungseingabe, die zum Starten einer untergeordneten Workflow-Ausführung verwendet wird, darf 256 KiB nicht überschreiten. Step Functions unterstützt jedoch das Lesen eines Elements mit einer Größe von bis zu 8 MB aus einer durch Text getrennten Datei, JSON- oder JSON-Zeilendatei, wenn Sie anschließend das optionale
ItemSelectorFeld anwenden, um die Größe des Elements zu reduzieren. -
Derzeit unterstützt Step Functions 10 GB als maximale Größe einer einzelnen Datei in Amazon S3.
Step Functions benötigt die entsprechenden Berechtigungen für den Zugriff auf die Amazon S3 S3-Datensätze, die Sie verwenden. Informationen zu den IAM-Richtlinien für die Datensätze finden Sie unter. IAM-Richtlinien für Datensätze
Die folgenden Registerkarten zeigen Beispiele für die ItemReader Feldsyntax und die Eingabe, die an die Ausführung eines untergeordneten Workflows für diesen Datensatz übergeben wurde.
Stellen Sie sich für dieses Beispiel vor, Sie haben eine JSON Lines-Datei mit dem Namenfactcheck.jsonljsonlDataset
{"verdict": "true", "statement_date": "6/11/2008", "statement_source": "speech"}
{"verdict": "false", "statement_date": "6/7/2022", "statement_source": "television"}
{"verdict": "mostly-true", "statement_date": "5/18/2016", "statement_source": "news"}Anmerkung
Das CSVDelimiter Feld bietet ItemReader mehr Flexibilität bei der Unterstützung von Dateien, die durch andere Zeichen als das Komma getrennt sind. Gehen Sie daher davon aus, dass unsere Verweise auf CSV-Dateien in Bezug auf ItemReader auch Dateien umfassen, die Trennzeichen verwenden, die vom Feld akzeptiert werden. CSVDelimiter
Ein Distributed Map-Status kann eine durch Text getrennte Datei, die in einem Amazon S3 S3-Bucket gespeichert ist, als Datensatz akzeptieren. Wenn Sie eine durch Text getrennte Datei als Datensatz verwenden, müssen Sie eine Spaltenüberschrift angeben. Hinweise zum Angeben einer Kopfzeile finden Sie unter. Inhalt des ItemReader Felds
Step Functions analysiert textgetrennte Dateien auf der Grundlage der folgenden Regeln:
-
Das Trennzeichen, das Felder voneinander trennt, wird durch in angegeben.
CSVDelimiterReaderConfig Das Trennzeichen ist standardmäßig auf.COMMA -
Zeilenumbrüche sind ein Trennzeichen, das Datensätze voneinander trennt.
-
Felder werden als Zeichenketten behandelt. Verwenden Sie für Datentypkonvertierungen die
States.StringToJsonsysteminterne Funktion in. ItemSelector (Karte) -
Doppelte Anführungszeichen (“ „) sind nicht erforderlich, um Zeichenketten einzuschließen. Zeichenfolgen, die in doppelte Anführungszeichen eingeschlossen sind, können jedoch Kommas und Zeilenumbrüche enthalten, ohne als Datensatztrennzeichen zu dienen.
-
Sie können doppelte Anführungszeichen beibehalten, indem Sie sie wiederholen.
-
Wenn die Anzahl der Felder in einer Zeile geringer ist als die Anzahl der Felder in der Kopfzeile, stellt Step Functions leere Zeichenketten für die fehlenden Werte bereit.
-
Wenn die Anzahl der Felder in einer Zeile größer ist als die Anzahl der Felder in der Kopfzeile, überspringt Step Functions die zusätzlichen Felder.
Weitere Informationen darüber, wie Step Functions eine durch Text getrennte Datei analysiert, finden Sie unter. Example of parsing an input CSV file
Wenn die Workflow-Ausführung den Map Status erreicht, ruft Step Functions die GetObjectAPI-Aktion auf, um die angegebene Datei abzurufen. Der Map Status iteriert dann über jede Zeile in der Datei und startet eine untergeordnete Workflow-Ausführung, um die Elemente in jeder Zeile zu verarbeiten. Nehmen wir beispielsweise an, Sie stellen eine durch Text getrennte Datei bereit, die 100 Zeilen als Eingabe enthält. Dann übergibt der Interpreter jede Zeile an den Status. Map Der Map Status verarbeitet Elemente in serieller Reihenfolge, beginnend nach der Kopfzeile.
Anmerkung
-
Die Ausführungseingabe, die zum Starten einer untergeordneten Workflow-Ausführung verwendet wird, darf 256 KiB nicht überschreiten. Step Functions unterstützt jedoch das Lesen eines Elements mit einer Größe von bis zu 8 MB aus einer durch Text getrennten Datei, JSON- oder JSON-Zeilendatei, wenn Sie anschließend das optionale
ItemSelectorFeld anwenden, um die Größe des Elements zu reduzieren. -
Derzeit unterstützt Step Functions 10 GB als maximale Größe einer einzelnen Datei in Amazon S3.
Step Functions benötigt die entsprechenden Berechtigungen für den Zugriff auf die Amazon S3 S3-Datensätze, die Sie verwenden. Informationen zu den IAM-Richtlinien für die Datensätze finden Sie unter. IAM-Richtlinien für Datensätze
Die folgenden Registerkarten zeigen Beispiele für die ItemReader Feldsyntax und die Eingabe, die an die Ausführung eines untergeordneten Workflows für diesen Datensatz übergeben wurde.
Ein Distributed Map-Status kann eine Amazon S3 S3-Inventarmanifestdatei, die in einem Amazon S3 S3-Bucket gespeichert ist, als Datensatz akzeptieren.
Wenn die Workflow-Ausführung den Map Status erreicht, ruft Step Functions die GetObjectAPI-Aktion auf, um die angegebene Amazon S3 S3-Inventarmanifestdatei abzurufen. Der Map Status iteriert dann über die Objekte im Inventar, um ein Array von Amazon S3 S3-Inventarobjekt-Metadaten zurückzugeben.
Anmerkung
-
Derzeit unterstützt Step Functions 10 GB als maximale Größe einer einzelnen Datei in einem Amazon S3 S3-Inventarbericht nach der Dekomprimierung. Step Functions kann jedoch mehr als 10 GB verarbeiten, wenn jede einzelne Datei weniger als 10 GB groß ist.
Step Functions benötigt die entsprechenden Berechtigungen für den Zugriff auf die Amazon S3 S3-Datensätze, die Sie verwenden. Informationen zu den IAM-Richtlinien für die Datensätze finden Sie unter. IAM-Richtlinien für Datensätze
Im Folgenden finden Sie ein Beispiel für eine Inventardatei im CSV-Format. Diese Datei enthält die Objekte mit den Namen csvDataset undimageDataset, die in einem benannten Amazon S3 S3-Bucket gespeichert sindamzn-s3-demo-source-bucket.
"amzn-s3-demo-source-bucket","csvDataset/","0","2022-11-16T00:27:19.000Z"
"amzn-s3-demo-source-bucket","csvDataset/titles.csv","3399671","2022-11-16T00:29:32.000Z"
"amzn-s3-demo-source-bucket","imageDataset/","0","2022-11-15T20:00:44.000Z"
"amzn-s3-demo-source-bucket","imageDataset/n02085620_10074.jpg","27034","2022-11-15T20:02:16.000Z"
...Wichtig
Derzeit unterstützt Step Functions keinen benutzerdefinierten Amazon S3 S3-Inventarbericht als Datensatz. Sie müssen auch sicherstellen, dass das Ausgabeformat Ihres Amazon S3 S3-Inventarberichts CSV ist. Weitere Informationen zu Amazon S3 S3-Inventaren und deren Einrichtung finden Sie unter Amazon S3 S3-Inventar im Amazon S3 S3-Benutzerhandbuch.
Das folgende Beispiel für eine Inventar-Manifestdatei zeigt die CSV-Header für die Metadaten des Inventarobjekts.
{
"sourceBucket" : "amzn-s3-demo-source-bucket",
"destinationBucket" : "arn:aws:s3:::amzn-s3-demo-inventory",
"version" : "2016-11-30",
"creationTimestamp" : "1668560400000",
"fileFormat" : "CSV",
"fileSchema" : "Bucket, Key, Size, LastModifiedDate",
"files" : [ {
"key" : "amzn-s3-demo-bucket/destination-prefix/data/20e55de8-9c21-45d4-99b9-46c732000228.csv.gz",
"size" : 7300,
"MD5checksum" : "a7ff4a1d4164c3cd55851055ec8f6b20"
} ]
}
Die folgenden Registerkarten zeigen Beispiele für die ItemReader Feldsyntax und die Eingabe, die an die Ausführung eines untergeordneten Workflows für diesen Datensatz übergeben wurde.
IAM-Richtlinien für Datensätze
Wenn Sie Workflows mit der Step Functions-Konsole erstellen, kann Step Functions automatisch IAM-Richtlinien auf der Grundlage der Ressourcen in Ihrer Workflow-Definition generieren. Diese Richtlinien beinhalten die geringsten Rechte, die erforderlich sind, damit die Zustandsmaschinen-Rolle die StartExecution API-Aktion für den Status Distributed Map aufrufen kann. Diese Richtlinien beinhalten auch die Step Functions mit den geringsten Rechten, die für den Zugriff auf AWS Ressourcen wie Amazon S3 S3-Buckets und -Objekte sowie Lambda-Funktionen erforderlich sind. Wir empfehlen dringend, dass Sie nur die Berechtigungen in Ihre IAM-Richtlinien aufnehmen, die erforderlich sind. Wenn Ihr Workflow beispielsweise einen Map Status im Modus „Verteilt“ umfasst, beschränken Sie Ihre Richtlinien auf den spezifischen Amazon S3 S3-Bucket und -Ordner, der Ihren Datensatz enthält.
Wichtig
Wenn Sie einen Amazon S3 S3-Bucket und ein Objekt oder ein Präfix mit einem Referenzpfad zu einem vorhandenen Schlüssel-Wert-Paar in Ihrer Distributed Map-Statuseingabe angeben, stellen Sie sicher, dass Sie die IAM-Richtlinien für Ihren Workflow aktualisieren. Beschränken Sie die Richtlinien auf die Bucket- und Objektnamen, zu denen der Pfad zur Laufzeit aufgelöst wird.
Die folgenden Beispiele für IAM-Richtlinien gewähren die geringsten Rechte, die für den Zugriff auf Ihre Amazon S3 S3-Datensätze mithilfe der ListObjectsV2 - und GetObjectAPI-Aktionen erforderlich sind.
Beispiel IAM-Richtlinie für Amazon S3 S3-Objekt als Datensatz
Das folgende Beispiel zeigt eine IAM-Richtlinie, die die geringsten Rechte für den Zugriff auf die Objekte gewährt, die processImagesamzn-s3-demo-bucket
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::amzn-s3-demo-bucket"
],
"Condition": {
"StringLike": {
"s3:prefix": [
"processImages"
]
}
}
}
]
}Beispiel IAM-Richtlinie für eine CSV-Datei als Datensatz
Das folgende Beispiel zeigt eine IAM-Richtlinie, die die geringsten Zugriffsrechte auf eine CSV-Datei mit dem Namen gewährt. ratings.csv
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:GetObject"
],
"Resource": [
"arn:aws:s3:::amzn-s3-demo-bucket/csvDataset/ratings.csv"
]
}
]
}Beispiel IAM-Richtlinie für ein Amazon S3 S3-Inventar als Datensatz
Das folgende Beispiel zeigt eine IAM-Richtlinie, die die geringsten Rechte für den Zugriff auf einen Amazon S3 S3-Inventarbericht gewährt.
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:GetObject"
],
"Resource": [
"arn:aws:s3:::destination-prefix/amzn-s3-demo-bucket/config-ID/YYYY-MM-DDTHH-MMZ/manifest.json",
"arn:aws:s3:::destination-prefix/amzn-s3-demo-bucket/config-ID/data/*"
]
}
]
}