Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# DynamoDB-Datenimport zu Amazon S3: Funktionsweise
Um Daten zu DynamoDB zu importieren, müssen sich Ihre Daten in einem Amazon S3-Bucket im CSV-, DynamoDB JSON- oder Amazon Ion-Format befinden. Daten können im ZSTD- oder GZIP-Format komprimiert oder direkt in unkomprimierter Form importiert werden. Quelldaten können entweder ein einzelnes Amazon-S3-Objekt oder mehrere Amazon-S3-Objekte sein, die dasselbe Präfix verwenden.
Ihre Daten werden in eine neue DynamoDB-Tabelle importiert, die erstellt wird, wenn Sie die Importanforderung initiieren. Sie können diese Tabelle mit sekundären Indizes erstellen und dann Ihre Daten über alle primären und sekundären Indizes hinweg abfragen und aktualisieren, sobald der Import abgeschlossen ist. Sie können auch ein globales Tabellenreplikat hinzufügen, nachdem der Import abgeschlossen ist.
**Anmerkung**
Während des Amazon-S3-Importvorgangs erstellt DynamoDB eine neue Zieltabelle, in die importiert wird. Der Import in vorhandene Tabellen wird von dieser Funktion derzeit nicht unterstützt.
Der Import aus Amazon S3 verbraucht keine Schreibkapazität für die neue Tabelle, so dass Sie keine zusätzliche Kapazität für den Import von Daten in DynamoDB bereitstellen müssen. Die Preise für Datenimporte basieren auf der unkomprimierten Größe der Quelldaten in Amazon S3, die als Ergebnis des Imports verarbeitet werden. Elemente, die verarbeitet werden, aber aufgrund von Formatierungen oder anderen Inkonsistenzen in den Quelldaten nicht in die Tabelle geladen werden können, werden im Rahmen des Importvorgangs ebenfalls in Rechnung gestellt. Siehe [Amazon-DynamoDB-Preise](https://aws.amazon.com/dynamodb/pricing) für weitere Informationen.
Sie können Daten in einen S3-Bucket exportieren, der zu einem anderen Konto gehört, wenn Sie über die korrekten Schreibberechtigungen für den jeweiligen Bucket verfügen. Die neue Tabelle kann sich auch in einer anderen Region als die des Quell-Buckets aus Amazon S3 befinden. Weitere Informationen finden Sie unter [Amazon Simple Storage Service – Einrichtung und Berechtigungen ](https://docs.aws.amazon.com/AmazonS3/latest/userguide/example-walkthroughs-managing-access.html).
Die Importzeiten stehen in direktem Zusammenhang mit den Merkmalen Ihrer Daten in Amazon S3. Dazu gehören Datengröße, Datenformat, Komprimierungsschema, Einheitlichkeit der Datenverteilung, Anzahl der Amazon-S3-Objekte und andere zugehörige Variablen. Insbesondere Datensätze mit gleichmäßig verteilten Schlüsseln lassen sich schneller importieren als solche ohne diese. Zum Beispiel: Wenn der Schlüssel Ihres sekundären Index den Monat des Jahres für die Partitionierung verwendet und alle Ihre Daten aus dem Monat Dezember stammen, kann der Import dieser Daten deutlich länger dauern.
Es wird erwartet, dass die mit Schlüsseln verknüpften Attribute in der Basistabelle eindeutig sind. Wenn Schlüssel nicht eindeutig sind, werden beim Import die zugehörigen Elemente überschrieben, bis nur die letzte Überschreibung übrig bleibt. Wenn der Primärschlüssel beispielsweise der Monat ist und mehrere Elemente auf den Monat September festgelegt sind, überschreibt jedes neue Element die zuvor geschriebenen Elemente und es bleibt nur ein Element übrig, dessen Primärschlüssel (Monat) auf September festgelegt ist. In solchen Fällen stimmt die Anzahl der verarbeiteten Elemente in der Beschreibung der Importtabelle nicht mit der Anzahl der Elemente in der Zieltabelle überein.
AWS CloudTrail protokolliert alle Konsolen- und API-Aktionen für den Tabellenimport. Weitere Informationen finden Sie unter [Protokollieren von DynamoDB-Vorgängen mithilfe von AWS CloudTrail](logging-using-cloudtrail.md).
Das folgende Video gibt eine Einführung in den direkten Import aus Amazon S3 in DynamoDB.
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/fqq0CMOnOaI)
**Topics**
+ [
# Anfordern eines Tabellenexports in DynamoDB
](S3DataImport.Requesting.md)
+ [
# Amazon-S3-Importformate für DynamoDB
](S3DataImport.Format.md)
+ [
# Importformatkontingente und Validierung
](S3DataImport.Validation.md)
+ [
# Bewährte Methoden für den Import aus Amazon S3 in DynamoDB
](S3DataImport.BestPractices.md)
# Anfordern eines Tabellenexports in DynamoDB
Der DynamoDB-Import ermöglicht Ihnen, Daten aus einem Amazon-S3-Bucket in eine neue DynamoDB-Tabelle zu importieren. Sie können einen Tabellenimport mit der [DynamoDB-Konsole](https://console.aws.amazon.com/), der [CLI [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-dynamodb-table.html)](AccessingDynamoDB.md#Tools.CLI)oder der [DynamoDB-API](https://docs.aws.amazon.com/amazondynamodb/latest/APIReference/Welcome.html) anfordern.
Wenn Sie den verwenden möchten AWS CLI, müssen Sie ihn zuerst konfigurieren. Weitere Informationen finden Sie unter [Zugreifen auf DynamoDB](AccessingDynamoDB.md).
**Anmerkung**
Die Funktion „Tabelle importieren“ interagiert mit mehreren verschiedenen AWS Diensten wie Amazon S3 und CloudWatch. Bevor Sie mit einem Import beginnen, stellen Sie sicher, dass der Benutzer oder die Rolle, die den Import aufruft, APIs über Berechtigungen für alle Dienste und Ressourcen verfügt, von denen die Funktion abhängt.
Während des Imports dürfen die Amazon-S3-Objekte nicht geändert werden, da dies zum Fehlschlagen oder Abbruch des Vorgangs führen kann.
Weitere Informationen zu Fehlern und zur Fehlerbehebung finden Sie unter [Importformatkontingente und Validierung](S3DataImport.Validation.md)
**Topics**
+ [
## Einrichten von IAM-Berechtigungen
](#DataImport.Requesting.Permissions)
+ [
## Beantragen eines Imports mit dem AWS-Managementkonsole
](#S3DataImport.Requesting.Console)
+ [
## Details zu vergangenen Importen finden Sie im AWS-Managementkonsole
](#S3DataImport.Requesting.Console.Details)
+ [
## Beantragen eines Imports mit dem AWS CLI
](#S3DataImport.Requesting.CLI)
+ [
## Einzelheiten zu vergangenen Importen finden Sie in AWS CLI
](#S3DataImport.Requesting.CLI.Details)
## Einrichten von IAM-Berechtigungen
Sie können Daten aus jedem Amazon S3-Bucket importieren, für den Sie über Leseberechtigung verfügen. Der Quell-Bucket muss sich nicht in derselben Region befinden oder denselben Besitzer wie die Quelltabelle haben. Ihr AWS Identity and Access Management (IAM) muss die relevanten Aktionen für den Amazon S3 S3-Quell-Bucket und die erforderlichen CloudWatch Berechtigungen für die Bereitstellung von Debugging-Informationen enthalten. Nachfolgend eine Beispielrichtlinie.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowDynamoDBImportAction",
"Effect": "Allow",
"Action": [
"dynamodb:ImportTable",
"dynamodb:DescribeImport"
],
"Resource": "arn:aws:dynamodb:us-east-1:111122223333:table/my-table*"
},
{
"Sid": "AllowS3Access",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::your-bucket/*",
"arn:aws:s3:::your-bucket"
]
},
{
"Sid": "AllowCloudwatchAccess",
"Effect": "Allow",
"Action": [
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:DescribeLogGroups",
"logs:DescribeLogStreams",
"logs:PutLogEvents",
"logs:PutRetentionPolicy"
],
"Resource": "arn:aws:logs:us-east-1:111122223333:log-group/aws-dynamodb/*"
},
{
"Sid": "AllowDynamoDBListImports",
"Effect": "Allow",
"Action": "dynamodb:ListImports",
"Resource": "*"
}
]
}
```
------
### Amazon-S3-Berechtigungen
Wenn Sie einen Import auf einer Bucket-Quelle aus Amazon S3 starten, die einem anderen Konto gehört, stellen Sie sicher, dass die Rolle oder der Benutzer Zugriff auf die Amazon-S3-Objekte hat. Sie können dies überprüfen, indem Sie einen Amazon-S3–Befehl `GetObject` ausführen und die Anmeldeinformationen verwenden. Bei Verwendung der API wird für den Bucket-Besitzer-Parameter von Amazon S3 standardmäßig die Konto-ID des aktuellen Benutzers verwendet. Stellen Sie bei kontoübergreifenden Importen sicher, dass dieser Parameter korrekt mit der Konto-ID des Bucket-Besitzers ausgefüllt ist. Der folgende Code ist ein Beispiel für eine S3-Bucket-Richtlinie im Quellkonto.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{"Sid": "ExampleStatement",
"Effect": "Allow",
"Principal": {"AWS": "arn:aws:iam::123456789012:user/Dave"
},
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*"
}
]
}
```
------
### AWS Key Management Service
Wenn Sie beim Erstellen der neuen Tabelle für den Import einen Schlüssel zur Verschlüsselung im Ruhezustand auswählen, der nicht DynamoDB gehört, müssen Sie die erforderlichen AWS KMS Berechtigungen für den Betrieb einer DynamoDB-Tabelle bereitstellen, die mit vom Kunden verwalteten Schlüsseln verschlüsselt ist. Weitere Informationen finden Sie unter [Autorisieren](encryption.usagenotes.html#dynamodb-kms-authz) der Verwendung Ihres Schlüssels. AWS KMS Wenn die Amazon S3 S3-Objekte mit serverseitiger Verschlüsselung KMS (SSE-KMS) verschlüsselt sind, stellen Sie sicher, dass die Rolle oder der Benutzer, der den Import initiiert, Zugriff auf die Entschlüsselung mit dem Schlüssel hat. AWS KMS Diese Funktion unterstützt keine Amazon-S3-Objekte, die mit vom Kunden bereitgestellten Verschlüsselungsschlüsseln (SSE-C) verschlüsselt sind.
### CloudWatch Berechtigungen
Die Rolle oder der Benutzer, die/der den Import initiiert, benötigt Erstellungs- und Verwaltungsberechtigungen für die Protokollgruppe und die Protokollstreams, die mit dem Import verknüpft sind.
## Beantragen eines Imports mit dem AWS-Managementkonsole
Das folgende Beispiel zeigt, wie Sie mit der DynamoDB-Konsole vorhandene Daten in eine neue Tabelle mit der Bezeichnung `MusicCollection` importieren.
**So fordern Sie einen Tabellenimport an:**
1. Melden Sie sich bei der an AWS-Managementkonsole und öffnen Sie die DynamoDB-Konsole unter. [https://console.aws.amazon.com/dynamodb/](https://console.aws.amazon.com/dynamodb/)
1. Klicken Sie im Navigationsbereich links in der Konsole auf **Import from S3** (Import aus S3).
1. Wählen Sie auf der angezeigten Seite **Import from S3** (Import aus S3).
1. Wählen Sie **Import aus S3** aus.
1. Geben Sie im **Quell-S3-URL** die Quell-URL aus Amazon S3 ein.
Wenn Sie Eigentümer des Quell-Buckets sind, wählen Sie **Browse S3** aus, um danach zu suchen. Geben Sie alternativ die URL des Buckets im folgenden Format ein – `s3://bucket/prefix`. Das `prefix` ist ein Amazon-S3-Schlüsselpräfix. Es ist entweder der Amazon-S3-Objektname, den Sie importieren möchten, oder das gemeinsame Schlüsselpräfix aller Amazon-S3-Objekte, die Sie importieren möchten.
**Anmerkung**
Sie können nicht dasselbe Präfix wie Ihre DynamoDB-Exportanforderung verwenden. Die Exportfunktion erstellt eine Ordnerstruktur und Manifestdateien für alle Exporte. Wenn Sie denselben Amazon-S3-Pfad verwenden, führt dies zu einem Fehler.
Richten Sie den Import stattdessen auf den Ordner, der bereits Daten aus diesem Export enthält. Das Format des richtigen Pfads lautet in diesem Fall `s3://bucket/prefix/AWSDynamoDB//data/`, wobei `XXXXXXXX-XXXXXX` die Export-ID ist. Sie finden die Export-ID im Export-ARN, das das folgende Format hat – `arn:aws:dynamodb:::table//export/`. Beispiel, `arn:aws:dynamodb:us-east-1:123456789012:table/ProductCatalog/export/01234567890123-a1b2c3d4`.
1. Geben Sie an, ob Sie der **S3-Bucket-Besitzer** sind. Wenn der Quell-Bucket einem anderen Konto gehört, wählen Sie **Ein anderes AWS ** Konto aus. Geben Sie dann die Konto-ID-des Bucket-Besitzers ein.
1. Wählen Sie unter **Import file compression** (Importdatei-Komprimierung) entweder **No compression** (Keine Komprimierung), **GZIP** oder **ZSTD**.
1. Wählen Sie das entsprechende Importdateiformat aus. Die Optionen sind **DynamoDB JSON**, **Amazon Ion** oder **CSV**. Wenn Sie die Option **CSV** wählen, haben Sie zwei zusätzliche Optionen: **CSV header** (CSV-Kopfzeile) und **CSV delimiter character** (CSV-Trennzeichen).
Wählen Sie für **CSV header** (CSV-Kopfzeile), ob die Kopfzeile entweder aus der ersten Zeile der Datei stammt oder angepasst werden soll. Wenn Sie die Option **Customize your headers** (Kopfzeilen anpassen) wählen, können Sie die Kopfzeilenwerte angeben, mit denen Sie importieren möchten. Durch diese Methode angegebene CSV-Kopfzeilen unterscheiden zwischen Groß- und Kleinschreibung und es wird erwartet, dass sie die Schlüssel der Zieltabelle enthalten.
Bei **CSV delimiter character** (CSV-Trennzeichen) legen Sie das Zeichen fest, das die Elemente trennen soll. „Komma“ ist standardmäßig aktiviert. Wenn Sie **Custom delimiter character** (Benutzerdefiniertes Trennzeichen) auswählen, muss das Trennzeichen mit dem Regex-Muster übereinstimmen: `[,;:|\t ]`.
1. Wählen Sie die Schaltfläche **Next** (Weiter) und dann die Optionen für die neue Tabelle, die zum Speichern Ihrer Daten erstellt wird.
**Anmerkung**
Primärschlüssel und Sortierschlüssel müssen mit den Attributen in der Datei übereinstimmen, sonst schlägt der Import fehl. Bei Attributen wird zwischen Groß- und Kleinschreibung unterschieden.
1. Wählen Sie erneut **Next** (Weiter), um Ihre Importoptionen zu überprüfen, und klicken Sie dann auf **Import** (Importieren), um die Importaufgabe zu starten. Sie sehen zunächst Ihre neue Tabelle unter „Tables (Tabellen)“ mit dem Status „Creating (Erstellen)“. Zu diesem Zeitpunkt ist die Tabelle nicht zugänglich.
1. Sobald der Import abgeschlossen ist, wird der Status als „Active (Aktiv)“ angezeigt und Sie können die Tabelle verwenden.
## Details zu vergangenen Importen finden Sie im AWS-Managementkonsole
Informationen zu Importaufgaben, die Sie in der Vergangenheit ausgeführt haben, finden Sie, indem Sie auf **Import from S3** (Import aus S3) in der Navigationsseitenleiste klicken und dann die Registerkarte **Exports** (Exporte) wählen. Das Importfenster enthält eine Liste aller Importe, die Sie in den letzten 90 Tagen erstellt haben. Wenn Sie den ARN einer Aufgabe auswählen, die auf der Registerkarte „Exports (Exporte)“ aufgeführt ist, werden Informationen über diesen Export abgerufen, einschließlich aller von Ihnen gewählten erweiterten Konfigurationseinstellungen.
## Beantragen eines Imports mit dem AWS CLI
Im folgenden Beispiel werden CSV-formatierte Daten aus einem S3-Bucket mit der Bezeichnung „Bucket“ mit einem Präfix in eine neue Tabelle mit der Bezeichnung „target-Table“ importiert.
```
aws dynamodb import-table --s3-bucket-source S3Bucket=bucket,S3KeyPrefix=prefix \
--input-format CSV --table-creation-parameters '{"TableName":"target-table","KeySchema": \
[{"AttributeName":"hk","KeyType":"HASH"}],"AttributeDefinitions":[{"AttributeName":"hk","AttributeType":"S"}],"BillingMode":"PAY_PER_REQUEST"}' \
--input-format-options '{"Csv": {"HeaderList": ["hk", "title", "artist", "year_of_release"], "Delimiter": ";"}}'
```
**Anmerkung**
Wenn Sie Ihren Import mit einem durch AWS Key Management Service (AWS KMS) geschützten Schlüssel verschlüsseln möchten, muss sich der Schlüssel in derselben Region wie der Amazon S3 S3-Ziel-Bucket befinden.
## Einzelheiten zu vergangenen Importen finden Sie in AWS CLI
Informationen zu Importaufgaben, die Sie in der Vergangenheit ausgeführt haben, finden Sie mithilfe des `list-imports`-Befehls. Dieser Befehl gibt eine Liste aller Importe zurück, die Sie in den letzten 90 Tagen erstellt haben. Beachten Sie, dass die Metadaten für die Importaufgabe nach 90 Tagen ablaufen und Aufträge, die älter sind als diese, in dieser Liste nicht mehr gefunden werden können; DynamoDB löscht keine Objekte in Ihrem Amazon S3-Bucket oder in der Tabelle, die beim Importieren erstellt wurden.
```
aws dynamodb list-imports
```
Um detaillierte Informationen zu einer bestimmten Importaufgabe, einschließlich erweiterter Konfigurationseinstellungen, abzurufen, verwenden Sie den `describe-import`-Befehl.
```
aws dynamodb describe-import \
--import-arn arn:aws:dynamodb:us-east-1:123456789012:table/ProductCatalog/exp
```
# Amazon-S3-Importformate für DynamoDB
DynamoDB kann Daten in drei Formaten importieren: CSV, DynamoDB JSON und Amazon Ion.
**Topics**
+ [
## CSV
](#S3DataImport.Requesting.Formats.CSV)
+ [
## DynamoDB JSON
](#S3DataImport.Requesting.Formats.DDBJson)
+ [
## Amazon Ion
](#S3DataImport.Requesting.Formats.Ion)
## CSV
Eine Datei im CSV-Format besteht aus mehreren Elementen, die durch Zeilenumbrüche getrennt sind. Standardmäßig interpretiert DynamoDB die erste Zeile einer Importdatei als Kopfzeile und erwartet, dass Spalten durch Kommata getrennt werden. Sie können auch Kopfzeilen definieren, die angewendet werden, sofern sie mit der Anzahl der Spalten in der Datei übereinstimmen. Wenn Sie Kopfzeilen explizit definieren, wird die erste Zeile der Datei als Werte importiert.
**Anmerkung**
Beim Import aus CSV-Dateien werden alle Spalten außer dem Hash-Bereich und den Schlüsseln Ihrer Basistabelle und sekundären Indizes als DynamoDB-Zeichenfolgen importiert.
**Maskieren von doppelten Anführungszeichen mit Escape-Zeichen**
Alle doppelten Anführungszeichen in der CSV-Datei müssen mit Escape-Zeichen maskiert werden. Wenn sie nicht maskiert werden, wie im folgenden Beispiel, schlägt der Importvorgang fehl:
```
id,value
"123",Women's Full "Length" Dress
```
Derselbe Importvorgang ist erfolgreich, wenn die Anführungszeichen mit zwei Sätzen doppelter Anführungszeichen maskiert werden:
```
id,value
"""123""","Women's Full ""Length"" Dress"
```
Sobald der Text ordnungsgemäß maskiert und importiert wurde, wird er wie in der ursprünglichen CSV-Datei angezeigt:
```
id,value
"123",Women's Full "Length" Dress
```
**Heterogene Artikeltypen importieren**
Sie können eine einzelne CSV-Datei verwenden, um verschiedene Elementtypen in eine Tabelle zu importieren. Definieren Sie eine Kopfzeile, die alle Attribute Ihrer Artikeltypen enthält, und lassen Sie die Spalten leer für Attribute, die nicht für einen bestimmten Artikel gelten. Leere Spalten werden im importierten Element weggelassen und nicht als leere Zeichenketten gespeichert.
```
PK,SK,EntityType,Name,Email,OrderDate,Amount,ProductName,Quantity
USER#1,PROFILE,User,Alice,alice@example.com,,,,
USER#1,ORDER#2024-01-15,Order,,,2024-01-15,99.99,,
USER#1,ORDER#2024-02-10,Order,,,2024-02-10,149.50,,
PRODUCT#101,METADATA,Product,,,,,Laptop,50
PRODUCT#102,METADATA,Product,,,,,Mouse,200
USER#2,PROFILE,User,Bob,bob@example.com,,,,
USER#2,ORDER#2024-01-20,Order,,,2024-01-20,75.00,,
PRODUCT#103,METADATA,Product,,,,,Keyboard,150
USER#3,PROFILE,User,Charlie,charlie@example.com,,,,
PRODUCT#104,METADATA,Product,,,,,Monitor,30
```
In diesem Beispiel verwenden Benutzerprofile, Bestellungen und Produkte dieselbe Tabelle. Jeder Elementtyp verwendet nur die für ihn relevanten Spalten.
## DynamoDB JSON
Ein Tabellenexport im DynamoDB-JSON-Format kann aus mehreren Elementobjekten bestehen. Jedes einzelne Objekt befindet sich im Standard-JSON-Format von DynamoDB, und Zeilenumbrüche werden als Elementtrennzeichen verwendet. Als zusätzliche Funktion werden zeitpunktbezogene Exporte standardmäßig als Importquelle unterstützt.
**Anmerkung**
Neue Zeilen werden als Elementtrennzeichen für eine Datei im DynamoDB-JSON-Format verwendet und sollten nicht innerhalb eines Elementobjekts verwendet werden.
```
{"Item": {"Authors": {"SS": ["Author1", "Author2"]}, "Dimensions": {"S": "8.5 x 11.0 x 1.5"}, "ISBN": {"S": "333-3333333333"}, "Id": {"N": "103"}, "InPublication": {"BOOL": false}, "PageCount": {"N": "600"}, "Price": {"N": "2000"}, "ProductCategory": {"S": "Book"}, "Title": {"S": "Book 103 Title"}}}
{"Item": {"Authors": {"SS": ["Author1", "Author2"]}, "Dimensions": {"S": "8.5 x 11.0 x 1.5"}, "ISBN": {"S": "444-444444444"}, "Id": {"N": "104"}, "InPublication": {"BOOL": false}, "PageCount": {"N": "600"}, "Price": {"N": "2000"}, "ProductCategory": {"S": "Book"}, "Title": {"S": "Book 104 Title"}}}
{"Item": {"Authors": {"SS": ["Author1", "Author2"]}, "Dimensions": {"S": "8.5 x 11.0 x 1.5"}, "ISBN": {"S": "555-5555555555"}, "Id": {"N": "105"}, "InPublication": {"BOOL": false}, "PageCount": {"N": "600"}, "Price": {"N": "2000"}, "ProductCategory": {"S": "Book"}, "Title": {"S": "Book 105 Title"}}}
```
## Amazon Ion
[Amazon Ion](https://amzn.github.io/ion-docs/) ist ein reich typisiertes, selbstbeschreibendes, hierarchisches Datenserialisierungsformat, das entwickelt wurde, um schnelle Entwicklungs-, Entkopplungs- und Effizienzprobleme zu bewältigen, denen sich täglich gegenübersehen, während umfangreiche, serviceorientierte Architekturen entwickelt werden.
Wenn Sie eine Tabelle im Ion-Format exportieren, werden die in der Tabelle verwendeten DynamoDB-Datentypen Ion-Datentypen zugeordnet.
| S. Nein. | Konvertierung des Datentyps von Ion zu DynamoDB | B |
| --- | --- | --- |
| `1` | `Ion Data Type` | `DynamoDB Representation` |
| `2` | `string` | `String (s)` |
| `3` | `bool` | `Boolean (BOOL)` |
| `4` | `decimal` | `Number (N)` |
| `5` | `blob` | `Binary (B)` |
| `6` | `list (with type annotation $dynamodb_SS, $dynamodb_NS, or $dynamodb_BS)` | `Set (SS, NS, BS)` |
| `7` | `list` | `List` |
| `8` | `struct` | `Map` |
Elemente in einem Ion-Export werden durch Zeilenumbrüche getrennt. Jede Zeile beginnt mit einer Ion-Versionsmarkierung, gefolgt von einem Element im Ion-Format.
**Anmerkung**
Im folgenden Beispiel wurde ein Element aus einer Datei im Ion-Format aus Gründen der Lesbarkeit in mehreren Zeilen formatiert.
```
$ion_1_0
[
{
Item:{
Authors:$dynamodb_SS::["Author1","Author2"],
Dimensions:"8.5 x 11.0 x 1.5",
ISBN:"333-3333333333",
Id:103.,
InPublication:false,
PageCount:6d2,
Price:2d3,
ProductCategory:"Book",
Title:"Book 103 Title"
}
},
{
Item:{
Authors:$dynamodb_SS::["Author1","Author2"],
Dimensions:"8.5 x 11.0 x 1.5",
ISBN:"444-4444444444",
Id:104.,
InPublication:false,
PageCount:6d2,
Price:2d3,
ProductCategory:"Book",
Title:"Book 104 Title"
}
},
{
Item:{
Authors:$dynamodb_SS::["Author1","Author2"],
Dimensions:"8.5 x 11.0 x 1.5",
ISBN:"555-5555555555",
Id:105.,
InPublication:false,
PageCount:6d2,
Price:2d3,
ProductCategory:"Book",
Title:"Book 105 Title"
}
}
]
```
# Importformatkontingente und Validierung
## Importkontingente
Der DynamoDB-Import aus Amazon S3 kann bis zu 50 gleichzeitige Importaufgaben mit einer Gesamtgröße von 15 TB gleichzeitig in den Regionen us-east-1, us-west-2 und eu-west-1 unterstützen. In allen anderen Regionen werden bis zu 50 gleichzeitige Importaufgaben mit einer Gesamtgröße von 1 TB unterstützt. Jede Importaufgabe kann bis zu 50 000 Amazon-S3-Objekte in allen Regionen aufnehmen. Diese Standardkontingente werden auf jedes Konto angewendet. Wenn Sie der Meinung sind, dass Sie diese Kontingente ändern müssen, wenden Sie sich bitte an Ihr Account-Team. Dies wird auf der case-by-case Grundlage geprüft. Weitere Informationen zu den DynamoDB-Grenzwerten finden Sie unter [Servicekontingente](ServiceQuotas.html).
## Validierungsfehler
Während des Importvorgangs kann DynamoDB beim Parsen Ihrer Daten auf Fehler stoßen. Für jeden Fehler gibt DynamoDB ein CloudWatch Protokoll aus und zählt die Gesamtzahl der aufgetretenen Fehler. Wenn das Amazon-S3-Objekt selbst fehlerhaft formatiert ist oder sein Inhalt kein DynamoDB-Element bilden kann, können wir die Verarbeitung des verbleibenden Teils des Objekts überspringen.
**Anmerkung**
Wenn die Amazon-S3-Datenquelle über mehrere Elemente mit demselben Schlüssel verfügt, werden die Elemente überschrieben, bis eines übrig bleibt. Dies kann den Anschein erwecken, als sei 1 Element importiert worden und die anderen seien ignoriert worden. Die doppelten Elemente werden in zufälliger Reihenfolge überschrieben, werden nicht als Fehler gezählt und nicht in die Protokolle aufgenommen. CloudWatch
Sobald der Import abgeschlossen ist, können Sie die Gesamtzahl der importierten Elemente, die Gesamtzahl der Fehler und die Gesamtzahl der verarbeiteten Elemente anzeigen. Zur weiteren Fehlerbehebung können Sie auch die Gesamtgröße der importierten Elemente und die Gesamtgröße der verarbeiteten Daten überprüfen.
Es gibt drei Kategorien von Importfehlern: API-Validierungsfehler, Datenvalidierungsfehler und Konfigurationsfehler.
### API-Validierungsfehler
API-Validierungsfehler sind Fehler auf Elementebene aus der Sync-API. Häufige Ursachen sind Berechtigungsprobleme, fehlende erforderliche Parameter und Fehler bei der Parametervalidierung. Details dazu, warum der API-Aufruf fehlgeschlagen ist, sind in den von der `ImportTable`-Anforderung ausgelösten Ausnahmen enthalten.
### Datenvalidierungsfehler
Datenvalidierungsfehler können entweder auf Element- oder Dateiebene auftreten. Während des Imports werden Elemente basierend auf DynamoDB-Regeln validiert, bevor sie in die Zieltabelle importiert werden. Wenn die Validierung eines Elements fehlschlägt und das Element nicht importiert wird, überspringt die Importaufgabe dieses Element und fährt mit dem nächsten Element fort. Am Ende des Jobs wird der Importstatus auf FAILED mit einem gesetzt FailureCode, ItemValidationError und die Prüfung FailureMessage „Einige der Elemente haben die Validierung nicht bestanden und wurden nicht importiert“ wird angezeigt. Weitere Informationen finden Sie in den CloudWatch Fehlerprotokollen.“
Häufige Ursachen für Datenvalidierungsfehler sind Objekte, die nicht analysierbar sind, Objekte im falschen Format (Eingabe gibt DYNAMODB\$1JSON an, das Objekt befindet sich jedoch nicht in DYNAMODB\$1JSON) und die Nichtübereinstimmung des Schemas mit den angegebenen Quelltabellenschlüsseln.
### Konfigurationsfehler
Konfigurationsfehler sind in der Regel Workflowfehler aufgrund der Berechtigungsvalidierung. Der Import-Workflow überprüft einige Berechtigungen, nachdem die Anforderung angenommen wurde. Wenn es Probleme beim Aufrufen einer der erforderlichen Abhängigkeiten wie Amazon S3 gibt oder CloudWatch der Prozess den Importstatus als FEHLGESCHLAGEN markiert. `failureCode` und `failureMessage` weisen auf den Grund für den Fehler hin. Gegebenenfalls enthält die Fehlermeldung auch die Anforderungs-ID, mit der Sie den Grund für den Fehler in untersuchen können CloudTrail.
Zu den häufigsten Konfigurationsfehlern gehören die falsche URL für den Amazon S3 S3-Bucket und die fehlende Zugriffsberechtigung auf den Amazon S3 S3-Bucket, CloudWatch Protokolle und AWS KMS Schlüssel, die zum Entschlüsseln des Amazon S3 S3-Objekts verwendet wurden. Weitere Informationen finden Sie unter [Verwenden von Datenschlüsseln](encryption.usagenotes.html#dynamodb-kms).
### Validieren von Amazon-S3-Quellobjekten
Um S3-Quell-Objekte zu validieren, führen Sie die folgenden Schritte aus.
1. Überprüfen Sie das Datenformat und den Komprimierungstyp
+ Stellen Sie sicher, dass alle übereinstimmenden Amazon-S3-Objekte unter dem angegebenen Präfix dasselbe Format haben (DYNAMODB\$1JSON, DYNAMODB\$1ION, CSV)
+ Stellen Sie sicher, dass alle übereinstimmenden Amazon-S3-Objekte unter dem angegebenen Präfix auf dieselbe Weise komprimiert werden (GZIP, ZSTD, NONE)
**Anmerkung**
Die Amazon S3 S3-Objekte müssen nicht die entsprechende Erweiterung (.csv/.json/.ion/.gz/.zstd usw.) haben, da das im Aufruf angegebene Eingabeformat Vorrang hat. ImportTable
1. Überprüfen Sie, ob die Importdaten dem gewünschten Tabellenschema entsprechen
+ Stellen Sie sicher, dass jedes Element in den Quelldaten über den Primärschlüssel verfügt. Ein Sortierschlüssel ist für Importe optional.
+ Stellen Sie sicher, dass der mit dem Primärschlüssel und einem beliebigen Sortierschlüssel verknüpfte Attributtyp mit dem Attributtyp in der Tabelle und im GSI-Schema übereinstimmt, wie in den Parametern zur Tabellenerstellung angegeben.
### Fehlerbehebung
#### CloudWatch Logs
Bei fehlgeschlagenen Importaufträgen werden detaillierte Fehlermeldungen in den CloudWatch Protokollen gespeichert. Um auf diese Protokolle zuzugreifen, rufen Sie sie zunächst mit dem folgenden Befehl ImportArn aus der Ausgabe ab und beschreiben den Import:
```
aws dynamodb describe-import --import-arn arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table/import/01658528578619-c4d4e311
}
```
Beispielausgabe:
```
aws dynamodb describe-import --import-arn "arn:aws:dynamodb:us-east-1:531234567890:table/target-table/import/01658528578619-c4d4e311"
{
"ImportTableDescription": {
"ImportArn": "arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table/import/01658528578619-c4d4e311",
"ImportStatus": "FAILED",
"TableArn": "arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table",
"TableId": "7b7ecc22-302f-4039-8ea9-8e7c3eb2bcb8",
"ClientToken": "30f8891c-e478-47f4-af4a-67a5c3b595e3",
"S3BucketSource": {
"S3BucketOwner": "ACCOUNT",
"S3Bucket": "my-import-source",
"S3KeyPrefix": "import-test"
},
"ErrorCount": 1,
"CloudWatchLogGroupArn": "arn:aws:logs:us-east-1:ACCOUNT:log-group:/aws-dynamodb/imports:*",
"InputFormat": "CSV",
"InputCompressionType": "NONE",
"TableCreationParameters": {
"TableName": "target-table",
"AttributeDefinitions": [
{
"AttributeName": "pk",
"AttributeType": "S"
}
],
"KeySchema": [
{
"AttributeName": "pk",
"KeyType": "HASH"
}
],
"BillingMode": "PAY_PER_REQUEST"
},
"StartTime": 1658528578.619,
"EndTime": 1658528750.628,
"ProcessedSizeBytes": 70,
"ProcessedItemCount": 1,
"ImportedItemCount": 0,
"FailureCode": "ItemValidationError",
"FailureMessage": "Some of the items failed validation checks and were not imported. Please check CloudWatch error logs for more details."
}
}
```
Rufen Sie die Protokollgruppe und die Import-ID aus der obigen Antwort ab und verwenden Sie sie, um die Fehlerprotokolle abzurufen. Die Import-ID ist das letzte Pfadelement des Felds `ImportArn`. Der Name der Protokollgruppe lautet `/aws-dynamodb/imports`. Der Name des Fehler-Protokollstreams ist `import-id/error`. In diesem Beispiel wäre es `01658528578619-c4d4e311/error`.
#### Fehlender Schlüssel pk im Element
Wenn das S3-Quellobjekt nicht den Primärschlüssel enthält, der als Parameter angegeben wurde, schlägt der Import fehl. Zum Beispiel, wenn Sie den Primärschlüssel für den Import als Spaltenname „pk“ definieren.
```
aws dynamodb import-table —s3-bucket-source S3Bucket=my-import-source,S3KeyPrefix=import-test.csv \
—input-format CSV --table-creation-parameters '{"TableName":"target-table","KeySchema": \
[{"AttributeName":"pk","KeyType":"HASH"}],"AttributeDefinitions":[{"AttributeName":"pk","AttributeType":"S"}],"BillingMode":"PAY_PER_REQUEST"}'
```
Die Spalte „pk“ fehlt im Quellobjekt `import-test.csv`, das die folgenden Inhalte hat:
```
title,artist,year_of_release
The Dark Side of the Moon,Pink Floyd,1973
```
Dieser Import schlägt aufgrund eines Fehlers bei der Elementvalidierung wegen des fehlenden Primärschlüssels in der Datenquelle fehl.
Beispiel für ein CloudWatch Fehlerprotokoll:
```
aws logs get-log-events —log-group-name /aws-dynamodb/imports —log-stream-name 01658528578619-c4d4e311/error
{
"events": [
{
"timestamp": 1658528745319,
"message": "{\"itemS3Pointer\":{\"bucket\":\"my-import-source\",\"key\":\"import-test.csv\",\"itemIndex\":0},\"importArn\":\"arn:aws:dynamodb:us-east-1:531234567890:table/target-table/import/01658528578619-c4d4e311\",\"errorMessages\":[\"One or more parameter values were invalid: Missing the key pk in the item\"]}",
"ingestionTime": 1658528745414
}
],
"nextForwardToken": "f/36986426953797707963335499204463414460239026137054642176/s",
"nextBackwardToken": "b/36986426953797707963335499204463414460239026137054642176/s"
}
```
Dieses Fehlerprotokoll zeigt an, dass „ein oder mehrere Parameterwerte ungültig waren: Der Schlüssel pk im Element fehlt“. Da dieser Importauftrag fehlgeschlagen ist, existiert jetzt die Tabelle „Zieltabelle“ und ist leer, da keine Elemente importiert wurden. Das erste Element wurde verarbeitet, und das Objekt hat die Elementvalidierung nicht bestanden.
Um das Problem zu beheben, löschen Sie zuerst die „Zieltabelle“, wenn sie nicht mehr benötigt wird. Verwenden Sie dann entweder einen Primärschlüsselspaltennamen, der im Quellobjekt vorhanden ist, oder aktualisieren Sie die Quelldaten wie folgt:
```
pk,title,artist,year_of_release
Albums::Rock::Classic::1973::AlbumId::ALB25,The Dark Side of the Moon,Pink Floyd,1973
```
#### Zieltabelle existiert
Wenn Sie eine Importaufgabe starten und eine Antwort wie folgt erhalten:
```
An error occurred (ResourceInUseException) when calling the ImportTable operation: Table already exists: target-table
```
Um diesen Fehler zu beheben, müssen Sie einen Tabellennamen wählen, der noch nicht existiert, und den Import wiederholen.
#### Der angegebene Bucket existiert nicht
Wenn der Quell-Bucket nicht existiert, schlägt der Import fehl und die Details der Fehlermeldung werden protokolliert CloudWatch.
Beispiel-Importbeschreibung:
```
aws dynamodb —endpoint-url $ENDPOINT describe-import —import-arn "arn:aws:dynamodb:us-east-1:531234567890:table/target-table/import/01658530687105-e6035287"
{
"ImportTableDescription": {
"ImportArn": "arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table/import/01658530687105-e6035287",
"ImportStatus": "FAILED",
"TableArn": "arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table",
"TableId": "e1215a82-b8d1-45a8-b2e2-14b9dd8eb99c",
"ClientToken": "3048e16a-069b-47a6-9dfb-9c259fd2fb6f",
"S3BucketSource": {
"S3BucketOwner": "531234567890",
"S3Bucket": "BUCKET_DOES_NOT_EXIST",
"S3KeyPrefix": "import-test"
},
"ErrorCount": 0,
"CloudWatchLogGroupArn": "arn:aws:logs:us-east-1:ACCOUNT:log-group:/aws-dynamodb/imports:*",
"InputFormat": "CSV",
"InputCompressionType": "NONE",
"TableCreationParameters": {
"TableName": "target-table",
"AttributeDefinitions": [
{
"AttributeName": "pk",
"AttributeType": "S"
}
],
"KeySchema": [
{
"AttributeName": "pk",
"KeyType": "HASH"
}
],
"BillingMode": "PAY_PER_REQUEST"
},
"StartTime": 1658530687.105,
"EndTime": 1658530701.873,
"ProcessedSizeBytes": 0,
"ProcessedItemCount": 0,
"ImportedItemCount": 0,
"FailureCode": "S3NoSuchBucket",
"FailureMessage": "The specified bucket does not exist (Service: Amazon S3; Status Code: 404; Error Code: NoSuchBucket; Request ID: Q4W6QYYFDWY6WAKH; S3 Extended Request ID: ObqSlLeIMJpQqHLRX2C5Sy7n+8g6iGPwy7ixg7eEeTuEkg/+chU/JF+RbliWytMlkUlUcuCLTrI=; Proxy: null)"
}
}
```
Der `FailureCode` lautet `S3NoSuchBucket`. Die `FailureMessage`e enthält Details wie die Anforderungs-ID und den Service, der den Fehler ausgelöst hat. Da der Fehler erkannt wurde, bevor die Daten in die Tabelle importiert wurden, wird keine neue DynamoDB-Tabelle erstellt. In einigen Fällen, wenn diese Fehler nach dem Start des Datenimports auftreten, wird die Tabelle mit teilweise importierten Daten beibehalten.
Um diesen Fehler zu beheben, stellen Sie sicher, dass der Quell-Bucket aus Amazon S3 vorhanden ist, und starten Sie den Importvorgang neu.
# Bewährte Methoden für den Import aus Amazon S3 in DynamoDB
Im Folgenden werden die bewährten Methoden für den Import aus Amazon S3 in DynamoDB vorgestellt.
## Das Limit von 50 000 S3-Objekten nicht überschreiten
Bei jedem Importauftrag werden maximal 50 000 S3-Objekte unterstützt. Wenn Ihr Datensatz mehr als 50 000 Objekte enthält, sollten Sie diese zu größeren Objekten zusammenfassen.
## Übermäßig große S3-Objekte vermeiden
S3-Objekte werden parallel importiert. Wenn Sie über viele mittelgroße S3-Objekte verfügen, ist eine parallele Ausführung ohne übermäßigen Overhead möglich. Bei Elementen unter 1 KB sollten Sie 4 000 000 Elemente in jedem S3-Objekt platzieren. Wenn Sie eine größere durchschnittliche Elementgröße haben, platzieren Sie proportional weniger Elemente in jedem S3-Objekt.
## Sortierte Daten randomisieren
Wenn ein S3-Objekt Daten in sortierter Reihenfolge enthält, kann es eine *fortlaufende Hot-Partition* erstellen. In diesem Fall empfängt eine Partition die gesamte Aktivität, danach die nächste Partition usw. Daten in sortierter Reihenfolge sind aufeinanderfolgende Elemente im S3-Objekt, die während des Imports auf dieselbe Zielpartition geschrieben werden. Ein typischer Fall, in dem Daten in sortierter Reihenfolge vorliegen, ist eine CSV-Datei, in der Elemente nach Partitionsschlüssel sortiert werden, sodass wiederholte Elemente denselben Partitionsschlüssel aufweisen.
Zum Vermeiden einer fortlaufenden Hot-Partition empfehlen wir, die Reihenfolge in diesen Fällen zu randomisieren. Dies kann die Leistung verbessern, indem die Schreibvorgänge verteilt werden. Weitere Informationen finden Sie unter [Effiziente Verteilung der Schreibaktivität beim Hochladen von Daten in DynamoDB](bp-partition-key-data-upload.md).
## Daten komprimieren, damit die Gesamtgröße der S3-Objekte das regionale Limit nicht überschreitet
Beim [Import aus S3](S3DataImport.Requesting.md) gibt es ein Limit für die Gesamtgröße der S3-Objektdaten, die importiert werden sollen. Das Limit liegt in den Regionen us-east-1, us-west-2 und eu-west-1 bei 15 TB und in allen anderen Regionen bei 1 TB. Das Limit basiert auf den Rohgrößen von S3-Objekten.
Durch eine Komprimierung kann das Limit mehr Rohdaten umfassen. Wenn die Komprimierung allein nicht ausreicht, damit der Import innerhalb des Limits liegt, können Sie beim [AWS Premium Support](https://aws.amazon.com/premiumsupport/) eine Kontingenterhöhung beantragen.
## Die Auswirkungen der Elementgröße auf die Leistung kennen
Wenn die durchschnittliche Elementgröße sehr klein ist (unter 200 Byte), kann der Import etwas länger dauern als bei größeren Elementgrößen.
## Ändern Sie S3-Objekte bei aktiven Importen nicht
Stellen Sie sicher, dass Ihre S3-Quellobjekte während eines Importvorgangs unverändert bleiben. Wenn ein S3-Objekt während eines Imports geändert wird, schlägt der Vorgang mit einem Fehlercode `ObjectModifiedInS3DuringImport` und der Meldung „Das S3-Objekt konnte nicht importiert werden, weil es überschrieben wurde“ fehl.
Wenn dieser Fehler auftritt, starten Sie den Importvorgang mit einer stabilen Version Ihres S3-Objekts neu. Um dieses Problem zu vermeiden, warten Sie, bis der aktuelle Import abgeschlossen ist, bevor Sie Änderungen an den Quelldateien vornehmen.
## Den Import ohne globale sekundäre Indizes in Betracht ziehen
Die Dauer einer Importaufgabe kann vom Vorhandensein eines oder mehrerer globaler sekundärer Indizes (GSIs) abhängen. Wenn Sie Indizes mit Partitionsschlüsseln erstellen möchten, die eine geringe Kardinalität aufweisen, können Sie den Import möglicherweise beschleunigen, indem Sie die Indexerstellung aufschieben, bis der Importauftrag abgeschlossen ist (anstatt sie in den Importauftrag einzubeziehen).
**Anmerkung**
Für die Erstellung eines globalen Index fallen keine Schreibgebühren an, unabhängig davon, ob er während oder nach dem Import erstellt wird.