インポート形式のクォータと検証

インポートクォータ

us-east-1、us-west-2、および eu-west-1 の各リージョンでは、Amazon S3 からの DynamoDB のインポートは、一度に 15 TB の合計インポートソースオブジェクトサイズで 50 個の同時インポートジョブに対応できます。他のすべてのリージョンでは、合計サイズが 1 TB で最大 50 個の同時インポートタスクに対応できます。各インポートジョブでは、すべてのリージョンで最大 50,000 個の Amazon S3 オブジェクトを使用できます。これらのデフォルトクォータはすべてのアカウントに適用されます。これらのクォータを改訂する必要があると考える場合は、アカウントチームに連絡してください。ケースバイケースで検討されます。DynamoDB の制限の詳細については、「Service Quotas」を参照してください。

検証エラー

インポートプロセス中に、DynamoDB でデータの解析中にエラーが発生することがあります。エラーごとに、DynamoDB は CloudWatch ログを出力し、発生したエラーの総数を記録します。Amazon S3 オブジェクト自体の形式が正しくない場合や、その内容が DynamoDB 項目を形成できない場合は、オブジェクトの残りの部分の処理がスキップされることがあります。

インポートエラーには、API 検証エラー、データ検証エラー、および設定エラーの 3 つのカテゴリがあります。

API 検証エラー

API 検証エラーは、同期 API からの項目レベルのエラーです。一般的な原因として、アクセス許可の問題、必須パラメータの欠落、およびパラメータ検証の失敗が挙げられます。API コールが失敗した理由の詳細は、ImportTable リクエストによってスローされる例外に含まれています。

データ検証エラー

データ検証エラーは、項目レベルまたはファイルレベルで発生する可能性があります。インポート中、ターゲットテーブルにインポートする前に、DynamoDB ルールに基づいて項目が検証されます。項目が検証に失敗し、インポートされない場合、インポートジョブはその項目をスキップし、次の項目に進みます。ジョブの終了時に、インポートのジョブは FAILED に設定され、FailureCode、ItemValidationError、および FailureMessage「Some of the items failed validation checks and were not imported。Please check CloudWatch error logs for more details.」(一部の項目は検証チェックに失敗したため、インポートされませんでした。詳細については、CloudWatch エラーログを確認してください) が表示されます。

データ検証エラーの一般的な原因として、オブジェクトが解析できない、オブジェクトの形式が正しくない (入力で DYNAMODB_JSON が指定されているが、オブジェクトが DYNAMODB_JSON でない)、および指定されたソーステーブルキーとスキーマの不一致が挙げられます。

設定エラー

設定エラーは、通常、アクセス許可の検証によるワークフローエラーです。インポートワークフローでは、リクエストを受け入れた後、一部のアクセス許可がチェックされます。Amazon S3 や CloudWatch など、必要な依存関係の呼び出しで問題が発生した場合、プロセスでインポートステータスが FAILED とマークされます。failureCode および failureMessage は、失敗の理由を指します。該当する場合、失敗メッセージには、CloudTrail での失敗の理由を調査するために使用できるリクエスト ID も含まれます。

よくある設定エラーとして、Amazon S3 バケットの URL が間違っていることや、Amazon S3 バケット、CloudWatch Logs、および Amazon S3 オブジェクトの復号に使用される AWS KMS キーにアクセスする許可がないことが挙げられます。詳細については、「Using and data keys」(データキーの使用) を参照してください。

ソース Amazon S3 オブジェクトの検証

ソース S3 オブジェクトの検証を行うには、次のステップを実行します。

トラブルシューティング

CloudWatch ログ

インポートジョブが失敗した場合、詳細なエラーメッセージが CloudWatch Logs に投稿されます。これらのログにアクセスするには、まず出力から ImportArn を取得し、次のコマンドを使用して describe-import を実行します。

aws dynamodb describe-import --import-arn arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table/import/01658528578619-c4d4e311
}

出力例:

aws dynamodb describe-import --import-arn "arn:aws:dynamodb:us-east-1:531234567890:table/target-table/import/01658528578619-c4d4e311"
{
    "ImportTableDescription": {
        "ImportArn": "arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table/import/01658528578619-c4d4e311",
        "ImportStatus": "FAILED",
        "TableArn": "arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table",
        "TableId": "7b7ecc22-302f-4039-8ea9-8e7c3eb2bcb8",
        "ClientToken": "30f8891c-e478-47f4-af4a-67a5c3b595e3",
        "S3BucketSource": {
            "S3BucketOwner": "ACCOUNT",
            "S3Bucket": "my-import-source",
            "S3KeyPrefix": "import-test"
        },
        "ErrorCount": 1,
        "CloudWatchLogGroupArn": "arn:aws:logs:us-east-1:ACCOUNT:log-group:/aws-dynamodb/imports:*",
        "InputFormat": "CSV",
        "InputCompressionType": "NONE",
        "TableCreationParameters": {
            "TableName": "target-table",
            "AttributeDefinitions": [
                {
                    "AttributeName": "pk",
                    "AttributeType": "S"
                }
            ],
            "KeySchema": [
                {
                    "AttributeName": "pk",
                    "KeyType": "HASH"
                }
            ],
            "BillingMode": "PAY_PER_REQUEST"
        },
        "StartTime": 1658528578.619,
        "EndTime": 1658528750.628,
        "ProcessedSizeBytes": 70,
        "ProcessedItemCount": 1,
        "ImportedItemCount": 0,
        "FailureCode": "ItemValidationError",
        "FailureMessage": "Some of the items failed validation checks and were not imported. Please check CloudWatch error logs for more details."
    }
}

上記のレスポンスからロググループとインポート ID を取得し、それを使用してエラーログを取得します。インポート ID は、ImportArn フィールドの最後のパス要素です。ロググループ名は /aws-dynamodb/imports です。エラーログストリーム名は import-id/error です。この例では、01658528578619-c4d4e311/error のようになります。

項目にキー pk がない

ソース S3 オブジェクトにパラメータとして指定されたプライマリキーが含まれていない場合、インポートは失敗します。例えば、インポートのプライマリキーを列名「pk」として定義する場合などです。

aws dynamodb import-table —s3-bucket-source S3Bucket=my-import-source,S3KeyPrefix=import-test.csv \ 
            —input-format CSV --table-creation-parameters '{"TableName":"target-table","KeySchema":  \
            [{"AttributeName":"pk","KeyType":"HASH"}],"AttributeDefinitions":[{"AttributeName":"pk","AttributeType":"S"}],"BillingMode":"PAY_PER_REQUEST"}'

列「pk」が、次のコンテンツを含むソースオブジェクト import-test.csv にありません。

title,artist,year_of_release
The Dark Side of the Moon,Pink Floyd,1973 

データソースにプライマリキーがないため、項目の検証エラーによりこのインポートは失敗します。

CloudWatch エラーログの例:

aws logs get-log-events —log-group-name /aws-dynamodb/imports —log-stream-name 01658528578619-c4d4e311/error
{
"events": [
{
"timestamp": 1658528745319,
"message": "{\"itemS3Pointer\":{\"bucket\":\"my-import-source\",\"key\":\"import-test.csv\",\"itemIndex\":0},\"importArn\":\"arn:aws:dynamodb:us-east-1:531234567890:table/target-table/import/01658528578619-c4d4e311\",\"errorMessages\":[\"One or more parameter values were invalid: Missing the key pk in the item\"]}",
"ingestionTime": 1658528745414
}
],
"nextForwardToken": "f/36986426953797707963335499204463414460239026137054642176/s",
"nextBackwardToken": "b/36986426953797707963335499204463414460239026137054642176/s"
}

このエラーログには、「One or more parameter values were invalid: Missing the key pk in the item」(1 つ以上のパラメータ値が無効でした: 項目にキー pk がありません) と表示されます。このインポートジョブが失敗したため、「target-table」テーブルが存在し、項目がインポートされなかったことから空になっています。最初の項目が処理され、オブジェクトは項目の検証に失敗しました。

問題を解決するには、「target-table」が不要になった場合は削除します。次に、ソースオブジェクトに存在するプライマリキー列名を使用するか、ソースデータを次のように更新します。

pk,title,artist,year_of_release
Albums::Rock::Classic::1973::AlbumId::ALB25,The Dark Side of the Moon,Pink Floyd,1973

ターゲットテーブルが存在する

インポートジョブを開始して、次のようなレスポンスを受け取った場合:

An error occurred (ResourceInUseException) when calling the ImportTable operation: Table already exists: target-table

このエラーを修正するには、まだ存在しないテーブル名を選択し、インポートを再試行する必要があります。

指定されたバケットは存在しません

ソースバケットが存在しない場合、インポートは失敗し、エラーメッセージの詳細が CloudWatch に記録されます。

インポートの説明の例:

aws dynamodb —endpoint-url $ENDPOINT describe-import —import-arn "arn:aws:dynamodb:us-east-1:531234567890:table/target-table/import/01658530687105-e6035287"
{
"ImportTableDescription": {
"ImportArn": "arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table/import/01658530687105-e6035287",
"ImportStatus": "FAILED",
"TableArn": "arn:aws:dynamodb:us-east-1:ACCOUNT:table/target-table",
"TableId": "e1215a82-b8d1-45a8-b2e2-14b9dd8eb99c",
"ClientToken": "3048e16a-069b-47a6-9dfb-9c259fd2fb6f",
"S3BucketSource": {
"S3BucketOwner": "531234567890",
"S3Bucket": "BUCKET_DOES_NOT_EXIST",
"S3KeyPrefix": "import-test"
},
"ErrorCount": 0,
"CloudWatchLogGroupArn": "arn:aws:logs:us-east-1:ACCOUNT:log-group:/aws-dynamodb/imports:*",
"InputFormat": "CSV",
"InputCompressionType": "NONE",
"TableCreationParameters": {
"TableName": "target-table",
"AttributeDefinitions": [
{
"AttributeName": "pk",
"AttributeType": "S"
}
],
"KeySchema": [
{
"AttributeName": "pk",
"KeyType": "HASH"
}
],
"BillingMode": "PAY_PER_REQUEST"
},
"StartTime": 1658530687.105,
"EndTime": 1658530701.873,
"ProcessedSizeBytes": 0,
"ProcessedItemCount": 0,
"ImportedItemCount": 0,
"FailureCode": "S3NoSuchBucket",
"FailureMessage": "The specified bucket does not exist (Service: Amazon S3; Status Code: 404; Error Code: NoSuchBucket; Request ID: Q4W6QYYFDWY6WAKH; S3 Extended Request ID: ObqSlLeIMJpQqHLRX2C5Sy7n+8g6iGPwy7ixg7eEeTuEkg/+chU/JF+RbliWytMlkUlUcuCLTrI=; Proxy: null)"
}
}

FailureCode は S3NoSuchBucket となり、FailureMessag には、リクエスト ID や、エラーをスローしたサービスなどの詳細が含まれます。データがテーブルにインポートされる前にエラーがキャッチされたため、新しい DynamoDB テーブルは作成されません。場合によっては、データインポートの開始後にこれらのエラーが発生すると、部分的にインポートされたデータを含むテーブルが保持されることがあります。

このエラーを修正するには、ソース Amazon S3 バケットが存在することを確認してから、インポートプロセスを再開します。