使用自訂實作，跨帳戶複製 Amazon DynamoDB 資料表

由 Ramkumar Ramanujam 建立 （AWS）

Summary

在 Amazon Web Services （AWS） 上使用 Amazon DynamoDB 時，常見的使用案例是複製 DynamoDB 資料表，或將開發、測試或預備環境中的資料表與生產環境中的資料表資料同步。作為標準做法，每個環境都使用不同的 AWS 帳戶。

DynamoDB 現在支援使用 Backup 進行跨帳戶AWS備份。如需使用 AWS Backup 時相關儲存成本的資訊，請參閱AWS備份定價 。當您使用 AWS Backup 複製帳戶時，來源和目標帳戶必須是 AWS Organizations 組織的一部分。還有其他使用 Glue AWS 等AWS服務進行跨帳戶備份和還原的解決方案。不過，使用這些解決方案會增加應用程式足跡，因為有更多AWS服務需要部署和維護。 

您也可以使用 Amazon DynamoDB Streams 擷取來源帳戶中的資料表變更。然後，您可以啟動 AWS Lambda 函數，並在目標帳戶中的目標資料表中進行對應的變更。但是，該解決方案適用於來源和目標資料表必須保持同步的使用案例。它可能不適用於頻繁更新資料的開發、測試和預備環境。

此模式提供實作自訂解決方案的步驟，以將 Amazon DynamoDB 資料表從一個 帳戶複製到另一個 帳戶。此模式可以使用常見的程式設計語言實作，例如 C#、Java 和 Python。建議使用 AWS SDK支援的語言。

先決條件和限制

先決條件

限制

此模式適用於 2 GB 或更小的 DynamoDB 資料表。透過額外的邏輯來處理連線或工作階段中斷、限流、故障和重試，它可用於較大的資料表。

DynamoDB 掃描操作會從來源資料表讀取項目，在單一呼叫中最多只能擷取 1 MB 的資料。對於大於 2 GB 的大型資料表，此限制可能會增加執行完整資料表複本的總時間。

架構

下圖顯示來源和目標AWS帳戶之間的自訂實作。IAM 政策和安全性字符會與自訂實作搭配使用。資料會從來源帳戶中的 Amazon DynamoDB 讀取，並寫入目標帳戶中的 DynamoDB。

自動化和擴展

此模式適用於大小較小的 DynamoDB 資料表，約為 2 GB。 

若要將此模式套用至較大的資料表，請解決下列問題：

工具

工具

Code

下列 Python 程式碼程式碼片段會使用 Boto3 程式庫刪除和重新建立 DynamoDB 資料表。

請勿使用 AWS_ACCESS_KEY_ID和 AWS_SECRET_ACCESS_KEY IAM使用者的 ，因為這是長期憑證，在程式設計存取 AWS 服務時應避免使用。如需臨時憑證的詳細資訊，請參閱最佳實務區段。

下列程式碼片段TEMPORARY_SESSION_TOKEN中使用的 AWS_SECRET_ACCESS_KEY、 AWS_ACCESS_KEY_ID和 是從 AWS Security Token Service 擷取的暫時憑證 （AWS）STS。

import boto3
import sys
import json

#args = input-parameters = GLOBAL_SEC_INDEXES_JSON_COLLECTION, ATTRIBUTES_JSON_COLLECTION, TARGET_DYNAMODB_NAME, TARGET_REGION, ...

#Input param: GLOBAL_SEC_INDEXES_JSON_COLLECTION
#[{"IndexName":"Test-index","KeySchema":[{"AttributeName":"AppId","KeyType":"HASH"},{"AttributeName":"AppType","KeyType":"RANGE"}],"Projection":{"ProjectionType":"INCLUDE","NonKeyAttributes":["PK","SK","OwnerName","AppVersion"]}}]

#Input param: ATTRIBUTES_JSON_COLLECTION
#[{"AttributeName":"PK","AttributeType":"S"},{"AttributeName":"SK","AttributeType":"S"},{"AttributeName":"AppId","AttributeType":"S"},{"AttributeName":"AppType","AttributeType":"N"}]

region = args['TARGET_REGION']
target_ddb_name = args['TARGET_DYNAMODB_NAME']

global_secondary_indexes = json.loads(args['GLOBAL_SEC_INDEXES_JSON_COLLECTION'])
attribute_definitions = json.loads(args['ATTRIBUTES_JSON_COLLECTION'])

# Drop and create target DynamoDB table
dynamodb_client = boto3.Session(
        aws_access_key_id=args['AWS_ACCESS_KEY_ID'],
        aws_secret_access_key=args['AWS_SECRET_ACCESS_KEY'],
        aws_session_token=args['TEMPORARY_SESSION_TOKEN'],
    ).client('dynamodb')
    
# Delete table
print('Deleting table: ' + target_ddb_name + ' ...')

try:
    dynamodb_client.delete_table(TableName=target_ddb_name)

    #Wait for table deletion to complete
    waiter = dynamodb_client.get_waiter('table_not_exists')
    waiter.wait(TableName=target_ddb_name)
    print('Table deleted.')
except dynamodb_client.exceptions.ResourceNotFoundException:
    print('Table already deleted / does not exist.')
    pass

print('Creating table: ' + target_ddb_name + ' ...')

table = dynamodb_client.create_table(
    TableName=target_ddb_name,
    KeySchema=[
        {
            'AttributeName': 'PK',
            'KeyType': 'HASH'  # Partition key
        },
        {
            'AttributeName': 'SK',
            'KeyType': 'RANGE'  # Sort key
        }
    ],
    AttributeDefinitions=attribute_definitions,
    GlobalSecondaryIndexes=global_secondary_indexes,
    BillingMode='PAY_PER_REQUEST'
)
    
waiter = dynamodb_client.get_waiter('table_exists')
waiter.wait(TableName=target_ddb_name)
    
print('Table created.')

最佳實務

暫時性憑證

作為安全最佳實務，以程式設計方式存取AWS服務時，請避免使用 IAM AWS_ACCESS_KEY_ID和 AWS_SECRET_ACCESS_KEY 使用者的 ，因為這些是長期憑證。請務必嘗試使用臨時憑證以程式設計方式存取 AWS 服務。

例如，開發人員在開發期間硬式編碼應用程式中IAM使用者的 AWS_ACCESS_KEY_ID和 AWS_SECRET_ACCESS_KEY ，但無法在將變更推送至程式碼儲存庫之前移除硬式編碼值。這些公開的憑證可以供非預期或惡意使用者使用，這可能會產生嚴重影響 （特別是當公開的憑證具有管理員權限時）。這些公開的憑證應該立即使用IAM主控台或AWS命令列介面 （AWS CLI） 來停用或刪除。

若要取得 AWS服務的程式設計存取臨時憑證，請使用 AWS STS。暫時憑證僅在指定的時間內有效 （從 15 分鐘到 36 小時）。臨時憑證的允許持續時間上限取決於角色設定和角色鏈結等因素。如需 AWS 的詳細資訊STS，請參閱 文件 。

史詩

aws sts assume-role --role-arn arn:aws:iam::<account-id>:role/<role-name> --role-session-name <session-name> --profile <profile-name>

相關資源

其他資訊

此模式使用 C# 實作，以複製具有 200，000 個項目的 DynamoDB 資料表 （平均項目大小為 5 KB，資料表大小為 250 MB）。目標 DynamoDB 資料表的佈建容量為 4000 RCUs和 4000WCUs。

完整的資料表複製操作 （從來源帳戶到目標帳戶），包括捨棄和重新建立資料表，耗時 5 分鐘。使用的總容量單位：30，000 RCUs和大約 400，000WCUs。

如需 DynamoDB 容量模式的詳細資訊，請參閱 AWS 文件中的讀取/寫入容量模式。

附件

若要存取與本文件相關聯的其他內容，請解壓縮下列檔案： attachment.zip