將資料從 Amazon S3 匯入 Aurora PostgreSQL 資料庫叢集

安裝 aws_s3 擴充功能

1. 使用 psql (或 pgAdmin) 以具有 rds_superuser 權限的使用者身分連接到 Aurora PostgreSQL 資料庫叢集的寫入器執行個體 。若您在安裝程序期間保留預設名稱，則連接為 postgres。

   psql --host=111122223333.aws-region.rds.amazonaws.com --port=5432 --username=postgres --password

2. 若要安裝擴充功能，請執行下列命令。

   postgres=> CREATE EXTENSION aws_s3 CASCADE;
   NOTICE: installing required extension "aws_commons"
   CREATE EXTENSION

3. 若要驗證是否已經安裝擴充功能，可以使用 psql \dx 中繼命令。

   postgres=> \dx
          List of installed extensions
       Name     | Version |   Schema   |                 Description
   -------------+---------+------------+---------------------------------------------
    aws_commons | 1.2     | public     | Common data types across AWS services
    aws_s3      | 1.1     | public     | AWS S3 extension for importing data from S3
    plpgsql     | 1.0     | pg_catalog | PL/pgSQL procedural language
   (3 rows)

將 S3 資料匯入至 Aurora PostgreSQL

首先，收集您需要提供給函數的詳細資訊。 AWS 區域 其中包括 Aurora PostgreSQL 資料庫叢集執行個體上的表格名稱、適用以及儲存貯體名稱、檔案路徑、檔案類型，以及 Amazon S3 資料的存放位置。如需詳細資訊，請參閱 Amazon Simple Storage Service 使用者指南中的檢視物件。

1. 取得 aws_s3.table_import_from_s3 函數要匯入資料的資料表名稱。舉例來說，下列命令建立的資料表 t1，可用於之後的步驟中。

   postgres=> CREATE TABLE t1 
       (col1 varchar(80), 
       col2 varchar(80), 
       col3 varchar(80));
   

2. 取得 Amazon S3 儲存貯體以及要匯入資料的詳細資料。要執行此操作，請在以下網址開啟 Amazon S3 主控台：https://console.aws.amazon.com/s3/，然後選擇 Buckets (儲存貯體)。在清單中尋找包含您資料的儲存貯體。選擇儲存貯體，開啟其物件概觀頁面，然後選擇 Properties (屬性)。

   記下值區名稱、路徑 AWS 區域、和檔案類型。您稍後需要 Amazon Resource Name (ARN)，以設定透過 IAM 角色對 Amazon S3 的存取權限。如需詳細資訊，請參閱 設定對 Amazon S3 儲存貯體的存取權。下圖顯示範例。

   

3. 您可以使用 AWS CLI 命令驗證 Amazon S3 儲存貯體上資料的路徑aws s3 cp。如果資訊正確，此命令會下載 Amazon S3 檔案的副本。

   aws s3 cp s3://DOC-EXAMPLE-BUCKET/sample_file_path ./ 

4. 設定 Aurora PostgreSQL 資料庫叢集 的許可，以允許存取 Amazon S3 儲存貯體上的檔案。若要這麼做，您可以使用 AWS Identity and Access Management (IAM) 角色或安全登入資料。如需詳細資訊，請參閱 設定對 Amazon S3 儲存貯體的存取權。

5. 將收集到的路徑和其他 Amazon S3 物件詳細資訊 (請參閱步驟 2) 提供給 create_s3_uri 函數，以建構 Amazon S3 URI 物件。若要進一步了解此函數，請參閱 aws_commons.create_s3_uri。以下是在 psql 工作階段中建構此物件的範例。

   postgres=> SELECT aws_commons.create_s3_uri(
      'docs-lab-store-for-rpg',
      'versions_and_jdks_listing.csv',
      'us-west-1'
   ) AS s3_uri \gset

   在下一個步驟中，您將此物件 (aws_commons._s3_uri_1) 傳遞到 aws_s3.table_import_from_s3 函數，將資料匯入資料表。

6. 調用 aws_s3.table_import_from_s3 函數，將資料從 Amazon S3 匯入資料表。如需參考資訊，請參閱 aws_s3.table_import_from_s3。如需範例，請參閱「將資料從 Amazon S3 匯入 Aurora PostgreSQL 資料庫叢集」。

透過 IAM 角色將 Aurora PostgreSQL 資料庫叢集的存取權授予 Amazon S3

1. 建立 IAM 政策。

   此政策可提供儲存貯體及物件許可，讓 Aurora PostgreSQL 資料庫叢集 能夠存取 Amazon S3。

   在政策中納入下列必要動作，以允許由 Amazon S3 儲存貯體傳輸檔案至 Aurora PostgreSQL：

   • s3:GetObject

   • s3:ListBucket

   在政策中包含下列資源，以識別 Amazon S3 儲存貯體和儲存貯體中的物件。這會顯示用於存取 Amazon S3 的 Amazon Resource Name (ARN) 格式。

   • ARN: AWS::: 文件示例桶

   • ARN: AWS::: 文件範例鬥 /*

   如需建立 Aurora PostgreSQL IAM 政策的詳細資訊，請參閱 建立並使用 IAM 政策進行 IAM 資料庫存取。另請參閱《IAM 使用者指南》中的教學：建立和連接您的第一個客戶受管原則。

   下列 AWS CLI 命令會建立以這些選項命名rds-s3-import-policy的 IAM 政策。它授予一個名為文檔示例桶的訪問權限。

   注意

   請記下此命令所傳回政策的 Amazon Resource Name (ARN)。在後續步驟中將政策連接至 IAM 角色時，您會需要此 ARN。

   範例

   對於LinuxmacOS、或Unix：

   aws iam create-policy \
      --policy-name rds-s3-import-policy \
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ],
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::DOC-EXAMPLE-BUCKET", 
              "arn:aws:s3:::DOC-EXAMPLE-BUCKET/*"
            ] 
          }
        ] 
      }'                     

   在 Windows 中：

   aws iam create-policy ^
      --policy-name rds-s3-import-policy ^
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ], 
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::DOC-EXAMPLE-BUCKET", 
              "arn:aws:s3:::DOC-EXAMPLE-BUCKET/*"
            ] 
          }
        ] 
      }'             

2. 建立 IAM 角色。

   這麼做是為了讓 Aurora PostgreSQL 擔任此 IAM 角色，以存取您的 Amazon S3 儲存貯體。如需詳細資訊，請參閱《IAM 使用者指南》中的建立角色以將許可委派給 IAM 使用者。

   建議您在資源型政策中使用 aws:SourceArn 和 aws:SourceAccount 全域條件內容金鑰，將服務的許可限定於特定資源。這是防止混淆代理人問題最有效的方式。

   如果同時使用這兩個全域條件內容索引鍵，且 aws:SourceArn 值包含帳戶 ID，則在相同政策陳述式中使用 aws:SourceAccount 值和 aws:SourceArn 值中的帳戶時，必須使用相同的帳戶 ID。

   • 如果您想要跨服務存取單一資源，請使用 aws:SourceArn。

   • 如果您想要允許該帳戶中的任何資源與跨服務使用相關聯，請使用 aws:SourceAccount。

   在政策中，請務必搭配資源的完整 ARN 來使用 aws:SourceArn 全域條件內容金鑰。下列範例示範如何使用 AWS CLI 命令來建立名為的角色rds-s3-import-role。

   範例

   對於LinuxmacOS、或Unix：

   aws iam create-role \
      --role-name rds-s3-import-role \
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:cluster:clustername"
                   }
                }
          }
        ] 
      }'

   在 Windows 中：

   aws iam create-role ^
      --role-name rds-s3-import-role ^
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:cluster:clustername"
                   }
                }
          }
        ] 
      }'

3. 將您建立的 IAM 政策附加至您建立的 IAM 角色。

   下列 AWS CLI 命令會將在上一個步驟中建立的原則附加至您在先前步驟中記錄your-policy-arn的名為「以原則 ARN rds-s3-import-role 取代」的角色。

   範例

   對於LinuxmacOS、或Unix：

   aws iam attach-role-policy \
      --policy-arn your-policy-arn \
      --role-name rds-s3-import-role                    

   在 Windows 中：

   aws iam attach-role-policy ^
      --policy-arn your-policy-arn ^
      --role-name rds-s3-import-role    

4. 將 IAM 角色新增至資料庫叢集。

   您可以使用 AWS Management Console 或來執行此操作 AWS CLI，如下所述。

匯入使用自訂分隔符號的檔案

1. 在資料庫為匯入資料建立表格。

   postgres=> CREATE TABLE test (a text, b text, c text, d text, e text);

2. 使用以下的 aws_s3.table_import_from_s3 函數格式由 Amazon S3 檔案匯入資料。

   您可在 aws_commons.create_s3_uri 函數呼叫之中內嵌 aws_s3.table_import_from_s3 函數呼叫以指定檔案。

   postgres=> SELECT aws_s3.table_import_from_s3(
      'test',
      'a,b,d,e',
      'DELIMITER ''|''', 
      aws_commons.create_s3_uri('DOC-EXAMPLE-BUCKET', 'pipeDelimitedSampleFile', 'us-east-2')
   );