Creazione di un catalogo Amazon S3 Tables nel AWS Glue Data Catalog - AWS Lake Formation

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un catalogo Amazon S3 Tables nel AWS Glue Data Catalog

Questa caratteristica è in versione di anteprima ed è soggetta a modifica. Per ulteriori informazioni, consulta la sezione Beta e anteprime nel documento Termini del servizio AWS.

Le tabelle Amazon S3 forniscono uno storage S3 specificamente ottimizzato per i carichi di lavoro di analisi, migliorando le prestazioni delle query e riducendo i costi. Le tabelle S3 hanno il supporto integrato per lo standard Apache Iceberg, che consente di interrogare facilmente i dati tabulari nei bucket di tabelle Amazon S3 utilizzando i motori di query più diffusi come Apache Spark.

Ora puoi pubblicare e catalogare le tabelle S3 come AWS Glue Data Catalog oggetti e registrare il catalogo come posizione dati di Lake Formation dalla console di Lake Formation o utilizzando il servizio APIs. Per ulteriori informazioni, consulta Using Amazon S3 Tables with AWS analytics services nella Amazon Simple Storage Service User Guide.

Prerequisiti

  1. Un amministratore del data lake o un responsabile IAM con CREATE_CATALOG autorizzazione può completare l'integrazione con un clic dalla console Lake Formation.

  2. Crea un ruolo IAM per l'accesso ai dati di Lake Formation ai tuoi bucket di tabelle S3. Il ruolo IAM utilizzato durante la registrazione del table bucket con Lake Formation richiede le seguenti autorizzazioni: 

    {
  "Action": [
    "s3tables:ListTableBuckets",
    "s3tables:CreateTableBucket",
    "s3tables:GetTableBucket",
    "s3tables:CreateNamespace",
    "s3tables:GetNamespace",
    "s3tables:ListNamespaces",
    "s3tables:DeleteNamespace",
    "s3tables:DeleteTableBucket",
    "s3tables:CreateTable",
    "s3tables:DeleteTable",
    "s3tables:GetTable",
    "s3tables:ListTables",
    "s3tables:RenameTable",
    "s3tables:UpdateTableMetadataLocation",
    "s3tables:GetTableMetadataLocation",
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:us-east-1:123456789012:bucket/*",
  "Effect": "Allow"
}

    Per ulteriori informazioni, consulta Requisiti per i ruoli utilizzati per registrare le sedi.

  3. Aggiungi la seguente policy di fiducia al ruolo IAM per consentire al servizio Lake Formation di assumere il ruolo e fornire credenziali temporanee ai motori analitici integrati. 

    {
  "Effect": "Allow",
  "Principal": {
    "Service": "lakeformation.amazonaws.com"
  },
  "Action": [
    "sts:AssumeRole",
    "sts:SetContext"  # add action to trust relationship when using IAM Identity center principals with Lake Formation
  ]
}
Per integrare Amazon S3 Tables con AWS Glue Data Catalog (console)

  1. Apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

  2. Crea bucket Amazon S3 Table utilizzando la console Amazon S3 e integrali con i servizi di analisi. AWS Per ulteriori informazioni, consulta Usare le tabelle Amazon S3 con i servizi di AWS analisi.

  3. Apri la console Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/.

  4. Nel riquadro di navigazione, scegli Catalogs in Data Catalog.

  5. Scegli S3 Table integration nella pagina Cataloghi.

  6. Scegli un ruolo IAM che Lake Formation assuma per vendere le credenziali ai motori di query analitiche.

    La schermata di abilitazione dell'integrazione di S3 con il ruolo IAM.

  7. Scegli Abilita . Il nuovo catalogo per S3 Tables viene aggiunto all'elenco dei cataloghi.

  8. Scegli il catalogo per visualizzare gli oggetti del catalogo e concedere le autorizzazioni ad altri principali.

    Il catalogo di tabelle S3
Per creare un catalogo S3 Tables (CLI)

  1. Crea un catalogo. 

    aws glue create-catalog --cli-input-json file://input.json

'{
   "Name": "s3tablescatalog",
   "CatalogInput" : {
      "FederatedCatalog": {
         "Identifier": "arn:aws:s3tables:us-east-1:123456789012:bucket/*",
         "ConnectionName": "aws:s3tables"
      },
      "CreateDatabaseDefaultPermissions": [],
      "CreateTableDefaultPermissions": []
   }
}'

  2. Registra il catalogo S3 Tables come posizione dei dati di Lake Formation.

    aws lakeformation register-resource \
  --resource-arn 'arn:aws:s3tables:us-east-1:123456789012:bucket/*' \
  --role-arn 'arn:aws:iam::123456789012:role/LakeFormationDataAccessRole' \
  --with-federation