Consentire l'accesso alla funzione Lambda a metastore Hive esterni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Per richiamare una funzione Lambda nell'account, è necessario creare un ruolo con le seguenti autorizzazioni:

Ad esempio, la seguente policy definisce l'autorizzazione per la posizione di spill s3:\\mybucket\spill.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket/spill"
            ]
        }
    ]
}

Ogni volta che si utilizzano le policy IAM, assicurati di seguire le best practice IAM. Per ulteriori informazioni, consulta Best Practice di sicurezza in IAM nella Guida per l'utente di IAM.

Creazione di funzioni Lambda

Per creare una funzione Lambda nell'account, sono necessari i permessi di sviluppo delle funzioni o il ruolo AWSLambdaFullAccess. Per ulteriori informazioni, consulta Policy IAM basate su identità per AWS Lambda.

Poiché Athena utilizza le AWS Serverless Application Repository per creare le funzioni Lambda, il superutente o l'amministratore che crea le funzioni Lambda deve disporre anche di politiche IAM per consentire le query federate Athena.

Configura le autorizzazioni per la registrazione del catalogo e le operazioni dell'API dei metadati

Per l'accesso tramite API alla registrazione del catalogo e alle operazioni sui metadati, puoi utilizzare la AmazonAthenaFullAccess policy gestita. Se non utilizzi la AmazonAthenaFullAccess policy, aggiungi le seguenti operazioni API alle tue policy Athena:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "athena:ListDataCatalogs",
                "athena:GetDataCatalog",
                "athena:CreateDataCatalog",
                "athena:UpdateDataCatalog",
                "athena:DeleteDataCatalog",
                "athena:GetDatabase",
                "athena:ListDatabases",
                "athena:GetTableMetadata",
                "athena:ListTableMetadata"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

Chiama una funzione Lambda tra le regioni

Per impostazione predefinita, Athena invoca le funzioni Lambda definite nella stessa Regione. Per richiamare una funzione Lambda in Regione AWS una regione diversa da quella in cui vengono eseguite le query Athena, usa l'ARN completo della funzione Lambda.

L'esempio seguente mostra come un catalogo nella regione Europa (Francoforte) può specificare una funzione Lambda nella regione Stati Uniti orientali (Virginia settentrionale) per recuperare i dati dal metastore Hive nella regione Europa (Francoforte).

arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new     

Quando si specifica l'ARN completo in questo modo, Athena può invocare la funzione Lambda external-hms-service-new su us-east-1 per recuperare i dati del metastore Hive da eu-central-1.

Chiama una funzione Lambda tra più account

A volte potrebbe essere necessario richiedere l'accesso a un metastore Hive da un altro account. Ad esempio, per eseguire un metastore Hive, potresti utilizzare un account diverso da quello che usi per le query Athena. Gruppi o team diversi potrebbero eseguire metastore Hive con account diversi all'interno del loro VPC. Oppure si potrebbe voler accedere ai metadati provenienti da vari metastore Hive di gruppi o team diversi.

Athena utilizza il supporto AWS Lambda per l'accesso tra account per abilitare l'accesso tra account per i metastore Hive.

Si consideri il seguente scenario:

Per concedere 444455556666 all'account l'accesso alla funzione Lambdaexternal-hms-service-new, account 111122223333 utilizza il comando seguente AWS CLI add-permission. Il comando è stato formattato per la leggibilità.

$ aws --profile perf-test lambda add-permission
      --function-name external-hms-service-new
      --region us-east-1
      --statement-id Id-ehms-invocation2
      --action "lambda:InvokeFunction"
      --principal arn:aws:iam::444455556666:user/perf1-test
{
    "Statement": "{\"Sid\":\"Id-ehms-invocation2\",
                   \"Effect\":\"Allow\",
                   \"Principal\":{\"AWS\":\"arn:aws:iam::444455556666:user/perf1-test\"},
                   \"Action\":\"lambda:InvokeFunction\",
                   \"Resource\":\"arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new\"}"
}

Per verificare l'autorizzazione Lambda, utilizzare il comando get-policy, come nell'esempio seguente. Il comando è stato formattato per la leggibilità.

$ aws --profile perf-test lambda get-policy 
      --function-name arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new 
      --region us-east-1
{
    "RevisionId": "711e93ea-9851-44c8-a09f-5f2a2829d40f",
    "Policy": "{\"Version\":\"2012-10-17\",
                \"Id\":\"default\",
                \"Statement\":[{\"Sid\":\"Id-ehms-invocation2\",
                                \"Effect\":\"Allow\",
                                \"Principal\":{\"AWS\":\"arn:aws:iam::444455556666:user/perf1-test\"},
                                \"Action\":\"lambda:InvokeFunction\",
                                \"Resource\":\"arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new\"}]}"
}

Dopo aver aggiunto l'autorizzazione, è possibile utilizzare un ARN completo della funzione Lambda su us-east-1 come mostrato di seguito quando si definisce un catalogo ehms:

arn:aws:lambda:us-east-1:111122223333:function:external-hms-service-new

Per informazioni sulla invocazione tra regioni, vedere Chiama una funzione Lambda tra le regioni in questo argomento.

Concedi l'accesso ai dati su più account

Prima di poter eseguire query Athena, è necessario concedere l'accesso tra account ai dati in Amazon S3. Questa operazione può essere eseguita in uno dei seguenti modi:

Ad esempio, aggiungere la policy seguente alla policy del bucket Amazon S3 nell'account 111122223333 per consentire all'account 444455556666 di leggere i dati dalla posizione Amazon S3 specificata.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Stmt1234567890123",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::444455556666:user/perf1-test"
            },
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::athena-test/lambda/dataset/*"
        }
    ]
}

Nell'esempio corrente, dopo aver concesso l'accesso tra account a 444455556666,, 444455556666 può utilizzare il catalogo ehms in account per eseguire query sulle tabelle definite nell’account 111122223333.

Nell'esempio seguente, il profilo di SQL Workbench perf-test-1 è per l’account 444455556666. La query utilizza il catalogo ehms per accedere al metastore Hive e ai dati Amazon S3 nell'account 111122223333.