Usa il AWS Serverless Application Repository per implementare un connettore di origine dati Hive - Amazon Athena

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usa il AWS Serverless Application Repository per implementare un connettore di origine dati Hive

Per distribuire un connettore origine dati Athena per Hive, puoi utilizzare AWS Serverless Application Repository invece di iniziare con la console Athena. Usa il AWS Serverless Application Repository per trovare il connettore che desideri utilizzare, fornisci i parametri richiesti dal connettore e quindi distribuisci il connettore al tuo account. Quindi, dopo aver distribuito il connettore, utilizza la console Athena per rendere disponibile l'origine dati ad Athena.

Da utilizzare AWS Serverless Application Repository per distribuire un connettore di origine dati per Hive sul tuo account

  1. Accedi AWS Management Console e apri il Serverless App Repository.

  2. Nel pannello di navigazione, scegli Available applications (Applicazioni disponibili).

  3. Seleziona l'opzione Visualizzare le app che creano ruoli IAM personalizzati o policy delle risorse.

  4. Nella casella di ricerca immetti Hive. I connettori visualizzati includono i due seguenti:

    • AthenaHiveMetastoreFunction— File .jar della funzione Uber Lambda.

    • AthenaHiveMetastoreFunctionWithLayer – Livello Lambda e file .jar della funzione Lambda.

    Le due applicazioni hanno la stessa funzionalità e differiscono solo nella loro implementazione. È possibile utilizzarle entrambe per creare una funzione Lambda che connette Athena al metastore Hive.

  5. Scegli il nome del connettore da utilizzare. In questo tutorial si utilizza AthenaHiveMetastoreFunction.

    Scegli il nome del connettore dell'origine dati Athena per Hive.

  6. Sotto Impostazioni applicazioni inserisci i parametri per la funzione Lambda.

    • LambdaFuncName— Fornisci un nome per la funzione. Ad esempio myHiveMetastore.

    • SpillLocation— Specificare una posizione Amazon S3 in questo account per conservare i metadati di spillover se la dimensione della risposta della funzione Lambda supera i 4 MB.

    • HMSUris— Inserisci l'URI del tuo host metastore Hive che utilizza il protocollo Thrift sulla porta 9083. Utilizzo della sintassi thrift://<host_name>:9083.

    • LambdaMemory— Specificare un valore compreso tra 128 MB e 3008 MB. Alla funzione Lambda vengono allocati cicli di CPU proporzionali alla quantità di memoria configurata. Il valore di default è 1024.

    • LambdaTimeout— Specificare il tempo di esecuzione della chiamata Lambda massimo consentito in secondi da 1 a 900 (900 secondi corrispondono a 15 minuti). Il valore predefinito è 300 secondi (5 minuti).

    • VPCSecurityGroupIds— Inserisci un elenco separato da virgole di gruppi IDs di sicurezza VPC per il metastore Hive.

    • VPCSubnetIds: inserisci un elenco separato da virgole di IDs sottorete VPC per il metastore Hive.

  7. Nella parte inferiore destra della pagina Dettagli applicazione seleziona Sono consapevole che questa app crea ruoli IAM personalizzati, quindi scegli Distribuisci.

A questo punto, puoi configurare Athena per utilizzare la funzione Lambda per connetterti al metastore Hive. Per le fasi, consulta Configurazione di Athena per l'utilizzo di un connettore Hive Metastore distribuito.