Prerequisiti per creare un endpoint interattivo su Amazon su EMR EKS - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Prerequisiti per creare un endpoint interattivo su Amazon su EMR EKS

Questa sezione descrive i prerequisiti per configurare un endpoint interattivo che EMR Studio può utilizzare per connettersi a un Amazon EMR su EKS cluster ed eseguire carichi di lavoro interattivi.

AWS CLI

Segui la procedura descritta in Installare o aggiornare alla versione più recente di () AWS CLI per installare la versione più recente di AWS Command Line Interface (AWS CLI).

Installazione di eksctl

Segui i passaggi in Installa kubectl per installare l'ultima versione di eksctl. Se utilizzi Kubernetes versione 1.22 o successiva per il tuo EKS cluster Amazon, usa una versione eksctl successiva alla 0.117.0.

EKSCluster Amazon

Crea un EKS cluster Amazon. Registra il cluster come cluster virtuale con Amazon EMR onEKS. Di seguito sono riportati i requisiti e le considerazioni per tale cluster:

  • Il cluster deve trovarsi nello stesso Amazon Virtual Private Cloud (VPC) del tuo EMR Studio.

  • Il cluster deve disporre di almeno una sottorete privata per attivare gli endpoint interattivi, collegare repository basati su Git e avviare l'Application Load Balancer in modalità privata.

  • Deve esserci almeno una sottorete privata in comune tra EMR Studio e il EKS cluster Amazon utilizzato per registrare il cluster virtuale. Ciò garantisce che l'endpoint interattivo appaia come opzione nei Workspace Studio e attiva la connettività da Studio all'Application Load Balancer.

    Puoi scegliere tra due metodi per connettere Studio e il tuo EKS cluster Amazon:

    • Crea un EKS cluster Amazon e associalo alle sottoreti che appartengono al tuo EMR Studio.

    • In alternativa, crea uno EMR Studio e specifica le sottoreti private per il tuo cluster AmazonEKS.

  • Amazon Linux EKS ottimizzato per ARM Amazon AMIs non è supportato per Amazon EMR su endpoint EKS interattivi.

  • Gli endpoint interattivi funzionano con EKS i cluster Amazon che utilizzano versioni di Kubernetes fino alla 1.30.

  • Sono supportati solo i gruppi di nodi EKS gestiti da Amazon.

Concedi l'accesso al cluster per Amazon EMR su EKS

Utilizza la procedura descritta in Concedi l'accesso al cluster per Amazon EMR su EKS per concedere ad Amazon EMR EKS l'accesso a uno spazio dei nomi specifico nel tuo cluster.

Attiva IRSA sul EKS cluster Amazon

Per attivare IAM i ruoli per gli account di servizio (IRSA) sul EKS cluster Amazon, segui i passaggi in Abilita IAM ruoli per gli account di servizio (IRSA).

Crea un ruolo IAM di esecuzione del lavoro

Devi creare un IAM ruolo per eseguire carichi di lavoro su Amazon EMR su endpoint EKS interattivi. In questa documentazione, ci riferiamo a questo IAM ruolo come al ruolo di esecuzione del lavoro. Questo IAM ruolo viene assegnato sia al contenitore interattivo degli endpoint che ai contenitori di esecuzione effettivi creati quando si inviano lavori con EMR Studio. Avrai bisogno dell'Amazon Resource Name (ARN) del tuo ruolo di esecuzione del lavoro per Amazon EMR onEKS. A tal fine sono necessarie due fasi:

Concedi agli utenti l'accesso ad Amazon EMR su EKS

L'IAMentità (utente o ruolo) che effettua la richiesta di creazione di un endpoint interattivo deve inoltre disporre dei seguenti Amazon EC2 e delle seguenti emr-containers autorizzazioni. Segui i passaggi descritti in Concedi agli utenti l'accesso ad Amazon EMR su EKS per concedere queste autorizzazioni che consentono EKS ad Amazon EMR on di creare, gestire ed eliminare i gruppi di sicurezza che limitano il traffico in entrata verso il sistema di bilanciamento del carico del tuo endpoint interattivo.

Le seguenti autorizzazioni emr-containers consentono all'utente di eseguire operazioni di endpoint interattivo di base:

"ec2:CreateSecurityGroup", "ec2:DeleteSecurityGroup", "ec2:AuthorizeSecurityGroupEgress", "ec2:AuthorizeSecurityGroupIngress", "ec2:RevokeSecurityGroupEgress", "ec2:RevokeSecurityGroupIngress" "emr-containers:CreateManagedEndpoint", "emr-containers:ListManagedEndpoints", "emr-containers:DescribeManagedEndpoint", "emr-containers:DeleteManagedEndpoint"

Registra il EKS cluster Amazon con Amazon EMR

Configura un cluster virtuale e mappalo allo spazio dei nomi nel EKS cluster Amazon in cui desideri eseguire i tuoi lavori. Per i cluster AWS Fargate-only, usa lo stesso namespace sia per il EKS cluster Amazon EMR on virtual che per il profilo Fargate.

Per informazioni sulla configurazione di un Amazon EMR su un cluster EKS virtuale, consultaRegistra il EKS cluster Amazon con Amazon EMR.

Implementa AWS Load Balancer Controller su un cluster Amazon EKS

È richiesto un AWS Application Load Balancer per il tuo cluster AmazonEKS. Devi solo configurare un controller Application Load Balancer per cluster AmazonEKS. Per informazioni sulla configurazione del controller AWS Application Load Balancer, consulta Installazione del componente aggiuntivo Load AWS Balancer Controller nella Amazon User Guide. EKS