EMRcluster attivi AWS Outposts - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

EMRcluster attivi AWS Outposts

A partire da Amazon EMR 5.28.0, puoi creare ed eseguire EMR cluster su. AWS Outposts AWS Outposts abilita AWS servizi, infrastrutture e modelli operativi nativi nelle strutture locali. Negli AWS Outposts ambienti, puoi utilizzare gli stessi AWS APIs strumenti e la stessa infrastruttura che usi nel AWS cloud. Amazon EMR on AWS Outposts è ideale per carichi di lavoro a bassa latenza che devono essere eseguiti in prossimità di dati e applicazioni locali. Per ulteriori informazioni su AWS Outposts, consulta AWS Outposts la Guida per l'utente.

Prerequisiti

Di seguito sono riportati i prerequisiti per utilizzare Amazon EMR su AWS Outposts:

  • Devi averlo installato e configurato AWS Outposts nel tuo data center locale.

  • È necessario disporre di una connessione di rete affidabile tra l'ambiente Outpost e una AWS regione.

  • Devi avere una capacità sufficiente per i tipi di istanze EMR supportati da Amazon disponibili nel tuo Outpost.

Limitazioni

Di seguito sono riportate le limitazioni dell'utilizzo di Amazon EMR su AWS Outposts:

  • Le istanze on demand sono l'unica opzione supportata per le istanze AmazonEC2. Le istanze Spot non sono disponibili per Amazon EMR su AWS Outposts.

  • Se hai bisogno di volumi EBS di storage Amazon aggiuntivi, è supportato solo General Purpose SSD (GP2).

  • Quando utilizzi le EMR versioni AWS Outposts di Amazon da 5.28 a 6.x, puoi usare solo bucket S3 che archiviano oggetti in un Regione AWS ambiente specificato. Con Amazon EMR 7.0.0 e versioni successive, Amazon EMR on AWS Outposts è supportato anche con S3A client di file system, prefisso. s3a://

  • Amazon supporta solo i seguenti tipi di istanze EMR su AWS Outposts:

    Classe di istanza Tipi di istanza
    Uso generale

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Ottimizzato per il calcolo

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Ottimizzato per la memoria

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Ottimizzato per lo storage

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Considerazioni sulla connettività di rete

  • Se la connettività di rete tra Outpost e la relativa AWS regione viene interrotta, i cluster continueranno a funzionare. Tuttavia, non potrai creare nuovi cluster o intraprendere nuove azioni nei cluster esistenti fino a quando la connettività non viene ripristinata. In caso di errori di istanza, l'istanza non verrà sostituita automaticamente. Inoltre, azioni come l'aggiunta di passaggi a un cluster in esecuzione, la verifica dello stato di esecuzione delle fasi e l'invio di CloudWatch metriche ed eventi verranno ritardate.

  • Ti consigliamo di fornire una connettività di rete affidabile e ad alta disponibilità tra Outpost e la regione. AWS Se la connettività di rete tra Outpost e la relativa AWS regione viene interrotta per più di qualche ora, i cluster che hanno abilitato la protezione da terminazione continueranno a funzionare e i cluster che hanno disabilitato la protezione da terminazione potrebbero essere terminati.

  • Se la connettività di rete subirà danni a causa della manutenzione di routine, suggeriamo di abilitare proattivamente una protezione dalle interruzioni. Più in generale, l'interruzione della connettività significa che eventuali dipendenze esterne che non sono locali per Outpost o la rete clienti non saranno accessibili. Ciò include Amazon S3, DynamoDB utilizzato con consistency EMRFS view e Amazon RDS se viene utilizzata un'istanza locale per un cluster Amazon con più nodi primari. EMR

Creazione di un EMR cluster Amazon su AWS Outposts

La creazione di un EMR cluster Amazon su AWS Outposts è simile alla creazione di un EMR cluster Amazon nel AWS cloud. Quando crei un EMR cluster Amazon su AWS Outposts, devi specificare una EC2 sottorete Amazon associata al tuo Outpost.

Un Amazon VPC può coprire tutte le zone di disponibilità di una AWS regione. AWS Outposts sono estensioni delle zone di disponibilità e puoi estendere un Amazon VPC in un account per estenderlo a più zone di disponibilità e sedi Outpost associate. Quando configuri Outpost, gli associ una sottorete per estendere VPC l'ambiente regionale alla struttura locale. Le istanze Outpost e i servizi correlati vengono visualizzati come parte dell'area regionaleVPC, in modo simile a una zona di disponibilità con sottoreti associate. Per ulteriori informazioni, consulta la Guida per l'utente di AWS Outposts.

Console

Per creare un nuovo EMR cluster Amazon AWS Outposts con AWS Management Console, specifica una EC2 sottorete Amazon associata al tuo Outpost.

Console
Per creare un cluster AWS Outposts con la console
  1. Accedi a e apri AWS Management Console la EMR console Amazon all'indirizzo https://console.aws.amazon.com/emr.

  2. EC2Nel riquadro di navigazione a sinistra, scegli Cluster, quindi scegli Crea cluster. EMR

  3. In Cluster configuration (Configurazione del cluster), seleziona Instance groups (Gruppi di istanze) oppure Instance fleets (Parchi istanze). Quindi, scegli un tipo di istanza dal menu a discesa Scegli il tipo di EC2 istanza o seleziona Azioni e scegli Aggiungi EBS volumi. Amazon EMR on AWS Outposts supporta EBS volumi Amazon e tipi di istanze limitati.

  4. In Rete, seleziona una EC2 sottorete con un ID Outpost in questo formato: op-123456789.

  5. Scegli qualsiasi altra opzione applicabile al cluster.

  6. Per avviare il cluster, scegli Create cluster (Crea cluster).

CLI
Per creare un cluster con AWS OutpostsAWS CLI
  • Per creare un nuovo EMR cluster Amazon AWS Outposts con AWS CLI, specifica una EC2 sottorete associata al tuo Outpost, come nell'esempio seguente. subnet-22XXXX01Sostituiscilo con il tuo ID di EC2 sottorete Amazon.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.5.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles