Cluster EMR attivi AWS Outposts - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Cluster EMR attivi AWS Outposts

A partire da Amazon EMR 5.28.0, puoi creare ed eseguire cluster EMR su. AWS Outposts AWS Outposts abilita AWS servizi, infrastrutture e modelli operativi nativi in strutture locali. Negli AWS Outposts ambienti, puoi utilizzare gli stessi AWS APIs strumenti e la stessa infrastruttura che usi nel AWS cloud. Amazon EMR on AWS Outposts è ideale per carichi di lavoro a bassa latenza che devono essere eseguiti in prossimità di dati e applicazioni locali. Per ulteriori informazioni su AWS Outposts, consulta la Guida per l'utente.AWS Outposts

Prerequisiti

Di seguito sono indicati i prerequisiti per l'utilizzo di Amazon EMR in AWS Outposts:

  • È necessario averlo installato e configurato AWS Outposts nel data center locale.

  • È necessario disporre di una connessione di rete affidabile tra l'ambiente Outpost e una AWS regione.

  • Devi avere una capacità sufficiente per i tipi di istanze supportati da Amazon EMR disponibili nel tuo Outpost.

Limitazioni

Di seguito sono riportate le limitazioni dell'utilizzo di Amazon EMR su AWS Outposts:

  • Le istanze on demand sono l'unica opzione supportata per le istanze Amazon EC2 . Le istanze Spot non sono disponibili per Amazon EMR in AWS Outposts.

  • Se hai bisogno di volumi di storage Amazon EBS aggiuntivi, è supportato solo General Purpose SSD (GP2).

  • Se lo utilizzi AWS Outposts con le versioni di Amazon EMR dalla 5.28 alla 6.x, puoi usare solo bucket S3 che archiviano oggetti in un ambiente da te specificato. Regione AWS Con Amazon EMR 7.0.0 e versioni successive, Amazon EMR on è supportato anche con AWS Outposts S3A client di filesystem, prefisso. s3a://

  • Solo i seguenti tipi di istanza sono supportati da Amazon EMR in AWS Outposts:

    Classe di istanza Tipi di istanza
    Uso generale

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Ottimizzato per il calcolo

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Ottimizzato per la memoria

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Ottimizzato per lo storage

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Considerazioni sulla connettività di rete

  • Se la connettività di rete tra Outpost e la relativa AWS regione viene interrotta, i cluster continueranno a funzionare. Tuttavia, non potrai creare nuovi cluster o intraprendere nuove azioni nei cluster esistenti fino a quando la connettività non viene ripristinata. In caso di errori di istanza, l'istanza non verrà sostituita automaticamente. Inoltre, azioni come l'aggiunta di passaggi a un cluster in esecuzione, la verifica dello stato di esecuzione delle fasi e l'invio di CloudWatch metriche ed eventi verranno ritardate.

  • Ti consigliamo di fornire una connettività di rete affidabile e ad alta disponibilità tra Outpost e la regione. AWS Se la connettività di rete tra Outpost e la relativa AWS regione viene interrotta per più di qualche ora, i cluster che hanno abilitato la protezione da terminazione continueranno a funzionare e i cluster che hanno disabilitato la protezione da terminazione potrebbero essere terminati.

  • Se la connettività di rete subirà danni a causa della manutenzione di routine, suggeriamo di abilitare proattivamente una protezione dalle interruzioni. Più in generale, l'interruzione della connettività significa che eventuali dipendenze esterne che non sono locali per Outpost o la rete clienti non saranno accessibili. Sono inclusi Amazon S3, DynamoDB utilizzato con la visualizzazione coerente EMRFS e Amazon RDS se un'istanza interna alla Regione è utilizzata per un cluster Amazon EMR con più nodi primari.

Creazione di un cluster Amazon EMR su AWS Outposts

La creazione di un cluster Amazon EMR su AWS Outposts è simile alla creazione di un cluster Amazon EMR nel cloud. AWS Quando crei un cluster Amazon EMR su AWS Outposts, devi specificare una EC2 sottorete Amazon associata al tuo Outpost.

Un Amazon VPC può estendersi su tutte le zone di disponibilità di una regione. AWS AWS Outposts sono estensioni delle zone di disponibilità e puoi estendere un Amazon VPC in un account per estenderlo a più zone di disponibilità e sedi Outpost associate. Quando si configura l'Outpost, si associa a esso un gruppo di sottoreti per estendere l'ambiente regionale del VPC alla struttura locale. Le istanze Outpost e i servizi correlati fanno parte del VPC regionale, in modo simile a una zona di disponibilità con le sottoreti associate. Per ulteriori informazioni, consulta la Guida per l'utente di AWS Outposts.

Console

Per creare un nuovo cluster Amazon EMR AWS Outposts con AWS Management Console, specifica una EC2 sottorete Amazon associata al tuo Outpost.

Console
Per creare un cluster con la console AWS Outposts
  1. Accedi a e apri AWS Management Console la console Amazon EMR su https://console.aws.amazon.com /emr.

  2. In EMR attivo EC2 nel riquadro di navigazione a sinistra, scegli Cluster, quindi scegli Crea cluster.

  3. In Cluster configuration (Configurazione del cluster), seleziona Instance groups (Gruppi di istanze) oppure Instance fleets (Parchi istanze). Quindi, scegli un tipo di istanza dal menu a discesa Scegli il tipo di EC2 istanza o seleziona Azioni e scegli Aggiungi volumi EBS. Amazon EMR on AWS Outposts supporta volumi e tipi di istanze Amazon EBS limitati.

  4. In Rete, seleziona una EC2 sottorete con un ID Outpost in questo formato: op-123456789.

  5. Scegli qualsiasi altra opzione applicabile al cluster.

  6. Per avviare il cluster, scegli Create cluster (Crea cluster).

CLI
Per creare un cluster con AWS OutpostsAWS CLI
  • Per creare un nuovo cluster Amazon EMR AWS Outposts con AWS CLI, specifica una EC2 sottorete associata al tuo Outpost, come nell'esempio seguente. subnet-22XXXX01Sostituiscilo con il tuo ID di EC2 sottorete Amazon.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.6.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles