EMR se agrupa en AWS Outposts - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

EMR se agrupa en AWS Outposts

A partir de Amazon EMR 5.28.0, puede crear y ejecutar clústeres de EMR en ellos. AWS Outposts AWS Outposts habilita AWS los servicios, la infraestructura y los modelos operativos nativos en instalaciones locales. En AWS Outposts los entornos, puede usar las mismas AWS APIs herramientas e infraestructura que usa en la AWS nube. Amazon EMR on AWS Outposts es ideal para cargas de trabajo de baja latencia que deben ejecutarse muy cerca de datos y aplicaciones locales. Para obtener más información al respecto AWS Outposts, consulte AWS Outposts la Guía del usuario.

Requisitos previos

Estos son los requisitos previos para utilizar Amazon EMR en AWS Outposts:

  • Debe haberlo instalado y configurado AWS Outposts en su centro de datos local.

  • Debe disponer de una conexión de red fiable entre su entorno de Outpost y una AWS región.

  • Debe tener capacidad suficiente para los tipos de instancias compatibles de Amazon EMR disponibles en su Outpost.

Limitaciones

A continuación, se indican las limitaciones de uso de Amazon EMR en AWS Outposts:

  • Las instancias bajo demanda son la única opción compatible con las EC2 instancias de Amazon. Las instancias de spot no están disponibles para Amazon EMR en AWS Outposts.

  • Si necesita volúmenes de almacenamiento adicionales de Amazon EBS, solo se admiten SSD de uso general (GP2).

  • Si lo usa AWS Outposts con las versiones 5.28 a 6.x de Amazon EMR, solo puede usar buckets de S3 que almacenen objetos en un contenedor que usted especifique. Región de AWS Con Amazon EMR 7.0.0 y versiones posteriores, Amazon EMR activado AWS Outposts también es compatible con S3A cliente del sistema de archivos, prefijo. s3a://

  • Únicamente los siguientes tipos de instancias son admitidas por Amazon EMR en AWS Outposts:

    Clase de instancia Tipos de instancias
    Uso general

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Optimizada para computación

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Optimizada para memoria

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Con optimización del almacenamiento

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Consideraciones sobre la conectividad de red

  • Si se pierde la conectividad de red entre tu Outpost y su AWS región, tus clústeres seguirán funcionando. Sin embargo, no podrá crear nuevos clústeres ni realizar nuevas acciones en clústeres existentes hasta que se restablezca la conectividad. En caso de errores en la instancia, la instancia no se reemplazará automáticamente. Además, se retrasarán acciones como añadir pasos a un clúster en ejecución, comprobar el estado de ejecución de los pasos y enviar CloudWatch métricas y eventos.

  • Te recomendamos que proporciones una conectividad de red fiable y de alta disponibilidad entre tu puesto de avanzada y la AWS región. Si se pierde la conectividad de red entre tu Outpost y su AWS región durante más de unas horas, los clústeres que tengan habilitada la protección de terminales seguirán funcionando y los clústeres que la hayan desactivado pueden terminar.

  • Si la conectividad de red se ve afectada debido a un mantenimiento rutinario, se recomienda habilitar proactivamente la protección de terminación. De manera más general, la interrupción de la conectividad significa que no se podrá acceder a ninguna dependencia externa que no esté accesible localmente en la instancia de Outpost o en la red del cliente. Esto incluye Amazon S3, DynamoDB (utilizado con la vista de coherencia de EMRFS) y Amazon RDS, si se utiliza una instancia regional para un clúster de Amazon EMR con varios nodos principales.

Crear un clúster de Amazon EMR en AWS Outposts

Crear un clúster de Amazon EMR en AWS Outposts es similar a crear un clúster de Amazon EMR en la nube. AWS Al crear un clúster de Amazon EMR en AWS Outposts, debe especificar una EC2 subred de Amazon asociada a su Outpost.

Una Amazon VPC puede abarcar todas las zonas de disponibilidad de una AWS región. AWS Outposts son extensiones de las zonas de disponibilidad y puede ampliar una Amazon VPC en una cuenta para abarcar varias zonas de disponibilidad y las ubicaciones de Outpost asociadas. Al configurar su Outpost, le asocia un grupo de subredes para ampliar su entorno de VPC regional a sus instalaciones. Las instancias de Outpost y los servicios relacionados aparecen como parte de su VPC regional, de manera similar a una zona de disponibilidad con subredes asociadas. Para obtener más información, consulte la Guía del usuario de AWS Outposts.

Consola

Para crear un nuevo clúster de Amazon EMR AWS Outposts con AWS Management Console, especifique una EC2 subred de Amazon que esté asociada a su Outpost.

Console
Para crear un clúster en la consola AWS Outposts
  1. Inicie sesión en y abra la AWS Management Console consola de Amazon EMR en https://console.aws.amazon.com /emr.

  2. En EMR activado, EC2 en el panel de navegación izquierdo, elija Clústeres y, a continuación, elija Crear clúster.

  3. En Configuración del clúster, seleccione Grupos de instancias o Flotas de instancias. A continuación, elija un tipo de instancia en el menú desplegable Elegir tipo de EC2 instancia o seleccione Acciones y elija Agregar volúmenes de EBS. Amazon EMR on AWS Outposts admite tipos limitados de volúmenes e instancias de Amazon EBS.

  4. En Redes, seleccione una EC2 subred con un ID de Outpost en este formato: op-123456789.

  5. Elija cualquier otra opción que se aplique a su clúster.

  6. Para lanzar el clúster, elija Crear clúster.

CLI
Para crear un clúster con AWS OutpostsAWS CLI
  • Para crear un nuevo clúster de Amazon EMR AWS Outposts con AWS CLI, especifique una EC2 subred que esté asociada a su Outpost, como en el siguiente ejemplo. subnet-22XXXX01Sustitúyalo por tu propio ID de EC2 subred de Amazon.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.6.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles