EMRclústeres en AWS Outposts - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

EMRclústeres en AWS Outposts

A partir de Amazon EMR 5.28.0, puede crear y ejecutar EMR clústeres en ellos. AWS Outposts AWS Outposts habilita AWS los servicios, la infraestructura y los modelos operativos nativos en las instalaciones locales. En AWS Outposts los entornos, puede usar las mismas AWS APIs herramientas e infraestructura que usa en la AWS nube. Amazon EMR on AWS Outposts es ideal para cargas de trabajo de baja latencia que deben ejecutarse muy cerca de datos y aplicaciones locales. Para obtener más información al respecto AWS Outposts, consulte la Guía AWS Outposts del usuario.

Requisitos previos

Los siguientes son los requisitos previos para usar Amazon EMR en AWS Outposts:

  • Debe haberlo instalado y configurado AWS Outposts en su centro de datos local.

  • Debe disponer de una conexión de red fiable entre su entorno de Outpost y una AWS región.

  • Debes tener suficiente capacidad para los tipos de instancias EMR compatibles con Amazon disponibles en tu Outpost.

Limitaciones

Las siguientes son las limitaciones del uso de Amazon EMR en AWS Outposts:

  • Las instancias bajo demanda son la única opción compatible con las EC2 instancias de Amazon. Las instancias puntuales no están disponibles para Amazon EMR en AWS Outposts.

  • Si necesitas volúmenes de EBS almacenamiento de Amazon adicionales, solo se admite General Purpose SSD (GP2).

  • Cuando lo usas AWS Outposts con las EMR versiones 5.28 a 6.x de Amazon, solo puedes usar buckets de S3 que almacenen objetos en un Región de AWS contenedor que tú especifiques. Con Amazon EMR 7.0.0 y versiones posteriores, Amazon EMR on también AWS Outposts es compatible con S3A cliente del sistema de archivos, prefijo. s3a://

  • Amazon solo admite los siguientes tipos de instancias EMR en AWS Outposts:

    Clase de instancia Tipos de instancias
    Uso general

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Optimizada para computación

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Optimizada para memoria

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Con optimización del almacenamiento

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Consideraciones sobre la conectividad de red

  • Si se pierde la conectividad de red entre tu Outpost y su AWS región, tus clústeres seguirán funcionando. Sin embargo, no podrá crear nuevos clústeres ni realizar nuevas acciones en clústeres existentes hasta que se restablezca la conectividad. En caso de errores en la instancia, la instancia no se reemplazará automáticamente. Además, se retrasarán acciones como añadir pasos a un clúster en ejecución, comprobar el estado de ejecución de los pasos y enviar CloudWatch métricas y eventos.

  • Te recomendamos que proporciones una conectividad de red fiable y de alta disponibilidad entre tu puesto de avanzada y la AWS región. Si se pierde la conectividad de red entre tu Outpost y su AWS región durante más de unas horas, los clústeres que tengan habilitada la protección de terminales seguirán funcionando y los clústeres que la hayan desactivado pueden terminar.

  • Si la conectividad de red se ve afectada debido a un mantenimiento rutinario, se recomienda habilitar proactivamente la protección de terminación. De manera más general, la interrupción de la conectividad significa que no se podrá acceder a ninguna dependencia externa que no esté accesible localmente en la instancia de Outpost o en la red del cliente. Esto incluye Amazon S3, DynamoDB, que se utiliza EMRFS con la vista de coherencia, y RDS Amazon, si se utiliza una instancia regional para un clúster de EMR Amazon con varios nodos principales.

Crear un EMR clúster de Amazon en AWS Outposts

Crear un EMR clúster de Amazon en AWS Outposts es similar a crear un EMR clúster de Amazon en la AWS nube. Al crear un EMR clúster de Amazon en AWS Outposts, debes especificar una EC2 subred de Amazon asociada a tu Outpost.

Un Amazon VPC puede abarcar todas las zonas de disponibilidad de una AWS región. AWS Outposts son extensiones de las zonas de disponibilidad y puedes ampliar un Amazon VPC de una cuenta para que abarque varias zonas de disponibilidad y las ubicaciones de Outpost asociadas. Cuando configuras tu Outpost, le asocias una subred para extender tu VPC entorno regional a tus instalaciones locales. Las instancias de Outpost y los servicios relacionados aparecen como parte de tu regiónVPC, de forma similar a una zona de disponibilidad con subredes asociadas. Para obtener más información, consulte la Guía del usuario de AWS Outposts.

Consola

Para crear un nuevo EMR clúster de Amazon AWS Outposts con AWS Management Console, especifica una EC2 subred de Amazon que esté asociada a tu Outpost.

Console
Para crear un clúster en la AWS Outposts consola
  1. Inicia sesión en y abre la AWS Management Console EMR consola de Amazon en https://console.aws.amazon.com/emr.

  2. EMREC2En el panel de navegación de la izquierda, selecciona Clústeres y, a continuación, selecciona Crear clúster.

  3. En Configuración del clúster, seleccione Grupos de instancias o Flotas de instancias. A continuación, selecciona un tipo de instancia en el menú desplegable Elegir tipo de EC2 instancia o selecciona Acciones y selecciona Añadir EBS volúmenes. Amazon EMR on AWS Outposts admite tipos limitados de EBS volúmenes e instancias de Amazon.

  4. En Redes, selecciona una EC2 subred con un ID de Outpost en este formato: op-123456789.

  5. Elija cualquier otra opción que se aplique a su clúster.

  6. Para lanzar el clúster, elija Crear clúster.

CLI
Para crear un clúster con AWS OutpostsAWS CLI
  • Para crear un nuevo EMR clúster de Amazon AWS Outposts con AWS CLI, especifica una EC2 subred que esté asociada a tu Outpost, como en el siguiente ejemplo. subnet-22XXXX01Sustitúyalo por tu propio ID de EC2 subred de Amazon.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.5.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles