View a markdown version of this page

Clústeres de EMR en AWS Outposts - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Clústeres de EMR en AWS Outposts

A partir de Amazon EMR 5.28.0, puede crear y ejecutar clústeres de EMR en ellos. AWS Outposts AWS Outposts habilita AWS los servicios, la infraestructura y los modelos operativos nativos en las instalaciones locales. En AWS Outposts los entornos, puede usar las mismas AWS API, herramientas e infraestructura que usa en la AWS nube. Amazon EMR on AWS Outposts es ideal para cargas de trabajo de baja latencia que deben ejecutarse muy cerca de los datos y las aplicaciones locales. Para obtener más información al respecto AWS Outposts, consulte AWS Outposts la Guía del usuario.

Requisitos previos

Estos son los requisitos previos para utilizar Amazon EMR en AWS Outposts:

  • Debe haberlo instalado y configurado AWS Outposts en su centro de datos local.

  • Debe tener una conexión de red confiable entre su entorno de Outpost y una AWS región.

  • Debe tener capacidad suficiente para los tipos de instancias compatibles de Amazon EMR disponibles en su Outpost.

Limitaciones

A continuación, se indican las limitaciones de uso de Amazon EMR en AWS Outposts:

  • On-Demand Las instancias son la única opción admitida para las instancias de Amazon EC2. Las instancias de spot no están disponibles para Amazon EMR en AWS Outposts.

  • Si necesita volúmenes de almacenamiento de Amazon EBS adicionales, solo se admite SSD de uso general (GP2).

  • Cuando las usa AWS Outposts con las versiones 5.28 a 6.x de Amazon EMR, solo puede usar los buckets de S3 que almacenen objetos en uno que usted especifique. Región de AWS Con Amazon EMR 7.0.0 y versiones posteriores, Amazon EMR on también AWS Outposts es compatible con el prefijo del cliente del sistema de archivos. S3A s3a://

  • Únicamente los siguientes tipos de instancias son admitidas por Amazon EMR en AWS Outposts:

    Clase de instancia Tipos de instancias
    Uso general

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Compute-optimized

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Memory-optimized

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Storage-optimized

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Consideraciones sobre la conectividad de red

  • Si se pierde la conectividad de red entre su Outpost y su AWS región, los clústeres seguirán funcionando. Sin embargo, no podrá crear nuevos clústeres ni realizar nuevas acciones en clústeres existentes hasta que se restablezca la conectividad. En caso de errores en la instancia, la instancia no se reemplazará automáticamente. Además, se retrasarán acciones como añadir pasos a un clúster en ejecución, comprobar el estado de ejecución de los pasos y enviar CloudWatch métricas y eventos.

  • Le recomendamos que proporcione una conectividad de red confiable y de alta disponibilidad entre su puesto avanzado y la AWS región. Si la conectividad de red entre tu Outpost y su AWS región se pierde durante más de unas horas, los clústeres que tienen habilitada la protección de terminación seguirán ejecutándose y los clústeres que la tienen desactivada pueden terminar la protección.

  • Si la conectividad de red se ve afectada debido a un mantenimiento rutinario, se recomienda habilitar proactivamente la protección de terminación. De manera más general, la interrupción de la conectividad significa que no se podrá acceder a ninguna dependencia externa que no esté accesible localmente en la instancia de Outpost o en la red del cliente. Esto incluye Amazon S3, DynamoDB (utilizado con la vista de coherencia de EMRFS) y Amazon RDS, si se utiliza una instancia regional para un clúster de Amazon EMR con varios nodos principales.

Creación de un clúster de Amazon EMR en AWS Outposts

Crear un clúster de Amazon EMR en AWS Outposts es similar a crear un clúster de Amazon EMR en la nube. AWS Al crear un clúster de Amazon EMR en AWS Outposts, debe especificar una subred de Amazon EC2 asociada a su Outpost.

Una Amazon VPC puede abarcar todas las zonas de disponibilidad de una región. AWS AWS Outposts son extensiones de zonas de disponibilidad y puede ampliar una VPC de Amazon en una cuenta para abarcar varias zonas de disponibilidad y ubicaciones de Outpost asociadas. Al configurar su Outpost, le asocia un grupo de subredes para ampliar su entorno de VPC regional a sus instalaciones. Las instancias de Outpost y los servicios relacionados aparecen como parte de su VPC regional, de manera similar a una zona de disponibilidad con subredes asociadas. Para obtener más información, consulte la Guía del usuario de AWS Outposts.

Consola

Para crear un nuevo clúster de Amazon EMR AWS Outposts con el Consola de administración de AWS, especifique una subred de Amazon EC2 que esté asociada a su Outpost.

Console
Para crear un clúster en AWS Outposts con la consola
  1. Inicie sesión en y abra la Consola de administración de AWS consola de Amazon EMR en https://console.aws.amazon.com/emr.

  2. En EMR en EC2 situado en el panel de navegación izquierdo, elija Clústeres y, a continuación, elija Crear clúster.

  3. En Configuración del clúster, seleccione Grupos de instancias o Flotas de instancias. A continuación, elija un tipo de instancia en el menú desplegable Elegir tipo de instancia de EC2 o seleccione Acciones y elija Agregar volúmenes de EBS. Amazon EMR on AWS Outposts admite tipos limitados de instancias y volúmenes de Amazon EBS.

  4. En Redes, seleccione una subred de EC2 con un ID de Outposts en este formato: op-123456789.

  5. Elija cualquier otra opción que se aplique a su clúster.

  6. Para lanzar el clúster, elija Crear clúster.

CLI
Para crear un clúster en AWS Outposts con el AWS CLI
  • Para crear un nuevo clúster de Amazon EMR AWS Outposts con AWS CLI, especifique una subred de EC2 que esté asociada a su Outpost, como en el siguiente ejemplo. Sustitúyalo por subnet-22XXXX01 su propio identificador de subred de Amazon EC2.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.13.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles