Consistent view

Para comprobar si está utilizando la característica de CV de EMRFS

1. Navegue hasta la pestaña Configuración. Si el clúster tiene la siguiente configuración, utiliza CV de EMRFS.

   Classification=emrfs-site,Property=fs.s3.consistent,Value=true

2. También puede utilizarla para describir el AWS CLI clúster con la API. describe-cluster Si el resultado contiene fs.s3.consistent: true, el clúster usa la CV de EMRFS.

Para desactivar CV de EMRFS en sus clústeres de Amazon EMR

Para desactivar la característica de CV de EMRFS, utilice una de las tres opciones siguientes. Debe probar estas opciones en su entorno de pruebas antes de aplicarlas a sus entornos de producción.

1. Para detener su clúster existente e iniciar uno nuevo sin las opciones de la CV de EMRFS

   1. Antes de detener el clúster, asegúrese de hacer una copia de seguridad de los datos y de avisar a los usuarios.

   2. Para detener el clúster, siga las instrucciones de la sección Terminar un clúster.

   3. Si utiliza la consola de Amazon EMR para crear un clúster nuevo, vaya a Opciones avanzadas. En la sección Editar configuración de software, anule la selección de la opción para activar la CV de EMRFS. Si la casilla que corresponde a la vista coherente de EMRFS está disponible, manténgala desmarcada.

   4. Si solías AWS CLI crear un clúster nuevo con la create-clusterAPI, no utilices la --emrfs opción, que activa EMRFS CV.

   5. Si utilizas un SDK o AWS CloudFormation para crear un clúster nuevo, no utilices ninguna de las configuraciones que se muestran en Configurar la vista coherente.

2. Para clonar un clúster y eliminar el CV de EMRFS

   1. En la consola de Amazon EMR, elija el clúster que usa CV de EMRFS.

   2. En la parte superior de la página Detalles del clúster, elija Clonar.

   3. Elija Anterior y vaya a Paso 1: software y pasos.

   4. En Editar configuración de software, elimine la CV de EMRFS. En Editar configuración, elimine las siguientes configuraciones de la clasificación emrfs-site. Si está cargando JSON desde un bucket de S3, debe modificar su objeto de S3.

      [
      	{"classification":
      		"emrfs-site",
      		"properties": {
      			"fs.s3.consistent.retryPeriodSeconds":"10",
      			"fs.s3.consistent":"true",
      			"fs.s3.consistent.retryCount":"5",
      			"fs.s3.consistent.metadata.tableName":"EmrFSMetadata"
      		}
      	}
      ]

3. Para eliminar el CV de EMRFS de un clúster que usa grupos de instancias

   1. Utilice el siguiente comando para comprobar si un único clúster de EMR utiliza la tabla de DynamoDB asociada al CV de EMRFS o si varios clústeres comparten la tabla. El nombre de la tabla se especifica en fs.s3.consistent.metadata.tableName, tal y como se describe en Configuración de la vista coherente. El nombre de tabla predeterminado que utiliza la CV de EMRFS es EmrFSMetadata.

      aws emr describe-cluster --cluster-id j-XXXXX | grep fs.s3.consistent.metadata.tableName

   2. Si el clúster no comparte la base de datos de DynamoDB con otro clúster, utilice el siguiente comando para volver a configurar el clúster y desactivar la CV de EMRFS. Para obtener más información, consulte la sección Reconfiguración de un grupo de instancias en un clúster en ejecución.

      aws emr modify-instance-groups --cli-input-json file://disable-emrfs-1.json

      Este comando abre el archivo que desea modificar. Modifique el archivo con las siguientes configuraciones.

      {
      	"ClusterId": "j-xxxx",
      	"InstanceGroups": [
      		{
      			"InstanceGroupId": "ig-xxxx",
      			"Configurations": [
      				{
      					"Classification": "emrfs-site",
      					"Properties": {
      						"fs.s3.consistent": "false"
      					},
      					"Configurations": []
      				}
      			]
      		}
      	]
      }

   3. Si su clúster comparte la tabla de DynamoDB con otro clúster, desactive la CV de EMRFS en todos los clústeres cuando ningún clúster modifique ningún objeto de la ubicación de S3 compartida.

Para eliminar los recursos de Amazon DynamoDB asociados al CV de EMRFS

Después de eliminar el CV de EMRFS de sus clústeres de Amazon EMR, elimine los recursos de DynamoDB asociados al CV de EMRFS. Hasta que lo haga, seguirá incurriendo en cargos de DynamoDB asociados a la CV de EMRFS.

1. Compruebe las CloudWatch métricas de la tabla de DynamoDB y confirme que ningún clúster utilice la tabla.

2. Elimine la tabla de DynamoDB.

   aws dynamodb delete-table --table-name <your-table-name>

Para eliminar los recursos de Amazon SQS asociados al CV de EMRFS

1. Si configuró el clúster para enviar notificaciones de incoherencia a Amazon SQS, puede eliminar todas las colas de SQS.

2. Encuentre el nombre de cola de Amazon SQS se especifica en fs.s3.consistent.notification.SQS.queueName, tal y como se describe en Configuración de la vista coherente. El formato de nombre de cola predeterminado es EMRFS-Inconsistency-<j-cluster ID>.

   aws sqs list-queues | grep ‘EMRFS-Inconsistency’
   aws sqs delete-queue –queue-url <your-queue-url>

Para dejar de usar la CLI de EMRFS

• La CLI de EMRFS administra los metadatos que genera la CV de EMRFS. Cuando el soporte estándar para la CV de EMRFS llegue a su fin en futuras versiones de Amazon EMR, el soporte para la CLI de EMRFS también lo hará.