Vue cohérente

Pour vérifier si vous utilisez la fonction EMRFS CV

1. Accédez à l'onglet Configuration. Si votre cluster possède la configuration suivante, il utilise EMRFS CV.

   Classification=emrfs-site,Property=fs.s3.consistent,Value=true

2. Vous pouvez également utiliser le AWS CLI pour décrire votre cluster à l'aide du describe-clusterAPI. Si la sortie contientfs.s3.consistent: true, votre cluster utilise EMRFS CV.

Pour désactiver le EMRFS CV sur vos EMR clusters Amazon

Pour désactiver la fonction EMRFS CV, utilisez l'une des trois options suivantes. Vous devez tester ces options dans votre environnement de test avant de les appliquer à vos environnements de production.

1. Pour arrêter votre cluster existant et en démarrer un nouveau sans options EMRFS CV.

   1. Avant d'arrêter votre cluster, assurez-vous de sauvegarder vos données et d'en informer les utilisateurs.

   2. Pour arrêter votre cluster, suivez les instructions de la section Résilier un cluster.

   3. Si vous utilisez la EMR console Amazon pour créer un nouveau cluster, accédez aux options avancées. Dans la section Modifier les paramètres du logiciel, désélectionnez l'option permettant d'activer le EMRFS CV. Si la case à cocher pour EMRFSune vue cohérente est disponible, désactivez-la.

   4. Si vous avez l'habitude de AWS CLI créer un nouveau cluster avec le create-clusterAPI, n'utilisez pas l'--emrfsoption, qui active le EMRFS CV.

   5. Si vous utilisez un SDK ou AWS CloudFormation pour créer un nouveau cluster, n'utilisez aucune des configurations répertoriées dans Configurer une vue cohérente.

2. Pour cloner un cluster et supprimer un EMRFS CV

   1. Dans la EMR console Amazon, choisissez le cluster qui utilise EMRFS CV.

   2. En haut de la page Détails du cluster, sélectionnez Cloner.

   3. Choisissez Précédent et passez à l'Étape 1 : Logiciel et étapes.

   4. Dans Modifier les paramètres du logiciel, supprimez le EMRFS CV. Dans Modifier la configuration, supprimez les configurations suivantes dans la classification emrfs-site. Si vous chargez JSON depuis un compartiment S3, vous devez modifier votre objet S3.

      [
      	{"classification":
      		"emrfs-site",
      		"properties": {
      			"fs.s3.consistent.retryPeriodSeconds":"10",
      			"fs.s3.consistent":"true",
      			"fs.s3.consistent.retryCount":"5",
      			"fs.s3.consistent.metadata.tableName":"EmrFSMetadata"
      		}
      	}
      ]

3. Pour supprimer un EMRFS CV d'un cluster qui utilise des groupes d'instances

   1. Utilisez la commande suivante pour vérifier si un seul EMR cluster utilise la table DynamoDB EMRFS associée à CV ou si plusieurs clusters partagent la table. Le nom de la table est spécifié dans fs.s3.consistent.metadata.tableName, comme décrit dans Configuration de la vue cohérente. Le nom de table par défaut utilisé par EMRFS CV estEmrFSMetadata.

      aws emr describe-cluster --cluster-id j-XXXXX | grep fs.s3.consistent.metadata.tableName

   2. Si votre cluster ne partage pas votre base de données DynamoDB avec un autre cluster, utilisez la commande suivante pour reconfigurer le cluster et désactiver CV. EMRFS Pour plus d'informations, consultez Reconfiguration d'un groupe d'instances dans un cluster en cours d'exécution.

      aws emr modify-instance-groups --cli-input-json file://disable-emrfs-1.json

      Cette commande ouvre le fichier que vous souhaitez modifier. Modifiez le fichier avec l'une des configurations suivantes.

      {
      	"ClusterId": "j-xxxx",
      	"InstanceGroups": [
      		{
      			"InstanceGroupId": "ig-xxxx",
      			"Configurations": [
      				{
      					"Classification": "emrfs-site",
      					"Properties": {
      						"fs.s3.consistent": "false"
      					},
      					"Configurations": []
      				}
      			]
      		}
      	]
      }

   3. Si votre cluster partage la table DynamoDB avec un autre cluster, EMRFS désactivez CV sur tous les clusters à un moment où aucun cluster ne modifie les objets de l'emplacement S3 partagé.

Pour supprimer les ressources Amazon DynamoDB associées à un CV EMRFS

Après avoir supprimé le EMRFS CV de vos EMR clusters Amazon, supprimez les ressources DynamoDB associées au CV. EMRFS Jusqu'à ce que vous le fassiez, vous continuez à payer des frais DynamoDB associés à CV. EMRFS

1. Vérifiez les CloudWatch métriques de votre table DynamoDB et confirmez que la table n'est utilisée par aucun cluster.

2. Supprimez la table DynamoDB.

   aws dynamodb delete-table --table-name <your-table-name>

Pour supprimer les SQS ressources Amazon associées à un EMRFS CV

1. Si vous avez configuré votre cluster pour envoyer des notifications d'incohérence à AmazonSQS, vous pouvez supprimer toutes les SQS files d'attente.

2. Trouvez le nom de la SQS file d'attente Amazon spécifié dansfs.s3.consistent.notification.SQS.queueName, comme décrit dans Configurer une vue cohérente. Le format de nom de file d'attente par défaut est EMRFS-Inconsistency-<j-cluster ID>.

   aws sqs list-queues | grep ‘EMRFS-Inconsistency’
   aws sqs delete-queue –queue-url <your-queue-url>

Pour arrêter d'utiliser le EMRFS CLI

• EMRFSCLIGère les métadonnées générées par le EMRFS CV. Comme le support standard pour EMRFS CV arrivera à son terme dans les futures versions d'AmazonEMR, le support pour le EMRFS CLI arrivera également à sa fin.