Visualizzazione coerente

Per verificare se stai utilizzando la funzione CV EMRFS

1. Vai alla scheda Configuration (Configurazione). Se il tuo cluster ha la seguente configurazione, utilizza EMRFS CV.

   Classification=emrfs-site,Property=fs.s3.consistent,Value=true

2. In alternativa, usa il AWS CLI per descrivere il tuo cluster con. describe-clusterAPI Se l'output contienefs.s3.consistent: true, il cluster utilizza EMRFS CV.

Per disattivare EMRFS CV sui tuoi cluster Amazon EMR

Per disattivare la funzionalità EMRFS CV, utilizza una delle tre opzioni seguenti. Ti consigliamo di testare queste opzioni nel tuo ambiente di test prima di applicarle agli ambienti di produzione.

1. Per interrompere il cluster esistente e avviare un nuovo cluster senza opzioni EMRFS CV.

   1. Prima di arrestare il cluster, assicurati di eseguire il backup dei dati e di informare gli utenti.

   2. Per arrestare il cluster, segui le istruzioni riportate nella sezione Arresto di un cluster.

   3. Se utilizzi la EMR console Amazon per creare un nuovo cluster, vai a Opzioni avanzate. Nella sezione Modifica impostazioni software, deseleziona l'opzione per attivare EMRFS CV. Se la casella di controllo per una visualizzazione EMRFS coerente è disponibile, tienila deselezionata.

   4. Se desideri AWS CLI creare un nuovo cluster con create-clusterAPI, non utilizzare l'--emrfsopzione, che attiva EMRFS CV.

   5. Se utilizzi un SDK or AWS CloudFormation per creare un nuovo cluster, non utilizzare nessuna delle configurazioni elencate in Configura la visualizzazione coerente.

2. Per clonare un cluster e rimuovere CV EMRFS

   1. Nella EMR console Amazon, scegli il cluster che utilizza EMRFS CV.

   2. Nella parte superiore della pagina Cluster Details (Dettagli del cluster), fai clic su Clone (Clona).

   3. Scegli Previous (Precedente) e passa alla Fase 1: software e fasi.

   4. In Modifica impostazioni software, rimuovi EMRFS CV. In Edit configuration (Modifica configurazione), elimina le seguenti configurazioni nella classificazione emrfs-site. Se stai caricando JSON da un bucket S3, devi modificare l'oggetto S3.

      [
      	{"classification":
      		"emrfs-site",
      		"properties": {
      			"fs.s3.consistent.retryPeriodSeconds":"10",
      			"fs.s3.consistent":"true",
      			"fs.s3.consistent.retryCount":"5",
      			"fs.s3.consistent.metadata.tableName":"EmrFSMetadata"
      		}
      	}
      ]

3. Per rimuovere EMRFS CV da un cluster che utilizza gruppi di istanze

   1. Usa il comando seguente per verificare se un singolo EMR cluster utilizza la tabella DynamoDB EMRFS associata a CV o se più cluster condividono la tabella. Il nome della tabella è specificato in fs.s3.consistent.metadata.tableName, come descritto in Configure consistent view (Configura visualizzazione coerente). Il nome di tabella predefinito utilizzato da CV è. EMRFS EmrFSMetadata

      aws emr describe-cluster --cluster-id j-XXXXX | grep fs.s3.consistent.metadata.tableName

   2. Se il cluster non condivide il database DynamoDB con un altro cluster, utilizza il seguente comando per riconfigurare il cluster e disattivare CV. EMRFS Per ulteriori informazioni, consulta la sezione Riconfigurazione di un gruppo di istanze in un cluster in esecuzione.

      aws emr modify-instance-groups --cli-input-json file://disable-emrfs-1.json

      Questo comando apre il file che desideri modificare. Modifica il file utilizzando le seguenti configurazioni.

      {
      	"ClusterId": "j-xxxx",
      	"InstanceGroups": [
      		{
      			"InstanceGroupId": "ig-xxxx",
      			"Configurations": [
      				{
      					"Classification": "emrfs-site",
      					"Properties": {
      						"fs.s3.consistent": "false"
      					},
      					"Configurations": []
      				}
      			]
      		}
      	]
      }

   3. Se il tuo cluster condivide la tabella DynamoDB con un altro cluster, EMRFS disattiva CV su tutti i cluster in un momento in cui nessun cluster modifica alcun oggetto nella posizione condivisa di S3.

Per eliminare le risorse Amazon DynamoDB associate a CV EMRFS

Dopo aver rimosso EMRFS CV dai EMR cluster Amazon, elimina le risorse DynamoDB associate a CV. EMRFS Finché non lo farai, continuerai a sostenere i costi di DynamoDB associati a CV. EMRFS

1. Controlla le CloudWatch metriche per la tua tabella DynamoDB e conferma che la tabella non sia utilizzata da nessun cluster.

2. Elimina la tabella DynamoDB.

   aws dynamodb delete-table --table-name <your-table-name>

Per eliminare SQS le risorse Amazon associate al EMRFS CV

1. Se hai configurato il cluster per inviare notifiche di incoerenza ad AmazonSQS, puoi eliminare tutte le SQS code.

2. Trova il nome della SQS coda Amazon specificato infs.s3.consistent.notification.SQS.queueName, come descritto in Configurare la visualizzazione coerente. Il formato predefinito del nome della coda è EMRFS-Inconsistency-<j-cluster ID>.

   aws sqs list-queues | grep ‘EMRFS-Inconsistency’
   aws sqs delete-queue –queue-url <your-queue-url>

Per smettere di usare EMRFS CLI

• EMRFSCLIGestisce i metadati generati da EMRFS CV. Man mano che il supporto standard per EMRFS CV giungerà al termine nelle future versioni di AmazonEMR, anche il supporto per il EMRFS CLI terminerà.