Tampilan konsisten

Untuk memeriksa apakah Anda menggunakan fitur CV EMRFS

1. Arahkan ke tab Konfigurasi. Jika cluster Anda memiliki konfigurasi berikut, ia menggunakan CV EMRFS.

   Classification=emrfs-site,Property=fs.s3.consistent,Value=true

2. Atau, gunakan AWS CLI untuk menggambarkan cluster Anda dengan describe-cluster API. Jika output berisifs.s3.consistent: true, cluster Anda menggunakan CV EMRFS.

Untuk mematikan CV EMRFS di cluster Amazon EMR Anda

Untuk mematikan fitur CV EMRFS, gunakan salah satu dari tiga opsi berikut. Anda harus menguji opsi ini di lingkungan pengujian Anda sebelum menerapkannya ke lingkungan produksi Anda.

1. Untuk menghentikan cluster yang ada dan memulai cluster baru tanpa opsi CV EMRFS.

   1. Sebelum Anda menghentikan cluster Anda, pastikan Anda membuat cadangan data dan memberi tahu pengguna Anda.

   2. Untuk menghentikan cluster Anda, ikuti petunjuk di Hentikan cluster.

   3. Jika Anda menggunakan konsol Amazon EMR untuk membuat cluster baru, navigasikan ke Opsi L anjutan. Di bagian Edit pengaturan perangkat lunak, hapus pilihan untuk mengaktifkan CV EMRFS. Jika kotak centang untuk tampilan konsisten EMRFS tersedia, jangan centang.

   4. Jika Anda menggunakan AWS CLI untuk membuat cluster baru dengan create-cluster API, jangan gunakan --emrfs opsi, yang mengaktifkan CV EMRFS.

   5. Jika Anda menggunakan SDK atau CloudFormation untuk membuat cluster baru, jangan gunakan konfigurasi apa pun yang tercantum dalam Konfigurasi tampilan yang konsisten.

2. Untuk mengkloning cluster dan menghapus CV EMRFS

   1. Di konsol Amazon EMR, pilih cluster yang menggunakan CV EMRFS.

   2. Di bagian atas halaman Rincian Cluster, pilih Clone.

   3. Pilih Sebelumnya dan arahkan ke Langkah 1: Perangkat Lunak dan Langkah.

   4. Di Edit pengaturan perangkat lunak, hapus CV EMRFS. Di Edit konfigurasi, hapus konfigurasi berikut dalam emrfs-site klasifikasi. Jika Anda memuat JSON dari bucket S3, Anda harus memodifikasi objek S3 Anda.

      [
      	{"classification":
      		"emrfs-site",
      		"properties": {
      			"fs.s3.consistent.retryPeriodSeconds":"10",
      			"fs.s3.consistent":"true",
      			"fs.s3.consistent.retryCount":"5",
      			"fs.s3.consistent.metadata.tableName":"EmrFSMetadata"
      		}
      	}
      ]

3. Untuk menghapus CV EMRFS dari cluster yang menggunakan grup instance

   1. Gunakan perintah berikut untuk memeriksa apakah satu cluster EMR menggunakan tabel DynamoDB yang terkait dengan CV EMRFS, atau jika beberapa cluster berbagi tabel. Nama tabel ditentukan dalamfs.s3.consistent.metadata.tableName, seperti yang dijelaskan dalam Konfigurasi tampilan yang konsisten. Nama tabel default yang digunakan oleh CV EMRFS adalah. EmrFSMetadata

      aws emr describe-cluster --cluster-id j-XXXXX | grep fs.s3.consistent.metadata.tableName

   2. Jika cluster Anda tidak berbagi database DynamoDB Anda dengan cluster lain, gunakan perintah berikut untuk mengkonfigurasi ulang cluster dan menonaktifkan CV EMRFS. Untuk informasi selengkapnya, lihat Mengkonfigurasi ulang grup instans dalam cluster yang sedang berjalan.

      aws emr modify-instance-groups --cli-input-json file://disable-emrfs-1.json

      Perintah ini membuka file yang ingin Anda modifikasi. Ubah file dengan konfigurasi berikut.

      {
      	"ClusterId": "j-xxxx",
      	"InstanceGroups": [
      		{
      			"InstanceGroupId": "ig-xxxx",
      			"Configurations": [
      				{
      					"Classification": "emrfs-site",
      					"Properties": {
      						"fs.s3.consistent": "false"
      					},
      					"Configurations": []
      				}
      			]
      		}
      	]
      }

   3. Jika cluster Anda berbagi tabel DynamoDB dengan cluster lain, matikan CV EMRFS pada semua cluster pada saat tidak ada cluster yang memodifikasi objek apa pun di lokasi S3 bersama.

Untuk menghapus sumber daya Amazon DynamoDB yang terkait dengan CV EMRFS

Setelah menghapus CV EMRFS dari cluster Amazon EMR, hapus sumber daya DynamoDB yang terkait dengan CV EMRFS. Sampai Anda melakukannya, Anda terus dikenakan biaya DynamoDB yang terkait dengan CV EMRFS.

1. Periksa CloudWatch metrik untuk tabel DynamoDB Anda dan konfirmasikan bahwa tabel tidak digunakan oleh cluster mana pun.

2. Hapus tabel DynamoDB.

   aws dynamodb delete-table --table-name <your-table-name>

Untuk menghapus sumber daya Amazon SQS yang terkait dengan CV EMRFS

1. Jika Anda mengonfigurasi cluster untuk mendorong notifikasi inkonsistensi ke Amazon SQS, Anda dapat menghapus semua antrian SQS.

2. Temukan nama antrian Amazon SQS yang ditentukan dalamfs.s3.consistent.notification.SQS.queueName, seperti yang dijelaskan di Konfigurasikan tampilan yang konsisten. Format nama antrian default adalahEMRFS-Inconsistency-<j-cluster ID>.

   aws sqs list-queues | grep ‘EMRFS-Inconsistency’
   aws sqs delete-queue –queue-url <your-queue-url>

Untuk berhenti menggunakan EMRFS CLI

• EMRFS CLI mengelola metadata yang dihasilkan CV EMRFS. Karena dukungan standar untuk EMRFS CV mencapai akhir dalam rilis Amazon EMR mendatang, dukungan untuk EMRFS CLI juga akan mencapai akhir.