View a markdown version of this page

Aktifkan enkripsi Apache Spark - Amazon Athena

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Aktifkan enkripsi Apache Spark

Anda dapat mengaktifkan enkripsi Apache Spark di Athena. Melakukannya mengenkripsi data yang sedang transit antara node Spark dan juga mengenkripsi data diam yang disimpan secara lokal oleh Spark. Untuk meningkatkan keamanan data ini, Athena menggunakan konfigurasi enkripsi berikut:

spark.io.encryption.keySizeBits="256" 
spark.io.encryption.keygen.algorithm="HmacSHA384"

Untuk mengaktifkan enkripsi Spark, Anda dapat menggunakan konsol Athena AWS CLI, atau Athena API.

Untuk membuat buku catatan baru yang mengaktifkan enkripsi Spark

  1. Buka konsol Athena di https://console.aws.amazon.com/athena/.

  2. Jika panel navigasi konsol tidak terlihat, pilih menu ekspansi di sebelah kiri.

  3. Lakukan salah satu tindakan berikut:

    • Di Notebook explorer, pilih Buat buku catatan.

    • Di editor Notebook, pilih Buat buku catatan, atau pilih ikon plus (+) untuk menambahkan buku catatan.

  4. Untuk Nama buku catatan, masukkan nama untuk buku catatan.

  5. Perluas opsi properti Spark.

  6. Pilih Aktifkan enkripsi Spark.

  7. Pilih Buat.

Sesi buku catatan yang Anda buat dienkripsi. Gunakan notebook baru seperti biasanya. Saat nanti Anda meluncurkan sesi baru yang menggunakan notebook, sesi baru juga akan dienkripsi.

Anda juga dapat menggunakan konsol Athena untuk mengaktifkan enkripsi Spark untuk notebook yang ada.

Untuk mengaktifkan enkripsi untuk notebook yang ada

  1. Buka sesi baru untuk buku catatan yang dibuat sebelumnya.

  2. Di editor buku catatan, dari menu Sesi di kanan atas, pilih Edit sesi.

  3. Di kotak dialog Edit detail sesi, perluas properti Spark.

  4. Pilih Aktifkan enkripsi Spark.

  5. Pilih Simpan.

Konsol meluncurkan sesi baru yang mengaktifkan enkripsi. Sesi selanjutnya yang Anda buat untuk buku catatan ini juga akan mengaktifkan enkripsi.

Anda dapat menggunakan AWS CLI untuk mengaktifkan enkripsi saat meluncurkan sesi dengan menentukan properti Spark yang sesuai.

Untuk menggunakan AWS CLI untuk mengaktifkan enkripsi Spark

  1. Gunakan perintah seperti berikut ini untuk membuat objek JSON konfigurasi mesin yang menentukan properti enkripsi Spark.

    ENGINE_CONFIGURATION_JSON=$( 
  cat <<EOF 
{ 
    "CoordinatorDpuSize": 1, 
    "MaxConcurrentDpus": 20, 
    "DefaultExecutorDpuSize": 1, 
    "SparkProperties": { 
      "spark.authenticate": "true", 
      "spark.io.encryption.enabled": "true", 
      "spark.network.crypto.enabled": "true" 
    } 
} 
EOF 
)

  2. Di dalam AWS CLI, gunakan athena start-session perintah dan berikan objek JSON yang Anda buat ke --engine-configuration argumen, seperti dalam contoh berikut:

    aws athena start-session \ 
   --region "region" \ 
   --work-group "your-work-group" \ 
   --engine-configuration "$ENGINE_CONFIGURATION_JSON"

Untuk sesi Apache Spark versi 3.5, Anda mengaktifkan enkripsi dengan menentukan properti enkripsi yang sama di Classifications elemen konfigurasi mesin, bukan di SparkProperties elemen. Perilaku enkripsi identik dengan versi sebelumnya: Athena mengenkripsi data dalam transit antara node Spark dan data diam yang disimpan secara lokal oleh Spark, menggunakan enkripsi AES 256-bit dengan algoritma. HmacSHA384 Gunakan perintah seperti berikut, di mana klasifikasi Name harus adaspark-defaults.

aws athena start-session \ 
   --region "region" \ 
   --work-group "your-work-group" \ 
   --engine-configuration '{ 
       "Classifications": [{ 
           "Name": "spark-defaults", 
           "Properties": { 
               "spark.authenticate": "true", 
               "spark.io.encryption.enabled": "true", 
               "spark.network.crypto.enabled": "true" 
           } 
       }] 
   }'

Anda juga dapat mengaktifkan enkripsi Spark saat membuat grup kerja. Tentukan properti enkripsi yang sama EngineConfiguration dalam Classifications elemen konfigurasi kelompok kerja, seperti pada contoh berikut. Sesi yang nanti Anda mulai di grup kerja ini mewarisi konfigurasi enkripsi.

aws athena create-work-group \ 
   --region "region" \ 
   --name "your-work-group" \ 
   --configuration '{ 
       "EngineVersion": { 
           "SelectedEngineVersion": "Apache Spark version 3.5" 
       }, 
       "ExecutionRole": "execution-role", 
       "EngineConfiguration": { 
           "Classifications": [{ 
               "Name": "spark-defaults", 
               "Properties": { 
                   "spark.authenticate": "true", 
                   "spark.io.encryption.enabled": "true", 
                   "spark.network.crypto.enabled": "true" 
               } 
           }] 
       } 
   }'

Untuk mengaktifkan enkripsi Spark dengan Athena API, gunakan StartSession tindakan dan EngineConfiguration SparkProperties parameternya untuk menentukan konfigurasi enkripsi dalam StartSession permintaan Anda.

Untuk sesi Apache Spark versi 3.5, gunakan StartSession tindakan dengan EngineConfiguration Classifications parameter, bukanSparkProperties, untuk menentukan properti enkripsi. Nama klasifikasi harusspark-defaults.