暗号化クラス

Encrypt 変換は、AWS Key Management Service キーを使用してソース列を暗号化します。Encrypt 変換は、セルあたり最大 128 MiB を暗号化できます。復号時にフォーマットを保持しようとします。データ型を保持するには、データ型メタデータを 1KB 未満にシリアル化する必要があります。それ以外の場合は、preserve_data_type パラメータを false に設定する必要があります。データ型メタデータは、暗号化コンテキストのプレーンテキストで保存されます。

例

from pyspark.context import SparkContext
from pyspark.sql import SparkSession
from awsgluedi.transforms import *

kms = "${KMS}"
sc = SparkContext()
spark = SparkSession(sc)

input_df = spark.createDataFrame(
    [
        (1, "1234560000"),
        (2, "1234560001"),
        (3, "1234560002"),
        (4, "1234560003"),
        (5, "1234560004"),
        (6, "1234560005"),
        (7, "1234560006"),
        (8, "1234560007"),
        (9, "1234560008"),
        (10, "1234560009"),
    ],
    ["id", "phone"],
)

try:
    df_encrypt = pii.Encrypt.apply(
        data_frame=input_df,
        spark_context=sc,
        source_columns=["phone"],
        kms_key_arn=kms
    )
except:
    print("Unexpected Error happened ")
    raise
    

出力

出力は、元の「id」列と「phone」列の暗号化された値を含む追加の列を持つ PySpark DataFrame になります。

```
+---+------------+-------------------------+
| id| phone | phone_encrypted |
+---+------------+-------------------------+
| 1| 1234560000| EncryptedData1234...abc |
| 2| 1234560001| EncryptedData5678...def |
| 3| 1234560002| EncryptedData9012...ghi |
| 4| 1234560003| EncryptedData3456...jkl |
| 5| 1234560004| EncryptedData7890...mno |
| 6| 1234560005| EncryptedData1234...pqr |
| 7| 1234560006| EncryptedData5678...stu |
| 8| 1234560007| EncryptedData9012...vwx |
| 9| 1234560008| EncryptedData3456...yz0 |
| 10| 1234560009| EncryptedData7890...123 |
+---+------------+-------------------------+
```

Encrypt 変換では、「source_columns」を「[phone]」「kms_key_arn」を「${KMS}」環境変数の値として受け取ります。変換は、指定された KMS キーを使用して、「phone」列の値を暗号化します。結果の「df_encrypt」 DataFrame には、元の「id」列、元の「phone」列、および「phone_encrypted」列の暗号化された値を含む「phone_encrypted」という名前の追加列が含まれます。

方法

__call__(spark_context, data_frame, source_columns, kms_key_arn, entity_type_filter=None, preserve_data_type=None)

Encrypt 変換は、AWS Key Management Service キーを使用してソース列を暗号化します。

apply(cls, *args, **kwargs)

継承元は GlueTransform apply。

name(cls)

継承元は GlueTransform name。

describeArgs(cls)

継承元は GlueTransform describeArgs。

describeReturn(cls)

継承元は GlueTransform describeReturn。

describeTransform(cls)

継承元は GlueTransform describeTransform。

describeErrors(cls)

継承元は GlueTransform describeErrors。

describe(cls)

継承元は GlueTransform 説明。